降维技术与方法综述

第３１卷　第１０期　四川兵工学报　２０１０年１０月　【特稿】　降维技术与方法综述　张煜东　，霍元铠　，吴乐南　，董正超　（１．哥仑比亚大学精神病学系脑成像实验室，纽约纽约州２．东南大学信息科学与工程学院，南京２１００９６）　１００３２；　摘要：为了更好地对数据实现降维，讨论了特征选择与特征变换两种技术。对于特征选择，按照特征子集的形成　方法可分为穷举法、启发式方法、随机方法、智能优化方法等；按照评价函数的类别可分为筛选式、封装式、嵌人　式。对于特征变换，传统的方法采用线性降维方法，主要有非负矩阵分解、因子分析、主成份分析、奇异值分解、　成分分析等；目前的方法是非线性降维方法，以流形学习为代表。对各种不同方法详细探讨其原理与流程，　并进行了性能比较。　关键词：特征选择；特征变换；嵌入式特征选择；流形学习　中图分类号：ＴＰ１８　文献标识码：Ａ　文章编号：１００６—０７０７（２０１０）１Ｏ一０００１—０７　随着技术的发展，人们在各个领域都会面对高维数　据。高维数据不仅会造成“维数诅咒”问题，而且对可视　化、数据分析、数据建模都会带来困难。因此，有必要讨论　目前常见的降维方法　。　本文详细讨论了特征选择与特征变换两类。特征选　择为从给定的特征中直接选择若干重要特征，特征变换为　通过某种变换将原始输入空间数据映射到一个新空问中。　一般特征选择的结果更有物理意义，便于用户理解；而特　征变换的结果效率更高，能够提取原始数据中隐含的　信息。　图１特征选择算法框架　１　特征选择　特征提取算法　特征选择是一种从相关特征集中挑选出一个重要子　集的技术，也称为变量选择、特征压缩、属性选择、变量子　集选择等。特征变换通过移除原特征集中的相关性与冗　余性，可以减轻维数诅咒，增强模型泛化能力，加速模型学　习速度，改善模型可读性。特征选择的算法框架一般如图　１，当然有些算法并不全部具有以上４个方面，例如对特征　排序后选择前ｍ个特征的Ｒａｎｋｉｎｇ方法只涉及评价和停止　两方面　。　１．１子集产生　遍　历　所　ｌ穷举法　启发式Ｉ　Ｉ随机方法Ｉ　ｌ智能优　向　向　组　基　前　后　合　于　选　选　选　实　择　侈０择　择　　模　柱　完　概　遗　拟　蚁　子　全　蛊　传　退　群　群　随　随　算　火　算　机　机　法　算　算　法　法　法　有　按照特征子集的形成方法，获取特征可以分为穷举　法、启发式方法、随机方法、智能优化方法等，如图２所示。　图２按子集产生方法分类　穷举法（ｅｘｈａｕｓｔｉｖｅ）是一种最直接的优化策略，对大小　收稿日期：２０１０—０８—２５　基金项目：国家自然科学基金（６０８７２０７５）；国家高技术发展计划（２００８ＡＡ０１Ｚ２２７）　作者简介：张煜东（１９８５一），男，博士后，主要从事数据挖掘研究；　吴乐南（１９５２一），男，教授，博导，主要从事多媒体信息处理和通信信号处理研究；　董正超，男，哥伦比亚大学教授，主要从事脑图像处理研究。　２　四川兵工学报　得分，一般可采用基于该子集的后续学习器（根据实际需　为ｎ的特征集，搜索２ｎ种可能的子集。因此，尽管穷举法　能确保寻找到最优子集，但是计算开销过大、不实用　。　启发式（ｈｅｕｒｉｓｔｉｃ）方法不一定产生最优子集，结果一　般是一个较优子集，它与确定式方法存在下述区别：确定　式方法能够证明自身的收敛时间或收敛结果，但是启发式　要，例如拟合器、分类器、聚类器等）的性能作为模型　。　优点是得到的特征子集更符合后续学习器的需要，缺点是　计算耗时过长、且易发生过拟合。　方法抛弃了这两种目标：它在某次寻优中可能收敛很快，　但不能保证始终如此；它在某次寻优中可能找到足够好的　子集，但不能证明下一次寻优得到的子集更优　Ｊ。当然，　启发式算法的优点在于计算复杂度低，实现过程比较简单　且快速，在实际中应用非常广泛。如向前（向后）选择　、　决策树　Ｊ、Ｒｅｌｉｅｆ法川等。　随机方法（ｒａｎｄｏｍ）可分为完全随机方法与概率随机　方法。前者是指纯随机产生子集，后者是指子集的产生依　图３　３种不同的子集评价函数　照给定的概率进行　。　智能（ｉｎｔｅｌｌｉｇｅｎｔ）方法相对较新，一般通过模拟自然界　中生物的进化原理、或者集群生活方法，来实现优化问题　嵌入式是近几年刚刚提出的一种结合学习器评价特　征子集的特征选择模型　，具有封装式特征选择模型的精　的搜索。可分为遗传算法　、蚁群算法　…、粒子群算　法　、模拟退火算法　等。　综上，上述４类算法中只有穷举法能够保证最优，但计　算复杂度高。随机方法性能较差，因为其完全随机。启发　度，同时具有筛选式特征选择模式的效率。筛选式、封装　式、嵌入式三者的示意图可参见图４，运行方法与结果的区　别可参见表１。　式方法运用拇指规则，一般能够得到较好的子集。智能优　化算法具有跳出局部最小的能力，实际中常能得到最　优解。　１．２子集评价　（ａ）筛选式　子集评价即为通过一个函数，来计算选择子集的得　分，以此衡量不同子集的优劣。不同的评价函数产生不同　的结果，评价函数可分为筛选式（ｆｉｌｔｅｒｓ）、封装式（ｗｒａｐ－　ｐｅｒｓ）、嵌入式（ｅｍｂｅｄｄｅｄ）３类，如图３所示。　筛选式不计算模型，而是直接计算特征子集的某种度　量　。这种度量方式包括如下４种：基于距离的（欧式距　＼　ｆ　囊　（ｂ）封装式　离、马氏距离、Ｂｈａｔｔａｃｈａｒｙｙａ距离、ｃｈｅｍｏｆｆ概率距离、Ｍａｈａｌ—　ａｎｏｂｉｓ距离等）、基于信息的（Ｓｈａｎｏｎ熵、条件熵、信息增　益、互信息等）、基于性的（相关性、相似性）和基于一　致性的。　（ｃ　嵌入式　图４　筛选式、封装式、嵌入式三者示意图　封装式通过建立在子集上的一个模型来计算子集的　表１　筛选式、封装式、嵌入式方法与结果的区别　张煜东，等　降维技术与方法综述　１．３嵌入式简介　由于嵌入式目前国内仅有２篇相关文章　，国外　传统特征变换　３　也是刚刚起步　，这里再对其详细介绍。首先假设维数为　ｎ，原始特征集为　＝｛　。，　，…，　｝，原始输出为　；用ｏｒ　∈｛０，１｝ｎ表征对应特征选取与否，其中１表示选取，０表　示不选取；用　表征模型参数；则后续学习器的模型可记　为　Ｏｌ，０＂９Ｃ），模型误差记为Ｌ（ｆ，　），样本密度记为Ｐ（　，　萎Ｉ　Ｉ霎Ｉ　ｆ羹Ｊ　ｌ萎ｆ　Ｊ萎　图５传统特征变换方法　Ｙ）。则任务在于寻找最优的　与ｏｒ，使得整体误差　（Ｏｔ，　）最小　ｍｉｎＲ（ｄ，ｒｏ）　（１）　ｎ．Ｏ－　Ｒ（　，ｒｏ）＝Ｉ　［，（Ｏｔ，　），Ｙ］ｄＰ（ｘ，Ｙ）　（２）　式（２）有时会加上正则化项，可用下述方法（与ＥＭ算法类　似）求解：　Ｓｔｅｐ　１设ｏｒ＝（１，１，…，１）；　Ｓｔｅｐ　２计算　，使得Ｏｔ　＝ａｒｇｍｉｎ　Ｒ（ｏｅ，　）；　Ｓｔｅｐ　３计算　，使得ｏｒ　＝ａｒｇｍｉｎ　Ｒ（Ｏ／　，ｏｒ）；　Ｓｔｅｐ　４令ｏｒ＝　，若满足终止条件则推出，否则转　Ｓｔｅｐ　２。　为了简化计算，将　的取值范围从｛０，１｝　放宽到连　续空间［０，１］　，则上述Ｓｔｅｐ　３可以采用梯度下降的思想计　算，新的算法可设置为：　Ｓｔｅｐ　１设　＝（１，１，…，１）；　Ｓｔｅｐ　２计算　，使得　＝ａｒｇｍｉｎ　Ｒ（Ｏｔ，　）；　Ｓｔｅｐ　３计算　＝ｏｒ—Ａ　Ｒ（Ｏ／　，Ｏｒ）；（此处用梯度　下降算法代替）　Ｓｔｅｐ　４令　＝Ｏｒ　，若满足终止条件则推出，否则转　Ｓｔｅｐ　２。　可见，采用梯度下降思想后，算法的计算速度大幅度　提高，无需计算一个优化问题即可直接得到ｏｒ　。这种通　过使用学习器的结构来计算梯度，从而迅速搜索ｏｒ　的思　想，就是“嵌入式”名称的由来。因此，现有的封装式算法　可通过这种ｏｒ连续化思想，转化为嵌入式算法。这将是今　后进一步的研究方向。　２特征变换　与特征选择的不同之处在于，特征变换产生一组新的　特征。缺点在于当原始特征集具有明显的物理意义时，新　特征可能会失去意义。优点在于这些新特征压缩效率　更高　。　２．１传统方法　传统的特征变换方法一般采用线性降维方法，如图５　所示。　２．１．１非负矩阵分解　非负矩阵分解（ｎｏｎ—ｎｅｇａｔｉｖｅ　ｍａｔｒｉｘ　ｆａｃｔｏｒｉｚａｔｉｏｎ，ＮＭＦ）　是一种基于原始特征空间的低秩近似（１ｏｗ—ｒａｎｋ　ａｐｐｒｏｘｉｍａ—　ｔｉｏｎ）ＩＩ９］。ＮＭＦ的一个优点在于，降维后的所有特征都是　非负的，可以提供一个非负物理量的可加模型（ａｄｄｉｔｉｖｅ　ｍｏｄｅ１）。　假设原始非负特征集　是一个ｍ×ｎ矩阵，ｍ表示样　本数，／－ｔ表示特征维数，ｋ是制定的特征压缩之后的维数，　则ＮＭＦ产生矩阵　与　，使得下式最小　毋ｃ　ＩＸ—ＷＨ　Ｉ　Ｉ（３）　式中，　是ｍ×ｋ矩阵，Ⅳ是ｋ×ｎ矩阵。由于ｋ一般远远小　于　的秩，所以ＷＨ是　的一个良好的低秩近似。该方法　的一个缺点在于，式存在许多局部极小点，算法可能会陷　入局部最优。因此，若算法得到的　与Ｈ的秩甚至远小于　ｋ，则表明结果次优。　２．１．２因子分析　因子分析（ｆａｃｔｏｒ　ａｎａｌｙｓｉｓ）能够去除原始特征集中的相　关性　］。例如原始特征集是十项全能运动员的成绩（１０　维），容易想到，这１０维数据可视作运动员的“速度”、“力　量”、“耐力”这３维潜因子（１ａｔｅｎｔ　ｆａｃｔｏｒ）的体现。由于这　些潜因子一般会影响原始特征集的若干特征，所以也称为　公共因子（ｃｏｍｍｏｎ　ｆａｃｔｏｒ），原始特征假设为公共因子的线　性组合，这些组合系数称为载荷（１ｏａｄｉｎｇｓ），每个原始因子　还包含一个对应随机变化的量，称为特定方差（ｓｐｅｅｉｆ－　ｉｃ　ｖａｒｉｎａｃｅ）。因子分析的模型为　＝／ｘ＋／　＋ｅ　（４）　式中　是观察量，　是常向量表示均值，以为载荷矩阵　是　且归一化的公共因子，ｅ是特定方差。我们的目的在　于从观察量　中估计公共因子厂。　２．１．３主成份分析　主成分分析（ＰＣＡ）　的关键思想来源于Ｋ—Ｌ变换，　产生一组新变量称为主成分（ｐｒｉｎｃｉｐａｌ　ｃｏｍｐｏｎｅｎｔ），每个主　成分可视作原始向量的线性组合，所有主成分互相，　其间不存在冗余。显然，主成分构成了数据空间的一组正　交基。　第一个主成分是空间中的一个轴，其方向是使得数据　４　四川兵工学报　由少数变量的共同作用在观测空间张成一个流形，如　果能有效展开观测空间卷曲的流形，则可以对该数据集进　行降维。　流形学习的目标是发现嵌入在高维特征空间中的低　在该轴的映射具有最大方差。第二个主成分是空间中的　另一个轴且必须垂直于第一个主成分，其方向是使得数据　在其上的投影必须具有最大方差。如此依次生成所有的　主成分。显然，ＰＣＡ可视作一种坐标变换技术，最终得到　的新坐标空间维数和原始空间维数一样多，但是新坐标下　数据方差集中在前面若干维。因此通过设置方差权重的　维流形结构，并给出一个有效的低维表示。其形式化定义　为：给定高维数据集　ｃＲ　，定义映射　（　（Ｄ＞ｄ）。　流形学习的目标是根据　恢复，与低维数据集Ｙ，使得　＝　阈值，可以仅保留最前面若干个主成分来达到降维的目　的。图６给出了ＰＣＡ的几何解释，这里原始特征以　，　为坐标，新特征以主成分　、　为坐标，可见新坐标下数　，（ｙ）。可以想象如下过程：一张纸本身可视作二维空间数　据，然而将其揉成一团后，上面的点就分布在三维空间中。　据集中在第一维。　一，　、　、　～　、　／　＼　，　图６　ＰＣＡ的几何解释　２．１．４奇异值分解　当维数过大时，ＰＣＡ效率急剧下降。例如对图像而　言，每个像素视作一维，则一幅１００×１００小图像的维数是　１０　，ＰＣＡ中协方差矩阵是维数的平方，即１０　，这会对存储　与计算造成诸多不便。奇异值分解（Ｓｉｎｇｕｌａｒ　Ｖａｌｕｅ　Ｄｅｃｏｍ—　ｐｏｓｉｔｉｏｎ，ＳＶＤ）Ｌ２２　Ｊ可以有效解决上述问题。　例如对ｍ　ｘｎ数据矩阵　，通过ＳＶＤ可转换为　Ｘｍ　＝Ｕ…Ａ～　（５）　式中　、　是正交阵，满足　ｕ＝　＝，。Ａ是奇异值矩　阵，一般按照降序排序。降维时直接根据奇异值的贡献　率，将最小的若干个奇异值设为零，即可实现降维。　２．１．５成分分析　成分分析（ＩＣＡ）是ＰＣＡ的一种推广　Ｊ。ＰＣＡ仅　仅利用了训练样本的二阶统计信息，忽视了高阶统计信　息，ＩＣＡ除了能够分离ＰＣＡ中的二阶矩，而且能够分离输　入数据的高阶矩，从而使数据的二阶和高阶统计都得到有　效利用。另外，ＰＣＡ中的基仅仅是互相正交的，而ＩＣＡ假　设基是互相的［２４］。　ＩＣＡ通过最大化估计成分的统计性来寻找潜变　量。如何定义性？目前有两种较好的方法：一是最小　化互信息，一是最大化非高斯性。前者采用Ｋｕｌｌｂａｃｋ—　Ｌｅｉｂｌｅｒ收敛与最大熵等测度，后者根据中心极限定理采用　峰度（ｋｕｒｔｏｓｉｓ）与负熵（ｎｅｇｅｎｔｒｏｐｙ）等测度。目前较好的　ＩＣＡ算法包括ｉｎｆｏｒｍａｘ、ＦａｓｔＩＣＡ，ＪＡＤＥ等。　２．２非线性降维技术　传统的线性降维方法存在不少局限，主要体现在不能　保持局部信息和没有显式考虑数据所在的流形结构。因　此，一般采用非线性降维技术（ＮＬＤＲ），其中流形学习　（ｍａｎｉｆｏｌｄ　ｌｅａｒｎｉｎｇ）是当前研究热点。流形学习是一种新　的机器学习方法，基本思想为　］：高维观测空间中的点是　流形学习寻找到这种“揉”的信息，然后将三维空间的点还　原为二维空间。　图７给出了流形学习的另一个示例，降维前图７（ａ）中　的每个样本是一幅３２×３２的字幕“Ａ”的图像，区别在于图　像中的“Ａ”缩放比例与旋转角度不同。如果直观看，每幅　图像是一个１０２４维向量，每个标量可以取值０或１；考虑　到图像中的Ａ均一样，不提供额外信息，因此内在变量实　际只有２个：缩放比例与旋转角度。流形学习可以很好地　将样本之间相同的信息（字母Ａ）丢弃，仅仅保留样本之间　不同的信息，图７（ｂ）显示了降维后的结果，这里流形学习　很好地提取了不同样本之间的缩放与旋转信息。我们将　目前提出的ｌ７种流形学习算法示于图８，再逐一阐述。　（ａ）降维前（３２×３２＝１０２４维）　（ｂ）降维后（２维）　图７另一个流形学习示例　流形学习　主　核　高　曲　多　等　局　拉　扩　海　局　最　流　局　自　近　曲　主　斯　线　维　距　部　普　散　森　吾Ｂ　大　形　部　动　似　线　成　处　口　距　缩　映　线　拉　映　局　切　万　雕　多　编　矩　流　份　理　０　离　短　射　性　新　射　部　空　差　塑　维　码　形　分　潜　映　阵　分　嵌　本　线　间　展　缩　器　方　析　变　射　析　入　征　性　排　开　放　法　量　映　嵌　列　模　射　入　型　图８流形学习方法综述　２．２．１　主曲线流形　主曲线流形（ｐｒｉｎｃｉｐａｌ　ｃｕｒｖｅｓ　ａｎｄ　ｍａｎｉｆｏｌｄｓ）提供了非　线性降维的一种自然几何框架，它通过构建一个嵌入式流　形、采用标准几何映射流形编码，扩展了ＰＣＡ的几何框架。　如何定义流形的简单性是当前流形算法的一个难题，主曲　线流形采用内在变量（ｉｎｔｒｉｎｓｉｃ　ｖａｒｉａｂｌｅ）的维数与流形的光　张煜东，等：降维技术与方法综述　滑度来定义，获得了较好的结果。　２．２．２核主成分分析　５　另外，Ｉｓｏｍａｐ不产生一个内在模型，因此只有训练数据被　降维，而当其它类似数据需要降维时，必须重新训练。　２．２．８局部线性嵌入　核主成分分析（ｋｅｒｎｅｌ　ＰＣＡ）是ＰＣＡ技术的扩展　，当　在数据空间中面临线性不可分时，可以采用核方法将数据　首先映射到更高维度，然后再在映射后的数据空间中执行　ＰＣＡ算法。ＰＣＡ首先计算样本的协方差矩阵　Ｃ＝　局部线性嵌入（Ｌｏｃａｌｌｙ—ｌｉｎｅａｒ　ｅｍｂｅｄｄｉｎｇ，ＬＬＥ）与Ｉｓｏ—　ｍａｐ同时期提出，但在许多问题上明显优于Ｉｓｏｍａｐ，主要原　因在于采用了稀疏矩阵算法来实现更快的优化　。ＬＬＥ　首先寻找每个点的邻近点，然后给每个点计算一组权重，　这样当前点可以用邻近点的权重组合来表示。最后，采用　基于本征向量优化的技术来寻找数据的低维嵌入，以保持　然后投影到前ｋ个特征向量。而核主成分分析计算的是样　本变换到更高维度之后的协方差矩阵，即　Ｃ＝　∑　（　）　（　）　该算法的缺点是核函数　无法有效选择。　２．２．３　高斯处理潜变量模型　高斯处理潜变量模型（Ｇａｕｓｓｉａｎ　ｐｒｏｃｅｓｓ　ｌａｔｅｎｔ　ｖａｒｉａｂｌｅ　ｍｏｄｅ１）可视作概率非线性ＰＣＡ方法。与核主成分分析类　似，ＧＰＬＶＭ也采用一个核函数来实现映射。不同之处在　于，核主成分分析是从高维空间到低维空间，而ＧＰＬＶＭ是　从低维空间到高维空间。　２．２．４　Ｋｏｈｅｎｅｎ映射　Ｋｏｈｅｎｅｎ映射（也称自组织神经网络，ＳＯＭ）与其改进　版本——生成型拓扑映射（ＧＴＭ）在嵌入空间中采用点表　示法来形成一个潜变量模型。　２．２．５曲线距离分析　曲线距离分析（ＣＤＡ）训练Ｋｏｈｅｎｅｎ映射，使其拟合流　形且保存两点之间的测地线距离。ＣＤＡ与曲线成分分析　（ＣＣＡ）类似，不同只是ＣＤＡ采用测地线（ｇｅｏｄｅｓｉｃ）距离，即　两点之间在流形上的最短距离。　２．２．６缩放　缩放（ｍｕｌｔｉ—ｄｉｍｅｎｓｉｏｎａｌ　ｓｃａｌｉｎｇ，ＭＤＳ）　具有明　显的几何意义，其思想在于：将特征ｘ映射到低维空间ｌ，，　使得每个观察点（ｏｂｓｅｒｖａｔｉｏｎ）间的距离Ｄ近似保持不变。　因此，缩放技术首先计算给定高维数据集　中任意两　点的距离　，然后计算数据在低维空间的映射ｙ，使得低　维空间ｙ中数据点问的距离Ｄ　与高维空间中对应点的距　离　近似相同。缩放的优点在于：１）有明确的几何　意义；２）针对距离矩阵进行计算，因此可以对任意距离函　数进行计算；３）可以表明映射后的相似程度。　２．２．７等距映射　等距映射（Ｉｓｏｍａｐ）可视作ＣＤＡ与ＭＤＳ的结合　。　与ＣＤＡ类似，Ｉｓｏｍａｐ首先寻找每个点的最近邻点集，在此　基础上利用Ｄｉｊｋｓｔｒａｓ算法寻找近邻点之间的最短测地路　径，来建立点集之间的测地线距离。只是ＣＤＡ采用ＳＯＭ　网络训练，而Ｉｓｏｍａｐ采用ＭＤＳ训练。　尽管Ｉｓｏｍａｐ的结果略弱于ＣＤＡ，但能够显著提高运算　速度且易于实现。Ｉｓｏｍａｐ的缺点在于：由于估计测地线距　离的不精确性，在未采样的空间可能会得到较差的结果。　每个点的权重不变。　ＬＬＥ的缺点在于：对非均匀数据区域表现较差，因为　数据密度变化会造成权重变化。另外，ＬＬＥ也不产生内部　模型。　２．２．９拉普拉斯本征映射　拉普拉斯本征映射（１ａｐｌａｃｉａｎ　Ｅｉｇｅｎｍａｐ）利用谱技术来　实现降维。拉普拉斯本征图在某种意义上保持了点与点　之间的局部距离，惩罚函数保证了在原始空间中离得很近　的点，在低维空间中的像也相距很近。　２．２．１０扩散映射　扩散映射（Ｄｉｆｕｓｉｏｎ　Ｍａｐｓ）采用了随机游走技术，然后　在流形中与热扩散效应比较。该算法与一个马尔可夫转　移矩阵（定义在图上的函数与定义在流形上的扩散算子）　类似。　２．２．１１　海森局部线性嵌入　海森局部线性嵌入（Ｈｅｓｓｉａｎ　ＬＬＥ）与ＬＩＪＥ类似，都基于　稀疏矩阵技术。优点是，海森局部线性嵌入得到的结果更　佳，但计算异常复杂。因此，对于样本点密集的流形不适　用。另外，它也没有内在模型。　２．２．１２局部切空间排列　局部切空间排列（Ｌｏｃａｌ　Ｔａｎｇｅｎｔ　Ｓｐａｃｅ　Ａｌｉｇｎｍｅｎｔ，ＬＴ－　ｓＡ）基于下列思想　：当一个流形展开时，其上所有的切　平面将逐步对齐。ＬＴＳＡ首先计算每个点的ｋ近邻点；然后　通过计算每个点邻域的前ｄ个主成份，获得每个点的切平　面；最后求解一个优化函数来寻找最优嵌入函数，使所有　切平面对齐。　２．２．１３最大方差展开　最大方差展开（Ｍａｘｉｍｕｍ　Ｖａｒｉａｎｃｅ　Ｕｎｆｏｌｄｉｎｇ，ＭＶＵ）的　前身是半定嵌入（ｓｅｍｉｄｅｆｉｎｉｔｅ　ｅｍｂｅｄｄｉｎｇ），基于下列思想：　当一个流形正确展开时，数据点上的方差最大。ＭＵＶ首先　寻找每个点的ｋ个最近邻点；然后在保持所有邻近点距离　的基础上，最大化所有非邻近点的距离。ＭＵＶ的特别之处　在于，将一个优化问题变换到一个半定编程问题，缺点则　在于半定编程需要极高的计算代价。另外，它也没有内在　模型。　地标最大方差展开（１ａｎｄｍａｒｋ　ＭＶＵ）是一种改进算法，　采用地标来提速，但精度有所下降。　２．２．１４流形雕塑　流形雕塑采用标度优化（ｇｒａｄｕａｔｅｄ　ｏｐｔｉｍｉｚａｔｉｏｎ）算法　６　四川兵工学报　个圆，由图１０可见，可见，ＩＳＯＭＡＰ、Ｈｅｓｓｉａｎ　ＬＬＥ、Ｌａｐｌａｅｉａｎ、　来寻找最优流形。首先计算ｋ近邻，然后寻找一个可以保　存局部邻域关系的流形。流形雕塑算法逐步从高维中标　度方差，同时相应地调整低维流形中的点。如果标度速率　设置较小，则可以寻找到非常精细的流形。一般地，流形　ＬＳＴＡ可很好展开。事实上，每种算法擅长处理的流形结　构各不相同，在实际处理中必须根据特殊情况特殊对待。　雕塑可以寻找到较其它算法更好的结果，同时也能够对其　它算法的结果进一步优化。然而对某些复杂的流形，必须　墨　。　将标度速率设置得非常小。流形雕塑算法也不提供内在　模型。　２．２．１５局部缩放　局部缩放（Ｌｏｃａｌ　Ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ　Ｓｃａｌｉｎｇ，ＬＭＤＳ）　在局部区域执行ＭＤＳ算法，然后采用凸优化方法来拟合所　有的片段。　２．２．１６　自动编码器　自动编码器（ａｕｔｏｅｎｃｏｄｅｒ）的机理与上述方法完全不　同，它是一种特殊类型的前向神经网络。尽管思想古老，　但是在约束玻尔兹曼机提出后才变得流行起来。一种类　似的方法是神经刻度算法（ｎｅｕｒｏｓｃａｌｅ　ａｌｇｏｒｉｔｈｍ），采用基于　ＭＤＳ与ｓ眦堋ｏｎ映射的压力函数，来学习从高维空间到低　维空问的映射。神经刻度算法中的映射是基于径向基网　络函数的。另一种类似的方法是直接采用带隐层的神经　网络，利用隐层神经元作为新提取的特征。　２．２．１７近似矩阵方法　基于近似矩阵（ｐｒｏｘｉＯ　ｍｉＯ　ｔｙ　ｍａｔ０　ｒｉｘ）的方法有如下共同之　处：数据表示为相似度矩阵或相异度矩阵（距离矩阵）的形　式。这些方法都可以归结为度量缩放（ｍｅ２｝　｝　２ｔｒ～ｉｃ　ＭＤＳ）方　法，不同之处在于如何定义近似矩阵。特别地，一种称为　　Ｐｒｏｃｒｕｓｔｅｓ距离可以只衡量形状的差异。　例如正常人不会因为某个字符的仿射变换（例如缩　放、平移、旋转、镜像）而认不出该字符，即希望衡量字符相　异度时能够对仿射变换不敏感。在人脸识别中，同样希望　两幅人脸的距离仅与形状有关。Ｐｒｏｃｒｕｓｔｅｓ距离能够保证　定义的相异度矩阵对仿射变换不敏感，假设高维空间中两　个形状分别为　与ｌ，，每个形状包含ｎ个点，每个点属于Ｐ　维空间，则Ｐｒｏｃｒｕｓｔｅｓ距离定义为　Ｐ　Ｐｒｏｃｒｕｓｔｅｓ（　，ｙ）＝ｍｉｎ∑∑（ｌ　ｌ　Ｊ　１　　～　）　（８）　式中Ｚ＝ｂＹ＇／＇４－ｃ。这里ｂ为缩放因子，　为旋转与镜像因　子，ｃ是平移因子。因此Ｐｒｏｃｒｕｓｔｅｓ的真正意义在于通过选　择合适的ｂ，Ｔ，Ｃ，使得ｚ与　最接近，此时对应的距离即为　Ｐｒｏｃｒｕｓｔｅｓ距离ｏ　２．２．１８算法比较　以瑞士卷（Ｓｗｉｓｓ　ｒｏｌ１）、螺旋管环线（ｔｏｒｏｉｄａｌ　ｈｅｌｉｘ）作为　测试数据，分别采用ＭＤＳ、ＰＣＡ、ＩＳＯＭＡＰ、ＬＬＥ、Ｈｅｓｓｉａｎ　ＬＬＥ、Ｌａｐｌａｃｉａｎ、Ｄｉｆｕｓｉｏｎ　Ｍａｐ、ＬＴＳＡ算法，比较其降维结果　与运行时间，示于图９与图１Ｏ。　对于瑞士卷，希望能将它展开为一个平面，由图９可　见，仅ＬＬＥ可很好展开。对于螺旋管环线，希望展开为一　：ｉ　耋　曼　：　篷　．１。Ｑ　Ｏ　２　２　。　，０　１　０　龄　１　０　舢１　ｓｌ　：竺！！－．　旬Ｏ５　０　Ｏ０５　．１　０　’　２　薹Ｑ勺Ｏ５　０　００５　　ＩＫＮＮ：８　Ａｌｐｈａ：，　ＳＪ口ｍａ＝ｌ口　图ｌ０螺旋管环线流形学习比较　３结束语　随着工程处理中数据量、数据维数的增加，特征选择　与特征变换作为两种主要的降维技术正得到越来越广泛　的应用。　特征选择侧重于从若干个特征中直接选择特征，优点　是可以直接保留具有物理意义的重要特征，缺点是得到的　特征不能最好地反映系统信息。按照特征子集的形成方　法，获取特征可以分为穷举法、启发式方法、随机方法、智　能优化方法等。按照评价函数的类别，可分为筛选式、封　装式、嵌入式。　特征变换侧重于通过变换得到更加集中的新特征，优　点是新特征更能反映系统意义，缺点是新特征并不具有物　理意义。传统的特征变换方法一般采用线性降维方法，主　要有非负矩阵分解、因子分析、主成份分析、奇异值分解、　成分分析等。目前的特征变换方法集中在非线性降　维方法，以流形学习为代表。　张煜东，等：降维技术与方法综述　７　参考文献：　［１］　ＫＵＦＬＩＫ　Ｔ，ＢＯＧＥＲ　Ｚ，ＳＨＯＶＡＬ　Ｐ．Ｆｉｌｔｅｉｒｎｇ　ｓｅａｒｃｈ　ｒｅ—　ｓｕｌｔｓ　ｕｓｉｎｇ　ａｎ　ｏｐｔｉｍａｌ　ｓｅｔ　ｏｆ　ｔｅｒｍｓ　ｉｄｅｎｔｉｆｉｅｄ　ｂｙ　ａｎ　ａｒｔｉｉｆ—　ｃｉａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ『Ｊ］．Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ＆Ｍａｎ—　ａｇｅｍｅｎｔ，２００６，４２（２）：４６９—８３．　［２］　卜化龙，夏静，韩俊波．特征选择算法综述及进展研　究［Ｊ］．巢湖学院学报，２００８，１０（６）：１—４．　［３］ＬＩＮ　Ｓ—Ｗ，ＣＨＥＮ　Ｓ－Ｃ．ＰＳＯＬＤＡ：Ａ　ｐａｒｔｉｃｌｅ　ｓｗａｒｍ　ｏｐｔｉ—　ｍｉｚａｔｉｏｎ　ａｐｐｒｏａｃｈ　ｆｏｒ　ｅｎｈａｎｃｉｎｇ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｃｃｕｒａｃｙ　ｒａｔｅ　ｏｆ　ｌｉｎｅａｒ　ｄｉｓｃｒｉｍｉｎａｎｔ　ａｎａｌｙｓｉｓ『Ｊ］．Ａｐｐｌｉｅｄ　Ｓｏｆｔ　Ｃｏｍｐｕｔｉｎｇ，２００９，９（３）：１００８—１５．　［４］　ＹＵＳＴＡ　Ｓ　Ｃ．Ｄｉｆｆｅｒｅｎｔ　ｍｅｔａｈｅｕｒｉｓｔｉｃ　ｓｔｒａｔｅｇｉｅｓ　ｔｏ　ｓｏｌｖｅ　ｔｈｅ　ｆｅａｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ　ｐｒｏｂｌｅｍ　ｆ　Ｊ　１．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｌｅｔｔｅｒｓ，２０ｏ９，３０（５）：５２５—３４．　［５］　ＮＡＫＡＲＩＹＡＫｕＬ　Ｓ，ＣＡＳＡＳＥＮＴ　Ｄ　Ｐ．Ａｎ　ｉｍｐｒｏｖｅｍｅｎｔ　ｏｎ　ｆｌｏａｔｉｎｇ　ｓｅａｒｃｈ　ａｌｇｏｒｉｔｈｍｓ　ｆｏｒ　ｆｅａｔｕｒｅ　ｓｕｂｓｅｔ　ｓｅｌｅｃｔｉｏｎ　［Ｊ］．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，２００９，４２（９）：１９３２—４０．　［６］　ＳＡＭＡＮＴＡ　Ｂ，ＢＩＲＤ　Ｇ　Ｌ，ＫＵＵＰＥＲＳ　Ｍ，ｅｔ　ａ１．Ｐｒｅｄｉｃ—　ｔｉｏｎ　ｏｆ　ｐｅｒｉｖｅｎｔｒｉｃｕｌａｒ　ｌｅｕｋｏｍａｌａｃｉａ．Ｐａｒｔ　ＩＩ：Ｓｅｌｅｃｔｉｏｎ　ｏｆ　ｈｅｍｏｄｙｎａｍｉｃ　ｆｅａｔｕｒｅｓ　ｕｓｉｎｇ　ｃｏｍｐｕｔａｔｉｏｎａｌ　ｉｎｔｅｌｌｉｇｅｎｃｅ　［Ｊ］．Ａｒｔｉｉｆｃｉｌａ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　ｉｎ　Ｍｅｄｉｃｉｎｅ，２００９，４６（３）：　２１７—３１．　［７］　ＡＭＪＡＤＹ　Ｎ，ＫＥＹＮＩＡ　Ｆ．Ｄａｙ—ａｈｅａｄ　ｐｒｉｃｅ　ｆｏｒｅｃａｓｔｉｎｇ　ｏｆ　ｅｌｅｃｔｒｉｃｉｔｙ　ｍａｒｋｅｔｓ　ｂｙ　ａ　ｎｅｗ　ｆｅａｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ　ａｌｇｏｒｉｔｈｍ　ａｎｄ　ｃａｓｅａｄｅｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｔｅｃｈｎｉｑｕｅ　ｆ　Ｊ］．Ｅｎｅｒｇｙ　Ｃｏｎ—　ｖｅｒｓｉｏｎ　ａｎｄ　Ｍａｎａｇｅｍｅｎｔ，２００９，５０（１２）：２９７６—８２．　［８］ＴＳＹＭＢＡＬ　Ａ，ＰＵＵＲＯＮＥＮ　Ｓ，ＰＡＴＨ￣ＲＳＯＮ　Ｄ　Ｗ．Ｅｎ—　ｓｅｍｂｌｅ　ｆｅａｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ　ｗｉｔｈ　ｔｈｅ　ｓｉｍｐｌｅ　Ｂａｙｅｓｉａｎ　ｅｌｓａｓｉｉｆ—　ｃａｔｉｏｎ［Ｊ］．Ｉｆｎｏｒｍａｔｉｏｎ　Ｆｕｓｉｏｎ，２００３，４（２）：８７—１００．　［９］　ＶＥＲＭＡ　Ｂ，ＺＨＡＮＧ　Ｐ．Ａ　ｎｏｖｅｌ　ｎｅｕｒａｌ・ｇｅｎｅｔｉｃ　ｌａｇｏｒｉｔｈｍ　ｔｏ　ｆｉｎｄ　ｔｈｅ　ｍｏｓｔ　ｓｉｎｇｉｆｉｃａｎｔ　ｃｏｍｂｉｎａｔｉｏｎ　ｏｆ　ｆｅａｔｕｒｅｓ　ｉｎ　ｄｉｇ－　ｉｔａｌ　ｍａｍｍｏｇｒａｍｓ［Ｊ］．Ａｐｐｌｉｅｄ　Ｓｏｆｔ　Ｃｏｍｐｕｔｉｎｇ，２００７，７　（２）：６１２—２５．　［１０］ｓＩＶＡＧＡＭＩＮＡＴＨＡＮ　Ｒ　Ｋ，ＲＡＭＡＫＲＩｓＨＮＡＮ　ｓ．Ａ　ｈｙ—　ｂｒｉｄ　ａｐｐｒｏａｃｈ　ｆｏｒ　ｆｅａｔｕｒｅ　ｓｕｂｓｅｔ　ｓｅｌｅｃｔｉｏｎ　ｕｓｉｎｇ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ　ａｎｄ　ａｎｔ　ｃｏｌｏｎｙ　ｏｐｔｉｍｉｚａｔｉｏｎ［Ｊ］．Ｅｘｐｅｒｔ　Ｓｙｓ—　ｔｅｒｎｓ　ｗｉｔｈ　Ａｐｐｌｉｃａｔｉｏｎｓ，２００７，３３（１）：４９—６０．　［１１］ＰＥＤＲＹＣＺ　Ｗ，ＰＡＲＫ　Ｂ　Ｊ，ＰＩＺＺＩ　Ｎ　Ｊ．Ｉｄｅｎｔｉｆｙｉｎｇ　ｃｏｒｅ　ｓｅｔｓ　ｏｆ　ｄｉｓｃｒｉｍｉｎａｔｏｒｙ　ｆｅａｔｕｒｅｓ　ｕｓｉｎｇ　ｐａｒｔｉｃｌｅ　ｓｗａｍｉ　ｏｐｔｉ—　ｍｉｚａｔｉｏｎ［Ｊ］．Ｅｘｐｅｒｔ　Ｓｙｓｔｅｍｓ　ｗｉｔｈ　Ａｐｐｌｉｃａｔｉｏｎｓ，２００９，　３６（３，Ｐａｒｔ　１）：４６１０—６．　『１２］ＧＨＥＹＡＳ　Ｉ　Ａ．ＳＭＩＴＨ　Ｌ　Ｓ．Ｆｅａｔｕｒｅ　ｓｕｂｓｅｔ　ｓｅｌｅｃｔｉｏｎ　ｉｎ　ｌｒａｇｅ　ｄｉｍｅｎｓｉｏｎａｌｉｔｙ　ｄｏｍａｉｎｓ［Ｊ］．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　２０１０，４３（１）：５—１３．　　１１３　Ｉ　ＰＥＮＧ　Ｙ，ｗＵ　ｚ，ＪＩＡＮＧ　Ｊ．Ａ　ｎｏｖｅｌ　ｆｅａｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ　ａｐ—　ｐｒｏａｃｈ　ｏｆｒ　ｂｉｏｍｅｄｉｃａｌ　ｄａｔａ　ｃｌｓａｓｉｉｆｃａｔｉｏｎ［Ｊ］．Ｊｏｕｒｎａｌ　ｏｆ　Ｂｉｏｍｅｄｉｃａｌ　Ｉｎｆｏｒｍａｔｉｅｓ，２０１０，４３（１）：１５—２３．　［１４］ＭＡＬＤＯＮＡＤＯ　Ｓ，ＷＥＢＥＲ　Ｒ．Ａ　ｗｒａｐｐｅｒ　ｍｅｔｈｏｄ　ｆｏｒ　ｆｅａ—　ｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ　ｕｓｉｎｇ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅｓ［Ｊ］．Ｉｎｆｏｒ—　ｍａｒｉｏｎ　Ｓｃｉｅｎｃｅｓ，２００９，１７９（１３）：２２０８—１７．　［１５］葛雷，李国正，尤鸣宇．多标记学习的嵌入式特征选　择［Ｊ］．南京大学学报（自然科学），２００９，４５（５）：　６７】一６．　［１６］闫鹏，郑雪峰，朱建勇，ｅｔａ１．一种基于嵌入式特征选　择的垃圾邮件过滤模型［Ｊ］．小型微型计算机系统，　２００９，３０（８）：１６１６—２０．　［１７］ＬＡＶＩＮＥ　Ｂ　Ｋ，ＤＡＶＩＤＳＯＮ　Ｃ　Ｅ．Ｍｕｌｔｉｖａｒｉａｔｅ　Ａｐｐｒｏａ—　ｃｈｅｓ　ｔｏ　Ｃｌｓａｓｉｉｆｃａｔｉｏｎ　ｕｓｉｎｇ　Ｇｅｎｅｔｉｃ　Ａｌｇｏｒｉｔｈｍｓ　Ｉ　Ｍ　ｌ／／　ＳＴＥＰＨＥＮ　Ｄ　Ｂ，ＲＯＭ，Ｘ００Ｅ，ｅｔ　ａ１．Ｃｏｍｐｒｅｈｅｎｓｉｖｅ　Ｃｈ—　ｅｍｏｍｅｔｒｉｃｓ．０ｘｆｏｒｄ：Ｅｌｓｅｖｉｅｒ．２０ｏ９：６１９—４６．　『１８］ＨＳＩＮＧ　Ｔ，ＬＩＵ　Ｌ—Ｙ，ＭＡＲＣＥＬ　Ｂ，ｅｔ　ａ１．Ｔｈｅ　ｃｏｅｍｃｉｅｎｔ　ｏｆ　ｉｎｔｉｒｎｓｉｃ　ｄｅｐｅｎｄｅｎｃｅ（ｆｅａｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ　ｕｓｉｎｇ　ｅｌ　ＣＩＤ）　［Ｊ］．Ｐａｔｔｅｒｎ　Ｒｅｃｏｎｇｉｔｉｏｎ，２００５，３８（５）：６２３—３６．　［１９］ＱＩＮＧＨＵＡ　Ｗ，ＹＯＵＹＵＮ　Ｚ，ＬＥＩ　Ｃ，ｅｔ　ａ１．Ｆａｕｌｔ　ｄｉａｇｎｏ—　ｓｉｓ　ｆｏｒ　ｄｉｅｓｅｌ　ｖａｌｖｅ　ｔｒａｉｎｓ　ｂａｓｅｄ　ｏｎ　ｎｏｎ—ｎｅｇａｔｉｖｅ　ｍａｔｒｉｘ　ｆａｃｔｏｒｉｚａｔｉｏｎ　ａｎｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｅｎｓｅｍｂｌｅ　ｌ　Ｊ　１．Ｍｅｃｈａｎｉ—　ｃａｌ　Ｓｙｓｔｅｍｓ　ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ，２００９，２３（５）：１６８３　—９５．　『２０１　ＢＥＨＲＥＮＳ　Ｔ，ＺＨＵ　Ａ　Ｘ，ＳＣＨＭＩＤＴ　Ｋ，ｅｔ　ａ１．Ｍｕｌｔｉ—　ｓｃａｌｅ　ｄｉ西ｔａｌ　ｔｅｒｒａｉｎ　ａｎａｌｙｓｉｓ　ａｎｄ　ｆｅａｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ　ｆｏｒ　ｄｉｇ—　ｉｔｌａ　ｓｏｉｌ　ｎｍｐｐｉｎｇ［Ｊ］．Ｇｅｏｄｅｒｍａ，２０１０，１５５（３—４）：　１７５—８５．　［２１］ＣＡＭＡＣＨＯ　Ｊ，ＰＩＣ　Ｊ，ＦＥＲＲＥＲ　Ａ．Ｄａｔａ　ｕｎｄｅｒｓｔｎａｄｉｎｇ　ｗｉｔｈ　ＰＣＡ：Ｓｔｒｕｃｔｕｒａｌ　ａｎｄ　Ｖａｒｉａｎｃｅ　Ｉｎｆｏｒｍａｔｉｏｎ　ｐｌｏｔｓ　［Ｊ］．Ｃｈｅｍｏｍｅｔｒｉｃｓ　ａｎｄ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｌａｂｏｒａｔｏｒｙ　Ｓｙｓｔｅｍｓ，　２０１０，１ｏｏ（１）：４８—５６．　『２２］ＬＩＰＯＶＥＴＳＫＹ　Ｓ．ＰＣＡ　ａｎｄ　ＳＶＤ　ｗｉｔｈ　ｎｏｎｎｅｇａｔｉｖｅ　ｌｏａｄ—　ｉｎｇｓ［Ｊ］．Ｐａｔｔｅｒｎ　Ｒｅｃｏｎｇｉｔｉｏｎ，２００９，４２（１）：６８—７６．　『２３］ＲＡＤＵＬＯＶＩＣ　Ｊ，ＲＡＮＫＯＶＩＣ　Ｖ．Ｆｅｅｄｆｏｒｗａｒｄ　ｎｅｕｒａｌ　ｎｅｔ—　ｗｏｒｋ　ａｎｄ　ａｄａｐｔｉｖｅ　ｎｅｔｗｏｒｋ—ｂａｓｅｄ　ｆｕｚｚｙ　ｉｎｆｅｒｅｎｃｅ　ｓｙｓｔｅｍ　ｉｎ　ｓｔｕｄｙ　ｏｆ　ｐｏｗｅｒ　ｌｉｎｅｓ［Ｊ］．Ｅｘｐｅｒｔ　Ｓｙｓｔｅｍｓ　ｗｉｔｈ　Ａｐｐｌｉ—　ｃａｔｉｏｎｓ，２０１０，３７（１）：１６５—７０．　『２４］　ＫＨ０ＳＲＡＶＩ　Ａ，ＮＡＨＡＶＡＮＤＩ　Ｓ，ＣＲＥＩＧＨＴ０Ｎ　Ｄ．　Ａ　ｐｒｅｄｉｃｔｉｏｎ　ｉｎｔｅｒｖａｌ—ｂａｓｅｄ　ａｐｐｒｏａｃｈ　ｔｏ　ｄｅｔｅｒｍｉｎｅ　ｏｐｔｉｍａｌ　ｓｔｕｒｃｔｕｒｅｓ　ｏｆ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｍｅｔａｍｏｄｅｌｓ　ｌ　Ｊ　１．Ｅｘｐｅｒｔ　Ｓｙｓ—　ｔｅｍｓ　ｗｉｔｈ　Ａｐｐｌｉｃａｔｉｏｎｓ，２０１０，３７（３）：２３７７—８７．　［２５］王自强，钱旭．基于流形学习和ＳＶＭ的Ｗｅｂ文档分　类算法［Ｊ］．计算机工程，２００９，１５）：３８—４ｏ．　『２６］Ｌ　ＰＥＺ　Ｍ　Ｍ，ＲＡＭ　ＲＥＺ　Ｊ，Ｇ　ＲＲＩＺ　Ｊ　Ｍ，ｅｔ　ａ１．ＳＶＭ—　ｂａｓｅｄ　ＣＡＤ　ｓｙｓｔｅｍ　ｆｏｒ　ｅａｒｌｙ　ｄｅｔｅｃｔｉｏｎ　ｏｆ　ｔｈｅ　Ａｌｚｈｅｉｍｅｒ＂ｓ　ｄｉｓｅａｓｅ　ｕｓｉｎｇ　ｋｅｒｎｅｌ　ＰＣＡ　ａｎｄ　ＬＤＡ｛Ｊ　１．Ｎｅｕｒｏｓｅｉｅｎｅｅ　Ｌｅｔｔｅｒｓ，２００９，４６４（３）：２３３—８．　［２７］肖传乐，曹槐．基于流形学习的基因表达谱数据可视　化［Ｊ］．生物信息学，２００９，０１）：４７—５１．　｛２８　Ｉ　ＲＯＮＧ　Ｊ，Ｕ　Ｇ，ＣＨＥＮ　Ｙ—Ｐ　Ｐ．Ａｃｏｕｓｔｉｃ　ｆｅａｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ　ｏｆｒ　ａｕｔｏｍａｔｉｃ　ｅｍｏｔｉｏｎ　ｒｅｃｏｇｎｉｔｉｏｎ　ｆｒｏｍ　ｓｐｅｅｃｈ［Ｊ］．Ｉｎｆｏｒ－　ｍａｒｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ＆Ｍａｎａｇｅｍｅｎｔ，２００９，４５（３）：３１５　—２８．　［２９］ＲＯＤＲ　ＧＵＥＺ—ＲＡＪＯ　Ｆ　Ｊ，ＡＳＴＲＡＹ　Ｇ，ＦＥＲＲＥＩＲＯ—　ＬＡＧＥ　Ｊ　Ａ，ｅｔ　ａ１．Ｅｖａｌｕａｔｉｏｎ　ｏｆ　ａｔｍｏｓｐｈｅｒｉｃ　Ｐｏａｃｅａｅ　ｐｏｌ—　ｌｅｎ　ｃｏｎｃｅｎｔｒａｔｉｏｎ　ｕｓｉｎｇ　ａ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ａｐｐｌｉｅｄ　ｔｏ　ａ　ｃｏａｓｔａｌ　Ａｔｌａｎｔｉｃ　ｃｌｉｍａｔｅ　ｒｅｇｉｏｎ　ｌ　Ｊ　ｉ．Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ，　２０１０，２３（３）：４１９—２５．　ｆ３Ｏ］ＨＯＵ　Ｃ，ＺＨＡＮＧ　Ｃ，ｗＵ　Ｙ，ｅｔ　ａ１．Ｓｔａｂｌｅ　ｌｏｃａｌ　ｄｉｍｅｎ．　ｓｉｏｎａｌｉｔｙ　ｒｅｄｕｃｔｉｏｎ　ａｐｐｒｏａｃｈｅｓ［Ｊ］．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　２０ｏ９，４２（９）：２０５４—６６．　（责任编辑周江川）