流形降维的局部线性嵌入方法研究.doc

摘要:降维已经出现在许多领域的信息处理问题中，其中包括数据压缩、机器学习、科学计算可视化、模式识别、神经计算等等。所谓的流形可以理解为一个物体的整体可由局部平坦空间所拼凑而成。为了弥补线性降维方法的局限性，在2000年左右，L.Saul和S.Roweis等人就提出了一种全新的降维方法--局部线性嵌入方法(LLE)[1]，主要是用来处理非线性数据，相对于其它降维方法，LLE算法具有明显的优势，在计算过程中不需要迭代,所需要关注的参数也很少 。因此，从LLE算法被提出开始，关注和研究流形学习(Manifold Leaming)的人的数量便日益增加，并且已经被广泛应用到数据的分类与聚类、人脸识别以及地震属性参数降维等方面。

所谓的流形学习是非线性降维的一个分支,而局部线性嵌入方法(LLE)作为目前为止最优秀的降维方法，是因为它在之前提出的降维方法中吸气精华，去其糟粕，推陈出新，而非一成不变。简单来说，LLE算法就可以抽象理解为在保持原始数据拓扑结构的前提下，将一个高维空间的数据经过一系列变化转化为相对降低且易于理解的低维空间数据，甚至是我们熟知的二维空间。LLE方法主要涉及了矩阵二范数以及二次型、拉格朗日乘子法和特征提取的相关知识。本论文基于矩阵计算理论，Lagrange等式约束优化理论严格推导了LLE方法，给出了基于Matlab的数值实验过程。

关键词：局部线性嵌入方法；范数；二次型；拉格朗日乘子法；特征提取

目录

摘要

Abstract

1 方法简介-1

2 相关知识介绍-4

2.1两种经典的线性方法简介-4

2.1.1主成分分析法(PCA)-4

2.1.2多维标度分析(MDS)-5

2.2 拉格朗日乘子法-5

2.3 矩阵二范数与二次型-6

2.4 稀疏矩阵与特征提取-7

3 理论推导过程-9

４ LLE相关参数设置-15

结   论-19

参考文献-20

致    谢-21