LLE(Locally Linear Embedding)算法,即局部线性嵌入算法。该
算法是针对
非线性信号特征
矢量维数的优化方法,这种维数优化并不是仅仅在数量上简单的约简,而是在保持
原始数据性质不变的情况下,将
高维空间的信号映射到低维空间上,即
特征值的二次提取。
LLE 是 S.T.Roweis 等人提出了一种针对非线性数据的无监督
降维方法,它是流形学习算法中的一种用局部线性反映全局的非线性的算法,并能够使降维的数据保持原有数据的拓扑结构。LLE 是一种用局部线性的非线性维数约简方法,该算法在一定程度上扩大了对维数约简的认识。
自从在 2000 年 Roweis 提出了局部线性嵌入(LLE)算法后,使得流形学习在最近几年里得到迅速发展,流形学习与传统的线性降维方法相比,能够非常有效地发现非线性高维空间的维数,有利于对高维数据的维数约简和数据分析,在机器学习和认知科学领域受到广大研究者的重视。
LLE 算法假设在局部领域内数据点是线性的,所以邻域内任意一点,都可用局部近邻点来线性表示。LLE 算法是由重构成本函数最小化求出最优权值,各点的局部邻域权值能够在多尺度变换下仍保持不变。LLE 算法无迭代计算过程,可使计算复杂度大幅度的减小。
假设样本集由 N 个 D 维
矢量Xi 组成。每一样本点都可以用它的近邻域点带权值线性组合表示,其中权值能反映出局部邻域的信息。根据这些信息,可使这种低维空间中仍保留原高维空间中的几何性质,通过重叠的局部邻域,得到整体的信息。这种方法的关键就在于:用局部线性结构来反映全局的非线性结构。在每一小块局部上,流行可近似的看成是平坦的,故这种算法不会产生较大的错误
将 N 个 D 维矢量组成的矩阵作为输入,
输出矢量为一个 N 个 d 维矢量(d<D)组成的矩阵。矩阵 Y 的第 k 列对应是矩阵 X 中的第 k 列。