Dimension reduction:PCA

最新推荐文章于 2023-04-26 18:45:17 发布
最新推荐文章于 2023-04-26 18:45:17 发布
阅读量244 收藏
点赞数
分类专栏： Mahout 文章标签： 降为 PCA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhou85xin/article/details/84215185
版权

Principal Components Analysis(PCA)

PCA算法的步骤

a. 计算样本集的协方差矩阵S

    S的值表示样本之间的相关性，大于0说明是正相关；小于0，说明是负相关；等于0，说明相互独立，不相关

b. 计算S的特征向量和特征值，按从大到小排序。

c.  设置要映射的低维空间维数k，取前k个特征值对应的特征向量作为降为的结果。

 

为什么选用协方差矩阵，主要有以下几个基准：

a. 最大方差理论

b. 最小错误理论

c. 坐标轴相关度理论

昨日西风紧
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习课程-第8周-降维(Dimensionality Reduction)—主成分分析(PCA)
豆子
02-09 798
机器学习课程-第8周-降维(Dimensionality Reduction)—主成分分析(PCA) 1. 动机一：数据压缩 第二种类型的无监督学习问题，称为降维。有几个不同的的原因使你可能想要做降维。一是数据压缩，数据压缩不仅允许我们压缩数据，因而使用较少的计算机内存或磁盘空间，但它也让我们加快我们的学习算法。 但首先，让我们谈论降维是...
Dimension reduction:ICA
浪不虚传
05-10 339
Independent Components Analysis (ICA) PCA的基本思想是在特征空间中寻找一些方向，使得在新的方向上表示数据的误差平方和最小。 ICA的基本思想是在特征空间中寻找最能使得数据相互独立的方向，所以普遍用于盲信号分离。 所以降维的结果每一维属性之间都相互独立。   ICA算法的步骤 a. 假设训练样本X(t) b. 降维后的样本为S(t)...
Dimensionality Reduction（主成分分析PCA与线性判别分析LDA）
nakaizura
10-19 4664
PCA原理，实现，应用。多重境界的理解。通常情况下，在收集数据集时会有很多的特征，这代表着数据是高冗余的表示，但是对于某个工程来说其实可能并不需要那么多的特征。所以就需要给数据进行降维（Dimensionality Reduction）。降维可以简化数据，使数据集更易使用，降低时间开销，而且能减少一部分噪音的影响，使最后的效果变好。比如上图中，如果进行降维后再进行分类，将会易于处理.........
Dimension Reduction A Guided Tour
09-04
Dimension Reduction A Guided Tour give a tutorial overview of several foundational methods for dimension reduction. We divide the methods into projective methods and methods that model the manifold on which the data lies. For projective methods, we review projection pursuit, principal component analysis (PCA), kernel PCA, probabilistic PCA, canonical correlation analysis (CCA), kernel CCA, Fisher discriminant analysis, oriented PCA, and several techniques for sufficient dimension reduction. For the manifold methods, we review multidimensional scaling (MDS), landmark MDS, Isomap, locally linear embedding, Laplacian eigenmaps, and spectral clustering
Linear Dimension Reduction
nini_k的博客
10-09 201
在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。 [1] 期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为： ...
Dimension Reduction：A Guided Tour
11-11
对于投影方法，我们将回顾投影追踪、主成分分析 (PCA)、核PCA、概率PCA、典型相关分析、定向PCA以及几种充分维度约减的技术。对于流形建模方法，我们将回顾多维尺度分析 (MDS)、地标MDS、Isomap、局部线性嵌入、...
pca.rar_PCA 降维_PCA特征 c++_PCA降维C_dimension reduction _降维C
09-14
PCA（主成分分析，Principal Component Analysis）是一种广泛应用的数据分析方法，主要用于高维数据的降维。在机器学习、统计学和图像处理等领域，PCA通过线性变换将原始数据转换为一组各维度线性无关的表示，同时尽...
Dimension reduction techniques
04-02
报告的标题为“Dimension reduction techniques”，即“降维技术”，这是一篇由Anestis Antoniadis在2003年5月于米兰所作的关于模式分类中应用降维技术的报告幻灯内容。在给出的文件片段中，我们可以看到该报告围绕...
四大机器学习降维算法：PCA、LDA、LLE、LaplacianEigenmaps.pdf
09-26
本文主要关注四种常用的降维算法：主成分分析(PCA)、线性判别分析(LDA)、局部线性嵌入(LLE)以及拉普拉斯特征映射(Laplacian Eigenmaps)。 首先，主成分分析(PCA)是一种无监督的线性降维方法，其目标是找到原始数据...
Lecture 8(Extra Material)：Dimension Reduction
最新发布
zzz_qing的博客
04-26 208
Dimension Reduction（来源）：降维或降维是将数据从高维空间转换到低维空间，以便低维表示保留原始数据的一些有意义的属性，理想情况下接近其intrinsic dimension。由于许多原因，在高维空间中工作是不可取的。由于维数灾难，原始数据通常是稀疏的，并且分析数据通常在计算上是难以处理的(难以控制或处理)。方法通常分为线性方法和非线性方法，也可以分为特征选择和特征提取。降维可以用于降噪、数据可视化、聚类分析，或作为促进其他分析的中间步骤。
第二十一节 Dimension Reduction
Reast1nPeace的博客
08-24 252
数据降维(data dimension reduction)
热门推荐
Tonywu2018的博客
06-15 1万+
在机器学习和统计学领域，降维是指在某些限定条件下，降低随机变量个数，得到一组“不相关”主变量的过程。对数据进行降维一方面可以节省计算机的储存空间，另一方面可以剔除数据中的噪声并提高机器学习算法的性能。(实际上通过降维还可以实现数据可视化，但是前提是将原始数据降到2D或者3D才可以)。 数据降维的根本：降低数据维度、降维后的数据能尽可能的代表原始数据。 数据降维和特征选择是存在差异的，二者最终的...
ISLR读书笔记十二：模型选择——降维法（dimension reduction methods）
weixin_43084570的博客
10-13 768
模型选择——降维法前言PCRPLS 前言 前面介绍的两类模型选择的方法，都保留了原始的自变量，而降维法则对原始自变量进行了转化，其大致思想是将原来的 ppp 个自变量，整合成 MMM 个自变量（M<pM<pM<p）。 若令 Z1,Z2,⋯，ZMZ_1,Z_2,\cdots，Z_MZ1​,Z2​,⋯，ZM​ 表示 ppp 个 原始自变量的 MMM 个线性组合，即 Zm=∑j=1pϕjmXjZ_m=\sum_{j=1}^p\phi_{jm}X_jZm​=j=1∑p​ϕjm​Xj​ 然后对这
李宏毅学习笔记23.Unsupervised Learning.01: Linear Dimension Reduction
老毛的博客
06-30 752
非监督学习分为两大类：Clustering & Dimension Reduction 和Generation，这节主要是讲前者中的Dimension Reduction（Linear Methods），对PCA进行了重点讲解。
Dimension Reduction - feature selection
狂奔的番茄
06-26 2165
前一篇谈到了feature extraction。这里可以先做一些jia
【台大李宏毅ML课程】Lecture 13 Unsupervised Learning——Linear Dimension Reduction笔记
code_caq的博客
03-25 1101
本节课主要讲了两种线性降维的方法——cluster和PCA，并从两个角度解释了PCA。最后讲了一些关于矩阵分解的知识。 1.cluster cluster就简单的带过了，主要是k-means和HAC k-means原理： （1）先初始化k个中心点ci (i=1,….,k) （2）如果样本x离ci更近，就划分到第i类 （3）更新每个类别的中心点 （4）重复（2）（3） 如何选择K...
机器学习 李宏毅 L24-Linear Dimension Reduction
okgagaga的博客
01-31 447
clustering 聚类 k-means方法： HAC方法(Hierarchical Agglomerative Clustering): Distributed Representation 用于实现dimension reduction。输入为特征，输出为维数较小的数据。常用的方法为PCA，principle component analysis。 可以使用拉格朗日
Dimension Reduction - feature extraction
狂奔的番茄
06-21 1306
降维是一个很重要的问题，因为我们
机器学习Machine Learning：特征选择Feature Selection 与 数据降维Dimension Reduction的区别？
Damion
05-05 1091
为什么会有降维和特征选择？？？ 我们知道机器学习的终极目标就是为了预测，当然预测前我们要对数据进行训练。通常我们不会拿原始数据来训练，为什么呢？可能有些人觉得原始信息（original data）包含了样本最丰富的信息，没有经过任何处理的raw data能最完整表达样本，这个观点没有错。但是用raw data来直接训练的话，有一个问题就是我们设计的分类器在训练集上会得到很好的performanc...
dimension reduction
03-16
维度约简（dimension reduction）是指通过对数据进行变换或降维，将高维数据转化为低维数据的过程。这个过程可以帮助我们更好地理解和分析数据，同时也可以减少计算复杂度和存储空间。常见的维度约简方法包括主成分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值