PCA(主成分分析)和FA(因子分析)

标签: Machine Learing
25人阅读 评论(0) 收藏 举报
分类:

1.原理不同 

主成分分析基本原理:利用降维(线性变换)的思想,在损失很少信息的前提下把多个指标转化为几个不相关的综合指标(主成分),即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能(主成分必须保留原始变量90%以上的信息),从而达到简化系统结构,抓住问题实质的目的。 

因子分析基本原理:利用降维的思想,由研究原始变量相关矩阵内部的依赖关系出发,把一些具有错综复杂关系的变量表示成少数的公共因子和仅对某一个变量有作用的特殊因子线性组合而成。就是要从数据中提取对变量起解释作用的少数公共因子(因子分析是主成分的推广,相对于主成分分析,更倾向于描述原始变量之间的相关关系) 

2.线性表示方向不同 

主成分分析中则是把主成分表示成各变量的线性组合。

因子分析是把变量表示成各公因子的线性组合

3.假设条件不同 

主成分分析:不需要有假设(assumptions), 

因子分析:需要一些假设。因子分析的假设包括:各个共同因子之间不相关,特殊因子(specificfactor)之间也不相关,共同因子和特殊因子之间也不相关。

4.求解方法不同 

求解主成分的方法:从协方差阵出发(协方差阵已知),从相关阵出发(相关阵R已知),采用的方法只有主成分法。 

求解因子载荷的方法:主成分法,主轴因子法,极大似然法,最小二乘法,a因子提取法。

5.主成分和因子的变化不同 

主成分分析:当给定的协方差矩阵或者相关矩阵的特征值唯一时,主成分一般是固定的独特的; 

因子分析:因子不是固定的,可以旋转得到不同的因子。

6.因子数量与主成分的数量 

主成分分析:主成分的数量是一定的,一般有几个变量就有几个主成分(只是主成分所解释的信息量不等),实际应用时会根据碎石图提取前几个主要的主成分。 

因子分析:因子个数需要分析者指定(SPSS和sas根据一定的条件自动设定,只要是特征值大于1的因子主可进入分析),指定的因子数量不同而结果也不同;  

7.解释重点不同:

主成分分析:重点在于解释个变量的总方差, 

因子分析:则把重点放在解释各变量之间的协方差。  

8.算法上的不同: 

主成分分析:协方差矩阵的对角元素是变量的方差; 

因子分析:所采用的协方差矩阵的对角元素不在是变量的方差,而是和变量对应的共同度(变量方差中被各因子所解释的部分)

9.优点不同: 

主成分分析: 
第一:如果仅仅想把现有的变量变成少数几个新的变量(新的变量几乎带有原来所有变量的信息)来进入后续的分析,则可以使用主成分分析,不过一般情况下也可以使用因子分析; 
第二:通过计算综合主成分函数得分,对客观经济现象进行科学评价; 
第三:它在应用上侧重于信息贡献影响力综合评价。 

第四:应用范围广,主成分分析不要求数据来自正态分布总体,其技术来源是矩阵运算的技术以及矩阵对角化和矩阵的谱分解技术,因而凡是涉及多维度问题,都可以应用主成分降维;  

因子分析:对于因子分析,可以使用旋转技术,使得因子更好的得到解释,因此在解释主成分方面因子分析更占优势;其次因子分析不是对原有变量的取舍,而是根据原始变量的信息进行重新组合,找出影响变量的共同因子,化简数据; 

10.应用场景不同: 几个常用组合: 

主成分分析:

主成分分析+判别分析,适用于变量多而记录数不多的情况; 

主成分分析+多元回归分析,主成分分析可以帮助判断是否存在共线性,并用于处理共线性问题; 

主成分分析+聚类分析,不过这种组合因子分析可以更好的发挥优势。 

因子分析: 

首先,因子分析+多元回归分析,可以利用因子分析解决共线性问题; 
其次,可以利用因子分析,寻找变量之间的潜在结构; 
再次,因子分析+聚类分析,可以通过因子分析寻找聚类变量,从而简化聚类变量; 
此外,因子分析还可以用于内在结构证实 


查看评论

PCA(主成分分析)与FA(因子分析)的直白理解

主成分分析和因子分析是数据挖掘中常用的方法,帮助我们对原始数据有更好的理解,同时也可以实现降维等操作,为后续工作提供便利。   但是有一些博客的介绍中,其中数学推导的部分过多,没有很好地跟实际例子结...
  • yujianmin1990
  • yujianmin1990
  • 2015-10-19 10:55:09
  • 5597

R语言学习笔记:主成分分析及因子分析

1.主成分分析 princomp() princomp(formula, data = NULL, subset, na.action, ...)princomp(x, cor = FALSE, ...
  • zxymvp
  • zxymvp
  • 2018-01-25 13:00:04
  • 57

因子分析与主成分分析之间爱恨离愁。FA与FCA

主成分分析和因子分析无论从算法上还是应用上都有着比较相似之处,本文结合以往资料以及自己的理解总结了以下十大不同之处,适合初学者学习之用。 1.原理不同 主成分分析基本原理:利用降维(线性变换)...
  • HHTNAN
  • HHTNAN
  • 2016-12-27 10:44:10
  • 338

因子分析、主成分分析(PCA)、独立成分分析(ICA)——斯坦福CS229机器学习个人总结(六)

因子分析是一种数据简化技术,是一种数据的降维方法。 因子分子可以从原始高维数据中,挖掘出仍然能表现众多原始变量主要信息的低维数据。此低维数据可以通过高斯分布、线性变换、误差扰动生成原始数据。 因子...
  • sinat_37965706
  • sinat_37965706
  • 2017-05-07 15:44:36
  • 2170

R语言主成分和因子分析篇

主成分分析(PCA)是一种数据降维技巧,它能将
  • lilanfeng1991
  • lilanfeng1991
  • 2014-07-01 16:50:42
  • 33006

数据挖掘总结之主成分分析与因子分析

主成分分析与因子分析1)概念:主成分分析概念:主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。主成分分析(PCA)是一种数据降维技巧,它能将大量相关变量转化为一组很少的不相关变量,这...
  • qq_16365849
  • qq_16365849
  • 2016-02-04 16:43:03
  • 2680

我觉得PCA与因子分析的本质是一样的

今天考完多元统计分析,巨水的一门课,因为在我看来不写程序的统计课基本就是纸上谈兵的废课。其中有道题论述PCA跟因子分析的基本思想,我写的非常简略,因为我觉得这两个方法本质就是一样的,因为思想就是一样的...
  • kuaitoukid
  • kuaitoukid
  • 2013-11-26 16:10:26
  • 2306

PCA主成分分析和因子分析笔记_数学建模系列

PCA主成分分析和因子分析笔记_数学建模系列这里的主成分分析和因子分析为两种降维方法。什么时候要降维呢? 如何用R语言或matlab进行主成分分析和因子分析?...
  • DearRita
  • DearRita
  • 2016-08-13 23:07:27
  • 1641

主成分分析和因子分析及其在R中的…

1  主成分分析和因子分析比较 主成分分析和探索性因子分析是两种用来探索和简化多变量复杂关系的常用方法,它们之间有联系也有区别。 主成分分析(PCA)是一种数据降维方法,它能将大量相关变量转化为一...
  • troubleisafriend
  • troubleisafriend
  • 2015-08-26 19:02:29
  • 2147

独立成分分析 ( ICA ) 与主成分分析 ( PCA )再解析

ICA认为观测信号是若干个统计独立的分量的线性组合,ICA要做的是一个解混过程。而PCA是一个信息提取的过程,依据贡献度大小,将原始数据降维,现已成为ICA将数据标准化的预处理步骤。这里蕴含着独立必不...
  • shenziheng1
  • shenziheng1
  • 2016-12-10 09:01:35
  • 2500
    个人资料
    持之以恒
    等级:
    访问量: 350
    积分: 191
    排名: 107万+
    文章存档
    最新评论