PCA学习笔记

最新推荐文章于 2024-01-01 13:48:40 发布
最新推荐文章于 2024-01-01 13:48:40 发布
阅读量904 收藏 1
点赞数 1
分类专栏： 图像处理 文章标签： PCA 特征降维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zx799959906/article/details/39547791
版权
PCA是一种特征降维方法，通过正交变换找到方差最大的新特征，并按重要性排序，选择前k个主成分降低维数。计算过程包括计算协方差矩阵、特征值分解，依据特征值大小选取主成分，最后将样本投影到新向量空间。确定k值通常依据累积贡献率，期望达到90%以上。
摘要由CSDN通过智能技术生成

1.基本思想

PCA方法是从一组特征中通过求解最优的正交变换，得到一组相互间方差最大的新特征，它们是原始特征的线性组合，且相互之间是不相关的，再对新特征进行重要性排序，选取前几个主成分。

2.具体过程

首先，定义样本和特征，假定有m个样本，每个样本有n个特征，可表示如下：


降维过程其实就是寻找一个或多个向量u1,u2,…,un，使得这些向量构成一个新的向量空间，然后把需要降维的样本映射到这个新的样本空间上。PCA特征提取就是将这些向量根据特征值大小进行从大到小的排序，提取前k个特征，组合成一个向量空间，从而降低特征维数。具体计算如下：

先计算样本的协方差矩阵

再对协方差矩阵进行特征值分解，得到特征值

最低0.47元/天 解锁文章
xue_z2014
关注
专栏目录
主成分分析 PCA
GE90115的博客
12-31 1176
主成分分析（Principal Component Analysis，简称PCA）是一种常用的数据降维技术和统计分析方法。它通过线性变换将原始数据转换为一组新的正交变量，称为主成分，使得在这些主成分上数据的方差最大化。主成分分析可以用于数据压缩、数据可视化、特征提取和降低数据维度等任务。通过主成分分析，我们可以将高维的数据集投影到低维的子空间上，从而实现数据的降维。降维后的数据集可以更好地可视化，同时减少了数据的维度，使得后续的数据分析和模型建立过程更加高效。
PCA
learnstudy2的博客
11-01 181
协方差矩阵 协方差矩阵的每个元素是各个向量元素之间的协方差 协方差矩阵为对称非负定矩阵 数学期望 期望(mean)：也就是均值，是概率加权下的“平均值”，是每次可能结果的概率乘以其结果的总和，反映的是随机变量平均取值大小。 连续性E(X)=∫−∞∞xf(x)dxE(X)=\int_{-\infin}^\infin xf(x)dxE(X)=∫−∞∞​xf(x)dx 离散型E(X)=∑ixipiE(X...
机器学习——PCA降维（我至今为止遇见的最好的博文）
邹小驴
09-07 5万+
参考文章：https://zhuanlan.zhihu.com/p/77151308 PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。 PCA 的数学推导可以从最大可分型和最大重构性两方面进行，前者的优化条件为划分后方差最大，后者的优化条件为点到划分平面距离最小。由于基于最大重构性的 PCA 其与...
通俗易懂的主成分分析法（PCA）详解
热门推荐
Murray_的博客
04-14 15万+
转载自：http://blog.codinglabs.org/articles/pca-tutorial.html文章分析脉络梳理： 1.向量A和B的内积表示的是向量A在B上的投影长度。那么将一个向量与新的基做内积，结果则表示该向量在新的基下的坐标。2.将新选定的基表示成矩阵形式，与原向量相乘，就得到了原向量在新选定的基所表示的空间（或坐标系）中的坐标表示了。3.怎样选定这组基用于数据降维？（目标...
机器学习 | PCA
happylls666的博客
12-23 1411
pca学习笔记
Robust PCA 学习笔记
Rachel Zhang的专栏
02-05 7万+
很久没有写学习笔记了，年初先后忙考试，忙课程，改作业，回家刚安定下来，读了大神上学期给的paper，这几天折腾数学的感觉很好，就在这里和大家一起分享一下，希望能够有所收获。响应了Jeffrey的建议，强制自己把笔记做成英文的，可能给大家带来阅读上的不便，希望大家理解，多读英文的东西总没坏处的。这里感谢大神和我一起在本文手稿部分推了一些大牛的“ easily achieved”stuff... 本文
45.R语言主成分分析PCA及factoextra包可视化学习笔记
05-07
在机器学习中，PCA也常用于预处理，减少噪声并提高模型的性能。 总之，R语言中的PCA分析结合`factoextra`包，提供了一种强大的工具来探索高维数据。通过执行PCA和可视化结果，你可以更好地理解数据的内在结构，简化...
主成分分析（PCA） 学习笔记
BIG_Ribbit的博客
12-01 741
主成分分析（PCA） 学习笔记前言1. PCA原理功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 前言 主成分分析（Principal Components Analysis）是一种常用的对高维数据降维的方法。通过PCA，我们可以
主成分分析（PCA）学习笔记
weixin_34132725的博客
12-01 2038
首先回顾一下PCA，即主成分分析法的步骤 对数据计算协方差矩阵S 求出矩阵的特征值和特征向量 选择主成分 计算协方差矩阵 1. 计算样本均值 2. 计算协方差 ...
清风数学建模学习笔记——主成分分析(PCA)原理详解及案例分析
秀岩的博客
02-13 5万+
主成分分析   本文将介绍主成分分析(PCA)，主成分分析是一种降维算法，它能将多个指标转换为少数几个主成分，这些主成分是原始变量的线性组合，且彼此之间互不相关，其能反映出原始数据的大部分信息。 一般来说，当研究的问题涉及到多变量且变量之间存在很强的相关性时，我们可考虑使用主成分分析的方法来对数据进行简化。 一、主成分分析简介   主成分分析可以用较少的新变量替换原来较多的新变量，而且是这些较少的新变量尽可能多地保留原来所反映的信息。   主成分分析是数据降维算法的一种，降维是将高维度的数据（指标太多）保
深入理解PCA（主成分分析）
最新发布
qq_62110701的博客
01-01 817
PCA是一种统计学方法，其目的是通过线性变换将高维数据集转换为低维空间，同时保留尽可能多的信息。通过PCA，我们可以找到数据中最重要的特征，这些特征被称为主成分。主成分是原始特征的线性组合，其具有最大的方差。因此，通过保留前几个主成分，我们可以实现数据的降维。本文对PCA的基本概念、数学原理和应用场景进行了详细介绍，并通过Python代码示例展示了如何实现PCA。能够更好地理解和应用这一强大的数据分析工具。在实际应用中，还需根据具体问题调整PCA的参数，以达到最佳效果。
PCA（1）：基础知识介绍
m0_37957160的博客
07-02 1153
PCA算法思路： 首先利用样本集及特征构建一个样本矩阵，然后利用样本矩阵计算得到一个协方差矩阵，再计算协方差矩阵的特征值和特征向量，保留特征值前k个大的对应的特征向量作为新的维度方向，再将原始样本数据转换到新的空间维度。（他非常巧妙地利用协方差矩阵来计算出样本集在不同方向上的分散程度，利用方差最大的方向作为样本集的主方向） 上述提到的k(k<n，n是n维特征，)这个k维是全新的正交特征，这k维特征称为主成分，是重新构造出来的k维特征，而不是简单的从n维特征中去除其余n-k维特征。 ...
PCA主成分分析的原理解析
阿笨爹的风雨拼搏路
10-23 1545
原始数据中各个元素之间并不能保证完全相互独立，而这些相互关联的元素则会产生大量的冗余信息，甚至造成维度灾难，而主成分分析（principle component analysis, PCA）则是解决这一问题的一种经典算法。其目的是希望用较少的元素去解释原数据最独特的特征，并保证各个变量间的独立性。PCA选出的变量往往要远小于原数据的维度，因此PAC实际上是一种经典的数据降维和特征选择算法。
核主成分分析（Kernel-PCA）
我们的时光！
06-13 3万+
核主成分分析
主成分分析确定权重
wojiaodabai的博客
05-09 1万+
参考： https://www.cnblogs.com/zhhda/p/4535476.html https://blog.csdn.net/qq_32925031/article/details/88540234
PCA计算原特征（指标）对主成分的贡献量/权重
lzw790222124的博客
09-13 1万+
1. 用PCA反推原始特征对主成分的共享量或权重 使用sklearn包中的pca函数 # -*- coding: utf-8 -*- import os import numpy as np import pandas as pd from sklearn.decomposition import PCA from sklearn import preprocessing np.set_printoptions(suppress=True) def normalization(data): _ra
PCA降维以及维数的确定
Startapi的博客
06-18 8937
概述 PCA（principal components analysis）即主成分分析技术，又称为主分量分析，旨在利用降维的思想，把多个指标转换为少数的几个综合指标。 主成分分析是一种简化数据集的技术，它是一个线性变换。这个线性变化把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标上（称为第一主成分），第二个大的方差在第二个坐标上（称为第二主成分），以此类推。主成分分析经常用于减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶
PCA 算法详解
我要一步一步向前走
01-08 6289
PCA算法步骤： 设有m条n维数据。 1）将原始数据按列组成n行m列矩阵X 2）将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值 3）求出协方差矩阵 4）求出协方差矩阵的特征值及对应的特征向量 5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P 6）即为降维到k维后的数据 实例： 用PCA方法将这组二维数据其降到一维。 因为这个矩阵的每行已经是零均值...
斯坦福机器学习课程笔记：主成分分析PCA与应用
本文将详细探讨主成分分析（Principal Component Analysis, PCA）算法，这是一种在机器学习和数据分析中广泛使用的统计方法。PCA的主要目的是通过线性变换将原始数据变换为一组各维度线性无关的新坐标系，同时尽可能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值