李宏毅 DeepLearning-2017-Unsupervised Learning PCA-linear Dimension Reduction

最新推荐文章于 2022-09-08 18:34:35 发布
最新推荐文章于 2022-09-08 18:34:35 发布
阅读量218 收藏
点赞数
分类专栏： DeepLearning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjguilai/article/details/90112305
版权

化繁为简：把比较复杂的input变成比较简单的output
无中生有：generation 找个可以画图的function
在这里插入图片描述
降维表达的意义：
在这里插入图片描述

在这里插入图片描述
不同的image用同一个cluster,做降维处理，那么如何确定设置多少个cluster呢？？？
第一把输入数据分成K个cluster
每个cluster都找一个center，作为初始center,(k random Xn from X)从train data中抽
在这里插入图片描述
第二种;tree clustering 哈夫曼树，与上面的区别在于不直接决定有几个cluster
五个样做：两两计算相似度
设置一个 threshold 决定树的分层位置
在这里插入图片描述
这有个不好的地方是，属于绝对分类，每个输入对象必须属于某一个固定的聚类
然后我们看看分布的表达方式，用vector表示输入对象，
在这里插入图片描述
Distributed Representation 的方法
最简单的方法：
1)Feature selection
2)Principle component analisis(PCA)
下面把一组数据降到以为，w也是一个一维向量，W1是高维空间的一个vetcor，而z是高维空间的点在W1上的投影，那么如何选取W1，选择w1的标准是：投影之后，Z1的分布越大越好。差异性，奇异度变大。
在这里插入图片描述
计算W的方法：
在这里插入图片描述
利用拉格朗日乘：把有约束变成没有约束
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
奇异值矩阵分析，中心化，只有一个hidden layer
在这里插入图片描述
去掉imformation较少的feature，这是选择principle components的个数
在这里插入图片描述
在这里插入图片描述

zjguilai
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
降维（一）PCA (李宏毅机器学习）
BRAVE_NO1的专栏
11-18 1190
PCA、LLE、SNE、auto-encoder
李宏毅机器学习-PCA
weixin_44796129的博客
10-12 73
聚类就是给一堆没有标签的数据分类，贴标签。
李宏毅老师课程：Unsupervised Learning: PCA
APythonC的博客
09-04 423
无监督学习：PCAPCAFormulaDecorrelationAnother Point of ViewWeakness of PCAPCA for PokemonPCA for MNISTPCA for Face PCA 如果reduce to 1D，我们使用z1=w1∗xz_1=w^1*xz1​=w1∗x，使得xxx投影到w1w^1w1上，即达到了降维的目的，那么我们如何来评价降维的好坏呢？ 我们可以使用降维之后数据的variance来评价，variance越大越好 如果reduce to 2D，那
【机器学习】李宏毅——线性降维
FavoriteStar的博客
09-08 647
【机器学习】李宏毅——线性降维
机器学习-19-Unsupervised Learning-03-PCA part2(无监督学习之PCA深入探讨 part2)
迷雾总会解
12-19 347
Unsupervised Learning: PCA(Ⅱ) 本文主要从组件和SVD分解的角度介绍PCA，并描述了PCA的神经网络实现方式，通过引入宝可梦、手写数字分解、人脸图像分解的例子，介绍了NMF算法的基本思想，此外，还提供了一些PCA相关的降维算法和论文 Reconstruction Component 假设我们现在考虑的是手写数字识别，这些数字是由一些类似于笔画的basic component组成的，本质上就是一个vector，记做u1,u2,u3,...u_1,u_2,u_3,...u1​,u
Deep Learning Tutorial by 李宏毅 (Hung-yi Lee)
03-13
目前看过的最清晰、最通俗易懂、最完整解读深度学习知识的讲义，来自台大李宏毅 (Hung-yi Lee)教授，千万不要错过~~
李宏毅-Deep Learning Tutorial-300页的PPT
09-26
注意：此为PPT，不是PDF格式。李宏毅-Deep Learning Tutorial-300页的PPT，这个PPT介绍了一些关于深度学习的知识，适合深度学习入门级阅读。
Deep Learning Tutorial-李宏毅
03-31
Lecture I: Introduction of Deep Learning Lecture II: Tips for Training DNN Lecture III: Variants of Neural Networks Lecture IV: Next Wave
Deep Learning Tutorial 李宏毅 Hung-yi Lee
03-22
Deep Learning Tutorial 李宏毅 Hung-yi Lee
李宏毅机器学习课程笔记5：Unsupervised Learning - Linear Methods、Word Embedding、Neighbor Embedding
徐子尧的博客
02-11 7154
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第13-15课所做的笔记和自己的理解。Lecture 13: Unsupervised Learning - Linear Methods Unsupervised Learning有两种，化繁为简（Clustering & Dim
无监督学习-主成分分析(Unsupervised Learning-Principle Component Analysis)
weixin_43277904的博客
09-15 601
#无监督学习 Principle Component Analysis 主成分分析 聚类(Clustering) HAC层次凝聚的聚类 降维 Feature selection Feature selectio：去掉没用的维度。 PCA 基于特征值分解协方差矩阵实现PCA算法 因为S 是数据的协方差矩阵,所有具有一些性质: S是对称的(Symmetric) S是半正定矩阵(Positive...
李宏毅机器学习2016 第十三讲 无监督学习之非线性降维：流型学习（Mainfold Learning）
Come_for_IT 的博客
01-18 2511
视频链接：李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩课程资源：Hung-yi Lee课程相关PPT已经打包命名好了：链接：https://pan.baidu.com/s/1c3Jyh6S 密码：77u5我的第十二讲笔记：李宏毅机器学习2016 第十二讲 无监督学习：线性维数约减Unsupervised Learning：Neighbor Embedding1.流型学
PCA(主成成分分析)和LDA(线性判别分析)详解-共性和区别
热门推荐
yj_isee的博客
04-30 2万+
注：这里说的LDA实际上讲的是Fisher’s linear discriminant analysis在machine learning领域，PCA和LDA都可以看成是数据降维的一种方式。但是PCA是unsupervised，也就是说不需要知道sample对应的label，但是LDA是supervised，需要知道每一个数据点对应的label。下面分别解释PCA和LDA的基本原理1.PCAPCA被
2020李宏毅学习笔记——42.Unsupervised learning Linear Methods下
weixin_44554337的博客
07-06 324
1.PCA – Another Point of View 另外一种解释方法就是，用多个component来线性表示原来的样本，最小化reconstruction error， 最后利用svd求解方程，得到的U矩阵就是协方差矩阵的k个特征向量 2.PCA和network之间的关系： 由于w之间时互相正交的，CK,也就是说c可以表示成这两者的乘积，PCA由此呢，也可以看成是Autoencoder，即具有一层隐含层的神经网络（线性激活函数），即输入和输出之间的误差越小越好。如果不是传统的PCA的方法，只用n
【台大李宏毅ML课程】Lecture 13 Unsupervised Learning——Linear Dimension Reduction笔记
code_caq的博客
03-25 1093
本节课主要讲了两种线性降维的方法——cluster和PCA，并从两个角度解释了PCA。最后讲了一些关于矩阵分解的知识。 1.cluster cluster就简单的带过了，主要是k-means和HAC k-means原理： （1）先初始化k个中心点ci (i=1,….,k) （2）如果样本x离ci更近，就划分到第i类 （3）更新每个类别的中心点 （4）重复（2）（3） 如何选择K...
2020李宏毅学习笔记——41.Unsupervised learning Linear Methods
weixin_44554337的博客
07-05 294
s
李宏毅机器学习2016 第十二讲 无监督学习：线性维数约减
Come_for_IT 的博客
01-18 653
视频链接：李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩课程资源：Hung-yi Lee课程相关PPT已经打包命名好了：链接：https://pan.baidu.com/s/1c3Jyh6S 密码：77u5我的第十一讲笔记：李宏毅机器学习2016 第十一讲 半监督学习Unsupervised Learning：Linear Dimension Reduction本章主要
李宏毅机器学习课程４~~~分类：概率生成模型
jiandanjinxin的专栏
07-30 1137
分类问题用回归来解决？当有右图所示的点时，这些点会大幅改变分类线的位置。这时候就会导致整体的回归结果变差。当把多分类当成回归问题，类别分别为1，2,3,4……，因为回归的问题是预测具体的值，这样定义类别就默认这些数据之间有相应的关系。如果数据间没有具体的这些数字关系，就会导致最后的回归结果变差。概率生产模型对比学习见 李宏毅机器学习课程12~~~半监督学习 概率生成模型概率生成模型示例假设所有采样点
李宏毅ML lecture-17-18 unsupervised Learning Generation
Arron_hou的博客
03-09 488
李宏毅ML lecture-16 unsupervised Learning Generation
李宏毅2021deep learning15个houmework都是什么
最新发布
12-19
李宏毅2021年的深度学习课程的作业涵盖了多个主题和领域。其中包括了神经网络的基础知识与原理，如前向传播和反向传播算法等。还涉及了深度学习模型的搭建和调参，例如卷积神经网络、循环神经网络等。作业还包括了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值