本文介绍了线性因子模型的基础，包括概率PCA、因子分析、独立成分分析（ICA）和慢特征分析（SFA），以及稀疏编码的概念。线性因子模型是生成模型和数据表示的基础，文中详细阐述了各类模型的噪声、潜变量先验及其应用。ICA侧重于信号分离，SFA利用时间序列学习不变特征，而稀疏编码则通过寻找最优编码实现高效数据重构。
如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~
花书+吴恩达深度学习（二一）线性因子模型（概率PCA，ICA，SFA，稀疏编码）
花书+吴恩达深度学习（二二）自编码器（欠完备，DAE，CAE，PSD）
0. 前言
线性因子模型是最简单的生成模型和学习数据表示的最简单模型。
线性因子模型通过随机线性解码器函数来定义，对 h h h线性变换及添加噪声来生成 x x x。
h ∼ p ( h ) x = W h + b + n o i s e h\sim p(h)\\ x=Wh+b+noise h∼p(h)x=Wh+b+noise
在不同的线性因子模型中，都是选择了不同形式的噪声和不同潜变量的先验生成 x x x的。
线性分类器或线性回归模型可以扩展到深度前馈网络，线性因子模型也可以扩展到自编码器网络和深度概率模型
1. 概率PCA和因子分析
在因子分析中，潜变量的先验是一个方差为单位矩阵的高斯分布：
h ∼ N ( h ; 0 , I ) x ∼ N ( x ; b , W W T + ψ ) ψ = d i a g ( σ 2 ) = d i a g ( [ σ 1 2 , . . . , σ n 2 ] T ) h\sim N(h;0,I)\\ x\sim N(x;b,WW^T+\psi)\\ \psi=diag(\sigma^2)=diag([\sigma_1^2,...,\sigma_n^2]^T) h∼N(h;0,I)x∼N(x;b,WWT+ψ)ψ=diag(σ2)=diag([σ12,...,σn2]T)
在概率PCA中，将条件方差 σ i 2 \sigma_i^2 σ
最低0.47元/天 解锁文章
408
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
