PLS系列003 单因变量线性PLS

1 单因变量线性PLS

1.1 计算推导

由于在多因变量线性偏最小二乘法中，我们已经讨论了计算推导，在此，我们将但因变量进行简化计算推导过程：
①样本数据$X$与$Y$标准化预处理
②记$t_1$是$X$的第1个成分有$t_1=X{w}_1$，其中$w_1$是$X$的第1个轴(单位列向量即$\Vert w_1\Vert \text{=}1$)。
$u_1$是$Y$的第1个成分有$u_1=Y{v}_1$，其中$v_1$是$X$的第1个轴(单位列向量即$\Vert v_1\Vert \text{=}1$)。
$t_1$、$u_1$为列向量，行数为$n$，即正好是样本集合数。
$w_1$为列向量，行数为$p$，即正好是自变量个数
$v_1$为列向量，行数为$q$，即正好是因变量个数
由于$Y$只是1个变量，故$v_1$是1个标量。$\Vert v_1\Vert \text{=}1\Rightarrow v_1=1$，即：$u_1=Y$
$t_1$和$u_1$满足(1)中两个条件则有：
变异信息最大：$Var(t_1)\to \max ,Var(u_1)\to \max$
相关程度最大：$r(t_1,u_1)\to \max$ 相关程度最大，$r(t_1,u_1)$指的就是线性相关了
综合可得协方差最大：$Cov(t_1,u_1)=r(t_1,u_1)\sqrt{Var(t_1)Var(u_1)}\to \max$
由于$\frac{1}{n}<X{w}_1,Y{v}_1>=Cov(t_1,u_1)$且$n$为常数，则：
$$\begin{array}{rl}& \max <X{w}_1,Y{v}_1>={(X{w}_1)}^{T}Y{v}_1=w_{{}_1}^T{X}^{T}Y{v}_1\\ & s.t\{\begin{array}{c}{w}_{{}_1}^T{w}_1={\Vert w_1\Vert }^2=1\\ v_{{}_1}^T{v}_1={\Vert v_1\Vert }^2=1\end{array}\end{array}$$
根据拉格朗日算法有：
$$f=w_{{}_1}^T{X}^{T}Y{v}_1-\lambda (w_{{}_1}^T{w}_1-1)-\mu (v_{{}_1}^T{v}_1-1)$$
对$f$分别求关于$w_1,v_1,\lambda ,\mu$的偏导且置0(求)，有：
$$\{\begin{array}{c}\frac{\partial f}{\partial w_1}=X^{T}Y{v}_1-2\lambda w_1=0\\ \frac{\partial f}{\partial v_1}=Y^{T}X{w}_1-2\mu v_1=0\\ \frac{\partial f}{\partial \lambda }=-(w_{{}_1}^T{w}_1-1)=0\\ \frac{\partial f}{\partial \mu }=-(v_{{}_1}^T{v}_1-1)=0\end{array}$$
由上式可推出：
$$2\lambda =2\mu =w_{{}_1}^T{X}^{T}Y{v}_1={(X{w}_1)}^{T}Y{v}_1\text{=}<X{w}_1,Y{v}_1>$$
记
$${\theta }_1=2\lambda =2\mu =w_{{}_1}^T{X}^{T}Y{v}_1$$
则${\theta }_1$是优化问题的目标函数且使是${\theta }_1$达到最大必须有有：
$$\{\begin{array}{rl}& X^{T}Y{v}_1={\theta }_1{w}_1\\ & Y^{T}X{w}_1\text{=}{\theta }_1{v}_1\end{array}$$
将上面组合式结合得：
$$X^{T}Y(\frac{1}{{\theta }_1}{Y}^{T}X{w}_1)={\theta }_1{w}_1\Rightarrow X^{T}Y{Y}^{T}X{w}_1={\theta }_{{}_1}^2{w}_1$$
同理可得：
$$Y^{T}X{X}^{T}Y{v}_1={\theta }_{{}_1}^2{v}_1$$
由
$$v_1=1\Rightarrow Y^{T}X{X}^{T}Y={\theta }_{{}_1}^2\Rightarrow {\theta }_{{}_1}^2\text{=}{\Vert X^{T}Y\Vert }^2\Rightarrow {\theta }_1\text{=}\Vert X^{T}Y\Vert$$
.根据联合式(1)我们可以得到：
$$w_1=\frac{1}{{\theta }_1}{X}^{T}Y{v}_1=\frac{1}{{\theta }_1}{X}^{T}Y$$
结合上面两个表达式，我们可以推出：
$$w_1=\frac{1}{{\theta }_1}{X}^{T}Y=\frac{X^{T}Y}{\Vert X^{T}Y\Vert }$$
由于$X$、$Y$是标准化矩阵，有：
$$\begin{array}{rl}& X^{T}Y={(x_1,x_2,\cdots ,x_p)}^{T}Y={(x_1,x_2,\cdots ,x_p)}^{T}y\\ & =\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_p^T\end{array}\right)y=\left(\begin{array}{c}{x}_1^{T}y\\ x_2^{T}y\\ ⋮\\ x_p^{T}y\end{array}\right)=\left(\begin{array}{c}r(x_1,y)\\ r(x_2,y)\\ ⋮\\ r(x_p,y)\end{array}\right)\end{array}$$
进一步，有：
$$w_1=\frac{X^{T}Y}{\Vert X^{T}Y\Vert }=\frac{1}{\sqrt{\sum _{i=1}^p{r}^2(x_i,y)}}\left(\begin{array}{c}r(x_1,y)\\ r(x_2,y)\\ ⋮\\ r(x_p,y)\end{array}\right)$$
$$t_1=X{w}_1=\frac{1}{\sqrt{\sum _{i=1}^p{r}^2(x_i,y)}}X\left(\begin{array}{c}r(x_1,y)\\ r(x_2,y)\\ ⋮\\ r(x_p,y)\end{array}\right)=\frac{1}{\sqrt{\sum _{i=1}^p{r}^2(x_i,y)}}(x_{1}r(x_1,y)+x_{2}r(x_2,y)+\cdots +x_{p}r(x_p,y))$$
在$t_1$中，关于$x_i$的线性组合系数是：
$$\frac{r(x_i,y)}{\sqrt{\sum _{i=1}^p{r}^2(x_i,y)}}$$
在$t_1$中，关于$x_i$的线性组合系数中，若$x_i$与$y$的相关程度越强，则在$t_1$成分中的组合系数越大。
而此时目标函数的优化值：${\theta }_1\text{=}\Vert X^{T}Y\Vert \text{=}\sqrt{\sum _{i=1}^p{r}^2(x_i,y)}$
这里和多因变量不同在于不用求特征向量了，因为特征向量就是1，而特征值可以直接求出来
我们通过求得$w_1$和$v_1\text{=}1$之后即可得到第1成分：
$$\{\begin{array}{rl}& t_1=X{w}_1\\ & u_1=Y{v}_1\text{=}Y\end{array}$$
由(1)式我们可以进一步推导出：
$${\theta }_1\text{=}<t_1,u_1>=w_1^T{X}^{T}Y{v}_1=w_1^T{X}^{T}Y$$
然后分别进行$X$、$Y$对$t_1$的回归(这里$Y$对$t_1$的回归)：
$$\{\begin{array}{rl}& X=t_1{p}_1^T+X_1\\ & Y=t_1{r}_1^T+Y_1\end{array}$$
其中，回归系数向量：
$$\{\begin{array}{rl}& p_1=\frac{X^T{t}_1}{{\Vert t_1\Vert }^2}\\ & r_1=\frac{Y^T{t}_1}{{\Vert t_1\Vert }^2}\end{array}$$
另外，$X_1$、$Y_1$则为$X$、$Y$的残差信息矩阵。(回归系数向量可利用PLS回归性质推导？)
③用残差信息矩阵$X_1$、$Y_1$取代$X$、$Y$，用同样的方法重复第②步，得到：
$$w_2=\frac{{X_1}^T{Y}_1}{\Vert {X_1}^T{Y}_1\Vert }=\frac{1}{\sqrt{\sum _{i=1}^p{r}^2(x_i,y)}}\left(\begin{array}{c}r(x_1,y)\\ r(x_2,y)\\ ⋮\\ r(x_p,y)\end{array}\right)$$
这里注意$x_i(i=1,2,\cdots ,p)$是指$X_1$中的列向量，而$y$是指$Y_1$中的列向量。
求第2个成分$t_2$、$u_2$和第2个轴$w_2$、$v_2\text{=1}$，即：
$$\{\begin{array}{rl}& t_2=X_1{w}_2\\ & u_2=Y_1{v}_2\text{=}{Y}_1\end{array}$$
$${\theta }_2=<t_2,u_2>=w_2^T{X}_1^T{Y}_1{v}_2=w_2^T{X}_1^T{Y}_1$$
得到回归方程：
$$\{\begin{array}{rl}& X_1=t_2{p}_2^T+X_2\\ & Y_1=t_2{r}_2^T+Y_2\end{array}$$
其中，回归系数向量:
$$\{\begin{array}{rl}& p_2=\frac{X_1^T{t}_2}{{\Vert t_2\Vert }^2}\\ & r_2=\frac{{Y_1}^T{t}_2}{{\Vert t_2\Vert }^2}\end{array}$$
④如此利用剩下的残差信息矩阵不断迭代计算，我们假设$X$的秩为$m$(即可以有A个成分)：
$$\{\begin{array}{rl}& X=t_1{p}_1^T+t_2{p}_2^T+\cdots +t_m{p}_m^T\\ & Y=t_1{r}_1^T+t_2{r}_2^T+\cdots +t_m{r}_m^T\text{+}{Y}_m\end{array}$$
而$t_1,t_2,\cdots ,t_m$可表示成 X =   ⁣ ⁣ {  ⁣ ⁣   x 1 , x 2 , ⋯   , x p    ⁣ ⁣ }  ⁣ ⁣   X\text{= }\!\!\{\!\!\text{ }{{x}_{1}},{{x}_{2}},\cdots ,{{x}_{p}}\text{ }\!\!\}\!\!\text{ } X= { x1​,x2​,⋯,xp​ } 的线性组合
其中$Y_m$为第$m$个残差矩阵
由于$w_h^{\ast }=\prod _{k=1}^{h-1}(E-w_k{p}_k^T)w_h\&t_h=X{w}_h^{\ast }$ (在多因变量线性偏最小二乘法性质中)则有：
$$\begin{array}{rl}& Y=t_1{r}_1^T+t_2{r}_2^T+\cdots +t_m{r}_m^T+Y_m\\ & =(X{w}_1^{\ast })r_1^T+(X{w}_2^{\ast })r_2^T+\cdots +(X{w}_m^{\ast })r_m^T+Y_m\\ & =X\left(\sum _{i=1}^m{w}_i^{\ast }{r}_i^T\right)+Y_m\end{array}$$
令$B=\sum _{i=1}^m{w}_i{r}_i^T$即为PLS回归方程的回归系数向量，有：
$$Y=XB\text{+}{F}_m$$

1.2 辅助分析技术

①与典型相关分析对应的分析技术
ⅰ.精度分析
在PLS计算推导中，在$X$提取的自变量成分$t_h$不仅要尽可能多的携带$X$中的变异信息，而且要尽可能与$Y$相关程度达到最大来解释$Y$的信息。我们模仿典型相关分析中的精度分析，为了测量$t_h$对$X$和$Y$的解释能力，定义$t_h$的各种解释能力，有：
$t_h$对某自变量$x_i$的解释能力：
$$Rd(x_i;t_h)=r^2(x_i;t_h)$$
$t_h$对$X$的解释能力：
$$Rd(X;t_h)=\frac{1}{p}\sum _{i=1}^{p}Rd(x_i;t_h)=\frac{1}{p}\sum _{i=1}^p{r}^2(x_i,t_h)$$
$t_1,t_2,\cdots ,t_h$对$X$的累计解释能力：
$$Rd(X;t_1,t_2,\cdots ,t_h)=\sum _{h=1}^{m}Rd(X;t_h)=\frac{1}{p}\sum _{h=1}^m\sum _{i=1}^p{r}^2(x_i,t_h)$$
$t_h$对某因变量$y_j$的解释能力：
$$Rd(y_j;t_h)=r^2(y_j;t_h)$$
$t_h$对$Y$的解释能力：
$$Rd(Y;t_h)=\frac{1}{q}\sum _{j=1}^{q}Rd(y_j;t_h)=\frac{1}{q}\sum _{j=1}^q{r}^2(y_j,t_h)$$
$t_1,t_2,\cdots ,t_h$对$Y$的累计解释能力：
$$Rd(Y;t_1,t_2,\cdots ,t_h)=\sum _{h=1}^{m}Rd(Y;t_h)=\frac{1}{q}\sum _{h=1}^m\sum _{j=1}^q{r}^2(y_j,t_h)$$
ⅱ.测量自变量$x_i$对因变量集合$Y$的解释能力
$x_i$在解释$Y$时作用的重要性，我们可以通过变量投影重要性指标($VI{P}_i$)来测量(Variable Importance in Projection)，有：
$$VI{P}_i=\sqrt{\frac{p}{Rd(Y;t_1,t_2,\cdots ,t_h)}\sum _{h=1}^{m}Rd(Y;t_h)w_{hi}^2}$$
这里Y可看成单个因变量，也可看成因变量集合。
其中$w_{hi}$是轴$w_h$第$i$个分量(就是一个标量，其有$p$个分量，$w_h$是一个列向量，行数$p$)，由于针对$x_i$,在$t_h=X_{h-1}{w}_h$中，$w_h$的第$i$个分量(标量)对应解释$X_{h-1}$中的$x_i$,则$VI{P}_i$对应于$x_i$对$Y$的解释时起到的作用程度，有：
$$\sum _{i=1}^p{w}_{hi}^2=w_h^T{w}_h=1$$
上面可以如此解释：$x_i$对$Y$的解释是通过$t_h$来实现的，则若$Rd(Y;t_h)$值很大即$t_h$对$Y$的解释能力很强，由于$x_i$在构造$t_h$起到非常重要作用，则$x_i$对$Y$的解释能力就被视为很大。另外，$x_i$是通过$w_h$来构造$t_h$的，当$w_{hi}$取很大值时，则$x_i$对$Y$的解释能力就被视为很大，有：
$$VI{P}_i^2=\frac{p\sum _{h=1}^{m}Rd(Y;t_h)w_{hi}^2}{Rd(Y;t_1,t_2,\cdots ,t_h)}$$
通过上面分析，当$Rd(Y;t_h)$很大时，则有$w_{hi}^2$很大，进一步有$VI{P}_i^2$很大。
$$\sum _i^{p}VI{P}_i^2=\sum _i^p\frac{p\sum _{h=1}^{m}Rd(Y;t_h)w_{hi}^2}{Rd(Y;t_1,t_2,\cdots ,t_h)}=\frac{p\sum _{h=1}^{m}Rd(Y;t_h)\sum _i^p{w}_{hi}^2}{Rd(Y;t_1,t_2,\cdots ,t_h)}=p$$
从上面分析我们可以知道，若针对所有的$x_i$与之对应的$VI{P}_i(i=1,2,\cdots ,p)$均相等即在解释$Y$时的作用相同，则所有的$VI{P}_i$均为1，否则对于$VI{P}_i>1$的$x_i$在解释$Y$时起到更加重要的作用。上面我们定义了$VI{P}_i$指标，均定性的能够分析出哪些自变量的起到的作用更大。
②与主成分分析对应的分析技术
ⅰ.特异点分析
我们可以模仿主成分分析定义第$i$个样本点对地$h$成分$t_h$的贡献率$T_{hi}^2$以此来发现样本点集合中的特异点，有：
$$T_{hi}^2=\frac{t_{hi}^2}{(n-1)s_h^2}$$
其中：$t_{hi}$是列向量$t_h$(行数$n$)Xscores的第$i$个样本点对应的值，$s_h^2$是成分$T_H$的方差。
则样本点$I$对成分$T_1,T_2\dots \dots T_M$的累计贡献率：
$$T_i^2=\frac{1}{n-1}\sum _{h=1}^m\frac{t_{hi}^2}{s_h^2}$$
我们模仿主成分分析，由于一个样本点如果对成分构成贡献很大，则其存在会使分析造成比较大的误差，所以一个样本点对成分构成的贡献不可以很大，在SIMCA-P软件中利用特雷西等人证明的统计量：
$$\frac{n^2(n-m)}{m(n^2-1)}{T}_i^2\sim F(m,n-m)$$
根据$F$统计量检验，当$T_i^2\ge \frac{m(n^2-1)}{n^2(n-m)}{F}_{0.05}(m,n-m)$我们认为在$95$的检验水平上，样本点$i$对成分$t_1,t_2,\cdots ,t_m$的贡献过大，我们称之为样本点$I$为一个特异点。
我们一般如果选择$M=2$即PLS回归中只采用了2个主成分或者$(X)=2$，此时有：
$$T_i^2\text{=}\frac{1}{n-1}\left(\frac{t_{1i}^2}{s_1^2}+\frac{t_{2i}^2}{s_2^2}\right)\ge \frac{2(n^2-1)}{n^2(n-2)}{F}_{0.05}(2,n-2)$$
最后我们得到：
$$\frac{t_{1i}^2}{s_1^2}+\frac{t_{2i}^2}{s_2^2}\ge \frac{2(n^2-1)(n-1)}{n^2(n-2)}{F}_{0.05}(2,n-2)$$
令$c=\frac{2(n^2-1)(n-1)}{n^2(n-2)}{F}_{0.05}(2,n-2)$,有：
$$\frac{t_{1i}^2}{s_1^2}+\frac{t_{2i}^2}{s_2^2}\text{=}c$$
判断提取多个主成分是否在椭圆内外关系可通过：
$$\frac{t_{1I}^2}{s_1^2}+\frac{t_{2I}^2}{s_2^2}+\cdots \frac{t_{mi}^2}{s_m^2}$$
和
$$\frac{m(n^2-1)(n-1)}{n^2(n-m)}{F}_{0.05}(m,n-m)$$
计算方法：
$$\frac{m(n^2-1)(n-1)}{n^2(n-m)}{f}_{0.05}(m,n-m)\text{=}\frac{(n^2-1)(n-1)}{n^2}\cdot \frac{m}{n-m}\cdot f_{0.05}(m,n-m)$$

MATLAB计算式：(n-1)* (n^2-1)/( n^2) * j*finv(0.95,j , n-j)/(n-j) j从1开始
三维：
$$\frac{t_{1i}^2}{s_1^2}+\frac{t_{2i}^2}{s_2^2}+\frac{t_{3i}^2}{s_3^2}\text{=}c\iff \frac{t_{1i}^2}{{\left(s_1\sqrt{c}\right)}^2}+\frac{t_{2i}^2}{{\left(s_2\sqrt{c}\right)}^2}+\frac{t_{3i}^2}{{\left(s_3\sqrt{c}\right)}^2}\text{=1}$$
上式是一个椭圆，所以，我们以$t_{1i}$和$t_{2i}$作为坐标轴，在$t_1/t_2$平面图上，可以得到这个$t^2$椭圆图，若所有样本点都落在这个椭圆内部，则认为所有样本点分布是均匀的，否则落在外部，则称这些点为特异点，即这个样本点远离所有样本集合的平均水平。
ⅱ.PLS后的数据质量分析
我们通过主成分分析可以知道，在PLS回归中有以下同样情况产生：由于特异点的存在或者仍然有一些样本点在PLS模型分析中得不到很好地表示，对于此类样本点，就无法根据PLS回归的表现来判断其特征，对于这类样本点分析必须十分小心。
由于在PLS模型分析中去除了一部分原始信息($m<(A)$)而使得一些样本点在$y_j$上的拟合值与原始值差异比较大。
由PLS模型计算推导我们可以知道，当提取了$m$个成分$t_1,t_2,\cdots ,t_m$后，有：
$$\{\begin{array}{rl}& \hat{X}=t_1{p}_1^T+t_2{p}_2^T+\cdots +t_m{p}_m^T\\ & \hat{Y}=t_1{r}_1^T+t_2{r}_2^T+\cdots +t_m{r}_m^T\text{+}{Y}_m\end{array}$$
我们定义样本点$i(i=1,2,\cdots ,n)$在$X$空间与PLS模型的距离$DMod{X}_i(s_i)$：
$$s_i=DMod{X}_i=\sqrt{\frac{\sum _{j=1}^p{e}_{ij}^2}{p-m}}\cdot \sqrt{\frac{n}{n-m-1}}$$
其中$e_{ij}^2={(x_{ij}-{\hat{x}}_{ij})}^2$，${\hat{x}}_{ij}$是重构矩阵$\hat{X}$中样本点$i$在变量$x_j$上的取值。
从上式我们可以知道，参入PLS模型的成分个数越多($m$越大),$s_i$就越小即数据重构的误差就越小。可是，有时候$m$过大，PLS模型的预测能力反而会降低，这和多元回归分析中一样，使用成分个数过多即使用变量个数过多，模型拟合效果看起来非常完美，但是模型却不能够识别系统信息与噪声，有时候如果我们把噪声加在了模型中，那这样的拟合效果反而更差。
为此我们模型多元回归分析，定义一个调整复测定系数${\bar{R}}^2$，则由此我们我们这里定义模型距离的概念。
所有样本点重构的平均质量：$S_X^2\text{=}\frac{1}{n}\sum _{i=1}^n{s}_i^2$，进一步所有样本点的重构平均距离$S_X$：
$$S_X=\sqrt{\frac{1}{n}\sum _{i=1}^n\frac{\sum _{j=1}^p{e}_{ij}^2}{p-m}\cdot \frac{n}{n-m-1}}\text{=}\sqrt{\frac{\sum _{i=1}^n\sum _{j=1}^p{e}_{ij}^2}{(p-m)(n-m-1)}}$$
则根据上面的$s_i$和$S_X$我们可以推出样本点$i$的标准化模型距离：
$${(DModX,N)}_i=\frac{s_i}{S_X}=\frac{DMod{X}_i}{S_X}$$
上式表明同所有样本点的重构平均质量相比，样本点$i$是否偏大。
同理我们可以得到：
样本点$i(i=1,2,\cdots ,n)$在$Y$空间与PLS模型的距离$DMod{Y}_i$：
$$DMod{Y}_i=\sqrt{\frac{\sum _{k=1}^q{f}_{ik}^2}{q-m}}\cdot \sqrt{\frac{n}{n-m-1}}$$
其中,$f_{ij}^2={(y_{ik}-{\hat{y}}_{ik})}^2$，${\hat{y}}_{ik}$是重构矩阵$\hat{Y}$中样本点$i$在变量$y_j$上的取值。
所有样本点重构的平均质量：
$$S_X^2\text{=}\frac{1}{n}\sum _{i=1}^n{s}_i^2$$
进一步所有样本点的重构平均距离$S_X$：
$$S_Y=\sqrt{\frac{1}{n}\sum _{i=1}^n\frac{\sum _{k=1}^q{f}_{ik}^2}{q-m}\cdot \frac{n}{n-m-1}}\text{=}\sqrt{\frac{\sum _{i=1}^n\sum _{k=1}^q{e}_{ik}^2}{(q-m)(n-m-1)}}$$
则根据上面的$s_i$和$S_X$我们可以推出样本点$i$的标准化模型距离：
$${(DModY,N)}_i=\frac{DMod{Y}_i}{S_Y}$$
上式表明同所有样本点的重构平均质量相比，样本点$i$是否偏大，若偏大，则说明数据重构质量不理想即PLS模型不好或者说$m$的取值不理想即成分个数选取不适当。

Reference

王惠文.偏最小二乘方法原理及其应用
郭建校. 改进的高维非线性PLS回归方法及应用研究[D]. 天津大学, 2010.