PLS系列001 数据预处理

最新推荐文章于 2024-04-20 21:07:42 发布

zhulinniao

最新推荐文章于 2024-04-20 21:07:42 发布

阅读量1.1k

点赞数

分类专栏：机器学习文章标签：机器学习

【博客公式均自己亲自推导和撰写，请转载请注明出处，文章如有侵权、未引用出处等请及时联系whaozl@126.com 或留言评论】【很多已会但是会忘,写纯粹是为了多总结多向前看看和向后看看】

本文链接：https://blog.csdn.net/zhulinniao/article/details/103229276

版权

机器学习专栏收录该内容

9 篇文章 0 订阅

订阅专栏

偏最小二乘法中的数据预处理

1 数据预处理
- 1.1 均值|方差|协方差|相关系数
- 1.2 数据标准化
Reference

1 数据预处理

1.1 均值|方差|协方差|相关系数

矩阵数据表 $X=({{x}_{1}},{{x}_{2}},\cdots ,{{x}_{i}},\cdots ,{{x}_{p}})$ 是一个 $n\times p$ (m行n列)矩阵, ${{x}_{j}}$ 代表一个列向量，是一个 $n$ 维空间点，有 $p$ 个这样的空间点。
变量 ${{x}_{j}}$ 均值(一列的均值)
${{\bar{x}}_{j}}=\frac{1}{n}\sum\limits_{i=1}^{n}{{{x}_{ij}}}$
变量 ${{x}_{j}}$ 方差(一列的方差)
$s_{j}^{2}=Var({{x}_{j}})=\frac{1}{n\text{-}1}\sum\limits_{i=1}^{n}{{{({{x}_{ij}}-{{{\bar{x}}}_{j}})}^{2}}}$
$\begin{aligned} & Var(X)=\frac{1}{n-1}\sum\limits_{i=1}^{n}{{{({{X}_{i}}-\bar{X})}^{2}}}=\frac{1}{n-1}\sum\limits_{i=1}^{n}{(X_{i}^{2}+{{{\bar{X}}}^{2}}-2{{X}_{i}}\bar{X})} \\ & \ \ \ \ \ \ \ \ \ \ \ =\frac{1}{n-1}\left( \sum\limits_{i=1}^{n}{X_{i}^{2}}+\sum\limits_{i=1}^{n}{{{{\bar{X}}}^{2}}}-2\sum\limits_{i=1}^{n}{{{X}_{i}}\bar{X}} \right) \\ & \ \ \ \ \ \ \ \ \ \ \ =\frac{1}{n-1}\left( \sum\limits_{i=1}^{n}{X_{i}^{2}}+n{{{\bar{X}}}^{2}}- \color{red}{2\bar{X}\sum\limits_{i=1}^{n}{{{X}_{i}}}} \right) \\ \\ & \ \ \ \ \ \ \ \ \ \ \ =\frac{1}{n-1}\left( \sum\limits_{i=1}^{n}{X_{i}^{2}}+\frac{1}{n}{{\left( \sum\limits_{i=1}^{n}{{{X}_{i}}} \right)}^{2}}-\color{red}{\frac{2}{n}{{\left( \sum\limits_{i=1}^{n}{{{X}_{i}}} \right)}^{2}}} \right) \\ & \ \ \ \ \ \ \ \ \ \ \ \text{=}\frac{1}{n-1}\left( \sum\limits_{i=1}^{n}{X_{i}^{2}}-\frac{1}{n}{{\left( \sum\limits_{i=1}^{n}{{{X}_{i}}} \right)}^{2}} \right) \\ \end{aligned}$

标准差计算可【方便编程】：
$\text{std}(X)=\sqrt{Var(X)}\text{=}\sqrt{\frac{1}{n-1}\left( \sum\limits_{i=1}^{n}{X_{i}^{2}}-\frac{1}{n}{{\left( \sum\limits_{i=1}^{n}{{{X}_{i}}} \right)}^{2}} \right)}$
变量 ${{x}_{i}}$ 和 ${{x}_{j}}$ 协方差(即将第 $i$ 行第 $j$ 列元素减去第 $j$ 列均值后乘以第 $i$ 行第 $k$ 列元素减去第 $k$ 列均值)
$Cov({{x}_{j}},{{x}_{k}})={{s}_{jk}}=\frac{1}{n}\sum\limits_{i=1}^{n}{({{x}_{ij}}-{{{\bar{x}}}_{j}})({{x}_{ik}}-{{{\bar{x}}}_{k}})}$
协方差可用于测度变量 ${{x}_{j}}$ 和 ${{x}_{k}}$ 的相关性，矩阵 $X$ 协方差矩阵为：
$V={{\left\{ \begin{matrix} s_{1}^{2} & {{s}_{12}} & \cdots & {{s}_{1p}} \\ {{s}_{21}} & s_{2}^{2} & \cdots & {{s}_{2p}} \\ \vdots & \vdots & \ddots & \vdots \\ {{s}_{p1}} & {{s}_{p2}} & \cdots & s_{p}^{2} \\ \end{matrix} \right\}}_{p\times p}}$
变量 ${{x}_{i}}$ 和 ${{x}_{j}}$ 相关系数:
${{r}_{jk}}=r({{x}_{j}},{{x}_{k}})=\frac{{{s}_{jk}}}{{{s}_{j}}{{s}_{k}}}=\frac{Cov({{x}_{j}},{{x}_{k}})}{\sqrt{Var({{x}_{j}})}\sqrt{Var({{x}_{k}})}}$

且有 $0\le \left| {{r}_{jk}} \right|\le 1$ ， ${{r}_{jk}}$ 无量纲作用，可以很好地表示2个变量间的相关程度。

【注意】在计算统计量 $s_{j}^{2}$ 和 ${{s}_{jk}}$ 时，和式前面的系数由2中取法：
当样本点集合是随机抽取得到时应当取 $\frac{1}{n-1}$ ，这时是方差和协方差的无偏估计量
当样本点集合不是由随机抽样(如研究某一地区全部城市)，则次系数取 $\frac{1}{n}$ (物理意义上的平均概念)。

如是总体（即估算总体方差），根号内除以n（对应excel函数：STDEVP）；
如是抽样（即估算样本方差），根号内除以（n-1）（对应excel函数：STDEV）；
因为我们大量接触的是样本，所以普遍使用根号内除以（n-1）。
$\operatorname{cov}(X,Y)=\frac{\sum\limits_{i=1}^{n}{({{X}_{i}}-\bar{X})({{Y}_{i}}-\bar{Y})}}{n-1}\text{=}\frac{\sum\limits_{i=1}^{n}{{{X}_{i}}{{Y}_{i}}}-\frac{1}{n}\sum\limits_{i=1}^{n}{{{X}_{i}}}\sum\limits_{k=1}^{n}{{{Y}_{k}}}}{n-1}$

$\begin{aligned} & {{\rho }_{XY}}=r(X,Y)=\frac{Cov(X,Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}}=\frac{Cov(X,Y)}{std(X)std(Y)} \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \text{=}\frac{\sum\limits_{i=1}^{n}{({{X}_{i}}-\bar{X})({{Y}_{i}}-\bar{Y})}}{\sqrt{\sum\limits_{i=1}^{n}{{{({{X}_{i}}-\bar{X})}^{2}}}\centerdot \sum\limits_{i=1}^{n}{{{({{Y}_{i}}-\bar{Y})}^{2}}}}}=\frac{n\sum\limits_{i=1}^{n}{{{X}_{i}}{{Y}_{i}}}-\sum\limits_{i=1}^{n}{{{X}_{i}}}\centerdot \sum\limits_{i=1}^{n}{{{Y}_{i}}}}{\sqrt{n\sum\limits_{i=1}^{n}{X_{i}^{2}}-{{\left( \sum\limits_{i=1}^{n}{{{X}_{i}}} \right)}^{2}}}\centerdot \sqrt{n\sum\limits_{i=1}^{n}{Y_{i}^{2}}-{{\left( \sum\limits_{i=1}^{n}{{{Y}_{i}}} \right)}^{2}}}} \\ \end{aligned}$
公式最后变成不用求均值咯【方便编程】

下面演示推到过程：

${{\rho }_{XY}}=r(X,Y)=\frac{\sum\limits_{i=1}^{n}{({{X}_{i}}-\bar{X})({{Y}_{i}}-\bar{Y})}}{\sqrt{\sum\limits_{i=1}^{n}{{{({{X}_{i}}-\bar{X})}^{2}}}\centerdot \sum\limits_{i=1}^{n}{{{({{Y}_{i}}-\bar{Y})}^{2}}}}}=\frac{\sum\limits_{i=1}^{n}{({{X}_{i}}{{Y}_{i}}-{{X}_{i}}\bar{Y}-\bar{X}{{Y}_{i}}+\bar{X}\bar{Y})}}{\sqrt{\sum\limits_{i=1}^{n}{(X_{i}^{2}+{{{\bar{X}}}^{2}}-2{{X}_{i}}\bar{X})}\centerdot \sum\limits_{i=1}^{n}{(Y_{i}^{2}+{{{\bar{Y}}}^{2}}-2{{Y}_{i}}\bar{Y})}}}$
分子(上面)：
$\begin{aligned} & \sum\limits_{i=1}^{n}{\left( {{X}_{i}}{{Y}_{i}}-{{X}_{i}}\bar{Y}-\bar{X}{{Y}_{i}}+\bar{X}\bar{Y} \right)}=\sum\limits_{i=1}^{n}{\left( {{X}_{i}}{{Y}_{i}}-\frac{1}{n}{{X}_{i}}\sum\limits_{k=1}^{n}{{{Y}_{k}}}-\frac{1}{n}{{Y}_{i}}\sum\limits_{j=1}^{n}{{{X}_{j}}}+ \color{red}{\frac{1}{{{n}^{2}}}\sum\limits_{j=1}^{n}{{{X}_{j}}}\sum\limits_{k=1}^{n}{{{Y}_{k}}}} \right)} \\ & =\sum\limits_{i=1}^{n}{{{X}_{i}}{{Y}_{i}}}-\frac{1}{n}\sum\limits_{i=1}^{n}{\left( {{X}_{i}}\sum\limits_{k=1}^{n}{{{Y}_{k}}} \right)}-\frac{1}{n}\sum\limits_{i=1}^{n}{\left( {{Y}_{i}}\sum\limits_{j=1}^{n}{{{X}_{j}}} \right)}+ \color{red}{\frac{1}{{{n}^{2}}}\sum\limits_{i=1}^{n}{\left( \sum\limits_{j=1}^{n}{{{X}_{j}}}\sum\limits_{k=1}^{n}{{{Y}_{k}}} \right)}} \\ & =\sum\limits_{i=1}^{n}{{{X}_{i}}{{Y}_{i}}}-\frac{1}{n}\sum\limits_{i=1}^{n}{{{X}_{i}}}\sum\limits_{k=1}^{n}{{{Y}_{k}}}-\frac{1}{n}\sum\limits_{j=1}^{n}{{{X}_{j}}}\sum\limits_{i=1}^{n}{{{Y}_{i}}}+\frac{1}{n}\sum\limits_{j=1}^{n}{{{X}_{j}}}\sum\limits_{k=1}^{n}{{{Y}_{k}}} \\ & \text{=}\sum\limits_{i=1}^{n}{{{X}_{i}}{{Y}_{i}}}-\frac{1}{n}\sum\limits_{i=1}^{n}{{{X}_{i}}}\sum\limits_{k=1}^{n}{{{Y}_{k}}} \\ \end{aligned}$
分母(下面，分母不能为0)：
$\begin{aligned} & \sqrt{\sum\limits_{i=1}^{n}{(X_{i}^{2}+{{{\bar{X}}}^{2}}-2{{X}_{i}}\bar{X})}\centerdot \sum\limits_{i=1}^{n}{(Y_{i}^{2}+{{{\bar{Y}}}^{2}}-2{{Y}_{i}}\bar{Y})}} \\ & \text{=}\sqrt{\left( \sum\limits_{i=1}^{n}{X_{i}^{2}}+\sum\limits_{i=1}^{n}{{{{\bar{X}}}^{2}}}-2\sum\limits_{i=1}^{n}{{{X}_{i}}\bar{X}} \right)\centerdot \left( \sum\limits_{i=1}^{n}{Y_{i}^{2}}+\sum\limits_{i=1}^{n}{{{{\bar{Y}}}^{2}}}-2\sum\limits_{i=1}^{n}{{{Y}_{i}}\bar{Y}} \right)} \\ & \text{=}\sqrt{\left( \sum\limits_{i=1}^{n}{X_{i}^{2}}+n{{{\bar{X}}}^{2}}-2\bar{X}\sum\limits_{i=1}^{n}{{{X}_{i}}} \right)\centerdot \left( \sum\limits_{i=1}^{n}{Y_{i}^{2}}+n{{{\bar{Y}}}^{2}}-2\bar{Y}\sum\limits_{i=1}^{n}{{{Y}_{i}}} \right)} \\ & =\sqrt{\left( \sum\limits_{i=1}^{n}{X_{i}^{2}}+\frac{1}{n}{{\left( \sum\limits_{i=1}^{n}{{{X}_{i}}} \right)}^{2}}-\frac{2}{n}{{\left( \sum\limits_{i=1}^{n}{{{X}_{i}}} \right)}^{2}} \right)\centerdot \left( \sum\limits_{i=1}^{n}{Y_{i}^{2}}+\frac{1}{n}{{\left( \sum\limits_{i=1}^{n}{{{Y}_{i}}} \right)}^{2}}-\frac{2}{n}{{\left( \sum\limits_{i=1}^{n}{{{Y}_{i}}} \right)}^{2}} \right)} \\ & =\sqrt{\sum\limits_{i=1}^{n}{X_{i}^{2}}-\frac{1}{n}{{\left( \sum\limits_{i=1}^{n}{{{X}_{i}}} \right)}^{2}}}\centerdot \sqrt{\sum\limits_{i=1}^{n}{Y_{i}^{2}}-\frac{1}{n}{{\left( \sum\limits_{i=1}^{n}{{{Y}_{i}}} \right)}^{2}}} \\ \end{aligned}$

1.2 数据标准化

①数据中心化(平移变换)
$x_{ij}^{*}={{x}_{ij}}-{{\bar{x}}_{j}}\ \ \ (i=1,2,\cdots ,n;j=1,2,\cdots ,p)$
该变化可以使新坐标的原点与样本点集合的重心重合，而这样的变换既不会改变样本点间的相互位置，也不会改变变量间的相关性，但变换后，却常常有许多技术上的便利。
变量 ${{x}_{j}}$ 均值(一列的均值) ${{\bar{x}}_{j}}=\frac{1}{n}\sum\limits_{i=1}^{n}{{{x}_{ij}}}=0$
变量 ${{x}_{j}}$ 方差 $s_{j}^{2}=Var({{x}_{j}})=\frac{1}{n}\sum\limits_{i=1}^{n}{{{({{x}_{ij}}-{{{\bar{x}}}_{j}})}^{2}}}=\frac{1}{n}\sum\limits_{i=1}^{n}{x_{ij}^{2}}=\frac{1}{n}x_{j}^{T}{{x}_{j}}=\frac{1}{n}{{\left\| {{x}_{j}} \right\|}^{2}}$
${{s}_{jk}}=Cov({{x}_{j}},{{x}_{k}})=\frac{1}{n}\sum\limits_{i=1}^{n}{({{x}_{ij}}-{{{\bar{x}}}_{j}})({{x}_{ik}}-{{{\bar{x}}}_{k}})}=\frac{1}{n}\sum\limits_{i=1}^{n}{{{x}_{ij}}{{x}_{ik}}}=\frac{1}{n}<{{x}_{j}},{{x}_{k}}>=\frac{1}{n}x_{j}^{T}{{x}_{k}}$
${{r}_{jk}}=r({{x}_{j}},{{x}_{k}})=\frac{{{s}_{jk}}}{{{s}_{j}}{{s}_{k}}}=\frac{Cov({{x}_{j}},{{x}_{k}})}{\sqrt{Var({{x}_{j}})}\sqrt{Var({{x}_{k}})}}=\frac{\frac{1}{n}<{{x}_{j}},{{x}_{k}}>}{\frac{1}{\sqrt{n}}\left\| {{x}_{j}} \right\|\cdot \frac{1}{\sqrt{n}}\left\| {{x}_{k}} \right\|}=\frac{<{{x}_{j}},{{x}_{k}}>}{\left\| {{x}_{j}} \right\|\cdot \left\| {{x}_{k}} \right\|}$
这时，2个变量的相关系数恰好等于它们的余弦值。当 ${{r}_{jk}}=0$ ， $\cos {{\theta }_{jk}}=0$
${{\theta }_{jk}}={{90}^{\circ }}；当{{r}_{jk}}=1，\cos {{\theta }_{jk}}=1\Rightarrow {{\theta }_{jk}}={{0}^{\circ }}$
②数据压缩化(无量纲化)
如果各变量的测量单位一致，可以采用欧氏距离测定样本空间中点 ${{x}_{i}}$ 和点 ${{x}_{j}}$ 之间的距离有： $d({{e}_{j}},{{e}_{k}})={{\left\| {{e}_{j}}-{{e}_{k}} \right\|}^{2}}=\sum\limits_{i=1}^{p}{{{({{x}_{ij}}-{{x}_{ik}})}^{2}}}$ ,然后实际问题中，不同变量测量单位不一致，于是采用压缩化，消去每个变量的方差均让他变成1即：
$x_{ij}^{*}=\frac{{{x}_{ij}}}{{{s}_{j}}}\ \ (i=1,2,\cdots ,n;j=1,2,\cdots ,p)$
还有其他消去量纲的方法：
$x_{ij}^{*}=\frac{{{x}_{ij}}}{\underset{i}{\mathop{\max }}\,\{{{x}_{ij}}\}},x_{ij}^{*}=\frac{{{x}_{ij}}}{\underset{i}{\mathop{\min }}\,\{{{x}_{ij}}\}},x_{ij}^{*}=\frac{{{x}_{ij}}}{{{{\bar{x}}}_{j}}},x_{ij}^{*}=\frac{{{x}_{ij}}}{R}\ \ (R=\underset{i}{\mathop{\max }}\,\{{{x}_{ij}}\}-\underset{i}{\mathop{\min }}\,\{{{x}_{ij}}\})$
③数据中心化+压缩化=标准化
$x_{ij}^{*}=\frac{{{x}_{ij}}-{{{\bar{x}}}_{j}}}{{{s}_{j}}}\ \ \ (i=1,2,\cdots ,n;j=1,2,\cdots ,p)$

记新样本矩 ${{X}^{*}}={{(x_{ij}^{*})}_{n\times p}}=(x_{1}^{*},x_{2}^{*},\cdots ,x_{p}^{*})$ ，【这里 ${{s}_{j}}$ 为标准差，不是方差】
变量 $x_{j}^{*}$ 均值(一列的均值)
$\bar{x}_{j}^{*}=\frac{1}{n}\sum\limits_{i=1}^{n}{x_{ij}^{*}}=\frac{1}{n}\sum\limits_{i=1}^{n}{\frac{{{x}_{ij}}-{{{\bar{x}}}_{j}}}{{{s}_{j}}}}=\frac{1}{n\times {{s}_{j}}}\sum\limits_{i=1}^{n}{({{x}_{ij}}-{{{\bar{x}}}_{j}})}=0$
变量 $x_{j}^{*}$ 的方差
$\begin{aligned} & Var(x_{j}^{*})=\frac{1}{n}\sum\limits_{i=1}^{n}{{{(x_{ij}^{*}-\bar{x}_{j}^{*})}^{2}}}=\frac{1}{n}\sum\limits_{i=1}^{n}{{{(x_{ij}^{*})}^{2}}}=\frac{1}{n}{{(x_{j}^{*})}^{T}}\cdot x_{j}^{*}=\frac{1}{n}{{\left\| x_{j}^{*} \right\|}^{2}} \\ & \ \ \ \ \ \ \ \ \ \ \ =\frac{1}{n}\sum\limits_{i=1}^{n}{{{(\frac{{{x}_{ij}}-{{{\bar{x}}}_{j}}}{{{s}_{j}}})}^{2}}}=\frac{1}{s_{j}^{2}}\times \frac{1}{n}\sum\limits_{i=1}^{n}{{{({{x}_{ij}}-{{{\bar{x}}}_{j}})}^{2}}}\ =\frac{s_{j}^{2}}{s_{j}^{2}}=1 \\ \end{aligned}$
新的所有变量方差为1
$Cov(x_{_{j}}^{*},x_{_{k}}^{*})={{s}_{jk}}=\frac{1}{n}\sum\limits_{i=1}^{n}{(x_{_{ij}}^{*}-\bar{x}_{_{j}}^{*})(x_{_{ik}}^{*}-\bar{x}_{_{k}}^{*})}=\frac{1}{n}\sum\limits_{i=1}^{n}{x_{_{ij}}^{*}x_{_{ik}}^{*}}=\frac{1}{n}<x_{_{j}}^{*},x_{_{k}}^{*}>=\frac{1}{n}{{(x_{j}^{*})}^{T}}x_{_{k}}^{*}$
${{r}_{jk}}=r(x_{_{j}}^{*},x_{_{k}}^{*})=\frac{s_{_{jk}}^{*}}{s_{_{j}}^{*}s_{_{k}}^{*}}=\frac{Cov(x_{_{j}}^{*},x_{_{k}}^{*})}{\sqrt{Var(x_{_{j}}^{*})}\sqrt{Var(x_{_{j}}^{*})}}=\frac{\frac{1}{n}<x_{_{j}}^{*},x_{_{k}}^{*}>}{1\cdot 1}=Cov(x_{_{j}}^{*},x_{_{k}}^{*})$
$\begin{aligned} & r_{_{jk}}^{*}=r(x_{_{j}}^{*},x_{_{k}}^{*})=\frac{s_{_{jk}}^{*}}{s_{_{j}}^{*}s_{_{k}}^{*}}=\frac{Cov(x_{_{j}}^{*},x_{_{k}}^{*})}{\sqrt{Var(x_{_{j}}^{*})}\sqrt{Var(x_{_{j}}^{*})}}=\frac{\frac{1}{n}<x_{_{j}}^{*},x_{_{k}}^{*}>}{1\cdot 1} \\ & \ \ \ \ =Cov(x_{_{j}}^{*},x_{_{k}}^{*}) \\ & \ \ \ \ =\frac{1}{n}\sum\limits_{i=1}^{n}{(x_{_{ij}}^{*}-\bar{x}_{_{j}}^{*})(x_{_{ik}}^{*}-\bar{x}_{_{k}}^{*})}=\frac{1}{n}\sum\limits_{i=1}^{n}{x_{_{ij}}^{*}x_{_{ik}}^{*}} \\ & \ \ \ \ =\frac{1}{n}\sum\limits_{i=1}^{n}{(\frac{{{x}_{ij}}-{{{\bar{x}}}_{j}}}{{{s}_{j}}})(\frac{{{x}_{ik}}-{{{\bar{x}}}_{k}}}{{{s}_{k}}})=\frac{1}{n}\sum\limits_{i=1}^{n}{\frac{({{x}_{ij}}-{{{\bar{x}}}_{j}})({{x}_{ik}}-{{{\bar{x}}}_{k}})}{{{s}_{j}}{{s}_{k}}}}} \\ & \ \ \ \ =\frac{Cov({{x}_{j}},{{x}_{k}})}{{{s}_{j}}{{s}_{k}}}=r({{x}_{j}},{{x}_{k}})={{r}_{jk}} \\ \end{aligned}$
综上，有
${{s}_{jk}}=Cov(x_{_{j}}^{*},x_{_{k}}^{*})=r_{_{jk}}^{*}=r(x_{_{j}}^{*},x_{_{k}}^{*})=r({{x}_{j}},{{x}_{k}})={{r}_{jk}}$
当 $j = k$ 时，上式协方差就等价于方差=1，于是上式均为1。
④反标准化(反归一化)
我们假设将样本数据 $Z = (X, Y)$ 经过标准化后通过偏最小二乘法得到了回归方程，并且为了推导方便，我们假设我们只有2个因变量，16个自变量：
【** 下面是标准差，不是方差**】
$\left\{ \begin{aligned} & y_{1}^{*}={{X}^{\text{*}}}{{B}_{1}}={{b}_{11}}x_{1}^{*}+{{b}_{12}}x_{2}^{*}+\cdots +{{b}_{1p}}x_{p}^{*} \\ & y_{2}^{*}={{X}^{\text{*}}}{{B}_{2}}={{b}_{21}}x_{1}^{*}+{{b}_{22}}x_{2}^{*}+\cdots +{{b}_{2p}}x_{p}^{*} \\ \end{aligned} \right.$
而 $y_{1}^{*}$ 和 $x_{1}^{*}$ 等都是经过数据标准化的，则我们有：
$y_{1}^{*}=\frac{y-{{{\bar{y}}}_{1}}}{\operatorname{std}({{y}_{1}})} \\ x_{1}^{*}=\frac{x-{{{\bar{x}}}_{1}}}{\operatorname{std}({{x}_{1}})}$
我们入上式则有：
$\left\{ \begin{aligned} & \frac{{{y}_{1}}-{{{\bar{y}}}_{1}}}{\operatorname{std}({{y}_{1}})}={{b}_{11}}\frac{{{x}_{1}}-{{{\bar{x}}}_{1}}}{\operatorname{std}({{x}_{1}})}+{{b}_{12}}\frac{{{x}_{2}}-{{{\bar{x}}}_{2}}}{\operatorname{std}({{x}_{2}})}+\cdots +{{b}_{1p}}\frac{x-{{{\bar{x}}}_{p}}}{\operatorname{std}({{x}_{p}})} \\ & \frac{{{y}_{2}}-{{{\bar{y}}}_{2}}}{\operatorname{std}({{y}_{2}})}={{b}_{21}}\frac{{{x}_{1}}-{{{\bar{x}}}_{1}}}{\operatorname{std}({{x}_{1}})}+{{b}_{22}}\frac{{{x}_{2}}-{{{\bar{x}}}_{2}}}{\operatorname{std}({{x}_{2}})}+\cdots +{{b}_{2p}}\frac{x-{{{\bar{x}}}_{p}}}{\operatorname{std}({{x}_{p}})} \\ \end{aligned} \right.$
将上式左右两边进行拓展，可得到原始数据的回归方程：
$\left\{ \begin{aligned} & {{y}_{1}}=\frac{{{b}_{11}}\operatorname{std}({{y}_{1}})}{\operatorname{std}({{x}_{1}})}{{x}_{1}}+\frac{{{b}_{12}}\operatorname{std}({{y}_{1}})}{\operatorname{std}({{x}_{2}})}{{x}_{2}}+\cdots +\frac{{{b}_{1p}}\operatorname{std}({{y}_{1}})}{\operatorname{std}({{x}_{p}})}{{x}_{p}}+{{{\bar{y}}}_{1}}-\operatorname{std}({{y}_{1}})\left( \frac{{{b}_{11}}{{{\bar{x}}}_{1}}}{\operatorname{std}({{x}_{1}})}+\frac{{{b}_{12}}{{{\bar{x}}}_{2}}}{\operatorname{std}({{x}_{2}})}+\cdots +\frac{{{b}_{1p}}{{{\bar{x}}}_{p}}}{\operatorname{std}({{x}_{p}})} \right) \\ & {{y}_{2}}=\frac{{{b}_{21}}\operatorname{std}({{y}_{2}})}{\operatorname{std}({{x}_{1}})}{{x}_{1}}+\frac{{{b}_{22}}\operatorname{std}({{y}_{2}})}{\operatorname{std}({{x}_{2}})}{{x}_{2}}+\cdots +\frac{{{b}_{2p}}\operatorname{std}({{y}_{2}})}{\operatorname{std}({{x}_{p}})}{{x}_{p}}+{{{\bar{y}}}_{2}}-\operatorname{std}({{y}_{2}})\left( \frac{{{b}_{21}}{{{\bar{x}}}_{1}}}{\operatorname{std}({{x}_{1}})}+\frac{{{b}_{22}}{{{\bar{x}}}_{2}}}{\operatorname{std}({{x}_{2}})}+\cdots +\frac{{{b}_{2p}}{{{\bar{x}}}_{p}}}{\operatorname{std}({{x}_{p}})} \right) \\ \end{aligned} \right.$
等价于：
$\left\{ \begin{aligned} & {{y}_{1}}=\operatorname{std}({{y}_{1}})\left( \begin{matrix} {{{b}_{11}}}/{\operatorname{std}({{x}_{1}})}\; \\ {{{b}_{12}}}/{\operatorname{std}({{x}_{2}})}\; \\ \vdots \\ {{{b}_{1p}}}/{\operatorname{std}({{x}_{p}})}\; \\ \end{matrix} \right)\left( \begin{matrix} {{x}_{1}} & {{x}_{2}} & \cdots & {{x}_{p}} \\ \end{matrix} \right)+{{{\bar{y}}}_{1}}-\operatorname{std}({{y}_{1}})\left( \frac{{{b}_{11}}{{{\bar{x}}}_{1}}}{\operatorname{std}({{x}_{1}})}+\frac{{{b}_{12}}{{{\bar{x}}}_{2}}}{\operatorname{std}({{x}_{2}})}+\cdots +\frac{{{b}_{1p}}{{{\bar{x}}}_{p}}}{\operatorname{std}({{x}_{p}})} \right) \\ & {{y}_{2}}=\operatorname{std}({{y}_{2}})\left( \begin{matrix} {{{b}_{21}}}/{\operatorname{std}({{x}_{1}})}\; \\ {{{b}_{22}}}/{\operatorname{std}({{x}_{2}})}\; \\ \vdots \\ {{{b}_{2p}}}/{\operatorname{std}({{x}_{p}})}\; \\ \end{matrix} \right)\left( \begin{matrix} {{x}_{1}} & {{x}_{2}} & \cdots & {{x}_{p}} \\ \end{matrix} \right)+{{{\bar{y}}}_{2}}-\operatorname{std}({{y}_{2}})\left( \frac{{{b}_{21}}{{{\bar{x}}}_{1}}}{\operatorname{std}({{x}_{1}})}+\frac{{{b}_{22}}{{{\bar{x}}}_{2}}}{\operatorname{std}({{x}_{2}})}+\cdots +\frac{{{b}_{2p}}{{{\bar{x}}}_{p}}}{\operatorname{std}({{x}_{p}})} \right) \\ \end{aligned} \right.$
这样我们就知道怎么求现在的系数了。
其中截距为
$\left\{ \begin{aligned} & {{b}_{1}}={{{\bar{y}}}_{1}}-\operatorname{std}({{y}_{1}})\left( \frac{{{{\bar{x}}}_{1}}}{\operatorname{std}({{x}_{1}})}{{b}_{11}}+\frac{{{{\bar{x}}}_{2}}}{\operatorname{std}({{x}_{2}})}{{b}_{12}}+\cdots +\frac{{{{\bar{x}}}_{p}}}{\operatorname{std}({{x}_{p}})}{{b}_{1p}} \right) \\ & {{b}_{2}}={{{\bar{y}}}_{2}}-\operatorname{std}({{y}_{2}})\left( \frac{{{{\bar{x}}}_{1}}}{\operatorname{std}({{x}_{1}})}{{b}_{21}}+\frac{{{{\bar{x}}}_{2}}}{\operatorname{std}({{x}_{2}})}{{b}_{22}}+\cdots +\frac{{{{\bar{x}}}_{p}}}{\operatorname{std}({{x}_{p}})}{{b}_{2p}} \right) \\ \end{aligned} \right.$ 等价于：

$\left\{ \begin{aligned} & {{b}_{1}}={{{\bar{y}}}_{1}}-\operatorname{std}({{y}_{1}})\left( \frac{{{{\bar{x}}}_{1}}}{\operatorname{std}({{x}_{1}})}\ \frac{{{{\bar{x}}}_{2}}}{\operatorname{std}({{x}_{2}})}\ \cdots \ \frac{{{{\bar{x}}}_{p}}}{\operatorname{std}({{x}_{p}})} \right)\left( \begin{matrix} {{b}_{11}} \\ {{b}_{12}} \\ \vdots \\ {{b}_{1p}} \\ \end{matrix} \right) \\ & {{b}_{2}}={{{\bar{y}}}_{2}}-\operatorname{std}({{y}_{2}})\left( \frac{{{{\bar{x}}}_{1}}}{\operatorname{std}({{x}_{1}})}\ \frac{{{{\bar{x}}}_{2}}}{\operatorname{std}({{x}_{2}})}\ \cdots \ \frac{{{{\bar{x}}}_{p}}}{\operatorname{std}({{x}_{p}})} \right)\left( \begin{matrix} {{b}_{21}} \\ {{b}_{22}} \\ \vdots \\ {{b}_{2p}} \\ \end{matrix} \right) \\ \end{aligned} \right.$