多元最小二乘问题

多元最小二乘问题

假设我们有一组训练集 ,对每一个样例我们有很多输出，所以在这里, 并不是一个实数，而是一个有 个元素的向量。我们希望使用一个线性模型来预测输出结果，设
,
这里 。
1)代价函数
，
下面我们将代价函数写成矩阵—向量符号的形式。
设




则：
，


经过观察，发现 的值即为矩阵 元素的平方和的一半， 而我们知道（容易证明）矩阵的元素的平方和等于，所以
。


2)求使 得最小的解析解 。
为了最小化 ，让我们求得它关于 的偏导数。
因此，


我们知道公式


和


令 ，由（5）得到：
  ,
由（1）（2）得，


所以， ，
为了使 最小化，令其导数为0，所以， 。
3)假定不一次全部考虑多变量向量 ，而是分开的计算每一个变量 ， ，那么现在我们有 个线性模型：
  。
请考虑这 个独立最小二乘问题的参数和多变量最小二乘的问题的参数有什么关系？


解  我们构造向量


由单变量最小二乘问题的知识，我们得到解
所以用这些 构造矩阵


即这 个独立最小二乘问题的参数和多变量最小二乘的问题的参数是相等的。