牛顿法求解最小二乘问题（线性回归）

用牛顿法求解代价函数的最小值，这里是n维向量,是实数。


解  牛顿法（ 详细点此）迭代公式为
，
这里， 是 关于 的偏导数向量； 是一个n x n被称作Hessian的矩阵，其元素为
。
先求 关于 的偏导数


上式即为向量 的第 个元素，所以


其中，



然后求解海森矩阵，


所以，




从而选择随机初始值 ，一次迭代后，


我们发现无论 取什么值，一次迭代后 都为 ，而此值恰恰为使得 取最小值的 值。（ 具体证明请点击此）。


因此，牛顿法经过一步迭代，即可求解最小二乘问题。