定义观测结果y和预测结果y'之间的差别为Rss:
![Rss = \sum_{i=1}^{n}({y_i-y_i'} )^2= \sum_{i=1}^{n}({y_i-h(x_i)} )^2 = (y-h(X))^T*(y-h(X))](https://i-blog.csdnimg.cn/blog_migrate/ceffe357d3b24df91b4079dd68626ea5.png)
设若参数的矩阵为,则
那么
按照我们的定义,这个Rss的意思是y和y'之间的差,那么当Rss无限趋近于0的时候,则y≈y',即我们求得的预测结果就等于实际结果。
于是,令Rss等于某一极小值,则
对参数求导,得:
![\frac{d}{d(\theta)}(y-X*\theta)^T*(y-X*\theta)== 2X^T*(y-X*\theta)==0](https://i-blog.csdnimg.cn/blog_migrate/5ac947c91e88bdeaa26f3af640db8079.png)
展开,得
进而就可以得到
于是我们就得到正规方程了。
再讲一个推导方式:
我们可以用矩阵乘法:
![Y=X\theta](https://i-blog.csdnimg.cn/blog_migrate/c5fb38c43300264671fd47163a8c7333.png)
两边同时乘以
然后再乘以
就得到
定义观测结果y和预测结果y'之间的差别为Rss:
设若参数的矩阵为,则
那么
按照我们的定义,这个Rss的意思是y和y'之间的差,那么当Rss无限趋近于0的时候,则y≈y',即我们求得的预测结果就等于实际结果。
于是,令Rss等于某一极小值,则
对参数求导,得:
展开,得
进而就可以得到
于是我们就得到正规方程了。
再讲一个推导方式:
我们可以用矩阵乘法:
两边同时乘以
然后再乘以
就得到