Locally Weighted Linear Regression
局部加权线性回归是一种non-parametric learning algorithm。线性回归算法主要根据已有的训练样本,计算出选择的特征的权重值,并根据计算出的权重值去估算预测结果,这种方法对特征的选择要求比较高,需要去判断和分析选择的特征。不同于线性回归算法,局部加权回归算法主要是针对每次的预测值,选择确定的领域,计算相对应的权值,进而做出估算。
主要步骤:
1、确定领域,计算输入变量的权重值;
2、选择合适的参数sita的个数,并计算参数sita;
3、根据计算得出的sita,估算预测值;
优点:1 相比线性回归算法,特征选择的重要性不是那么大;并且实际问题中t对特征的选择,往往并不是那么简单;
2 每次预测都根据原有的训练样本去重新学习计算权值,使得数据本身自适应性比较好,预测精度可能更好;
缺点:每次预测都需要通过已有的训练样本重新学习,并计算权值,计算量比较大;