逻辑回归为什么更适合处理id类特征?
答:
(1)对于tree based模型,处理id类特征,从树根到树叶的路径,其实就是是否是某用户和是否是某商品的联合判断,它已经变成了一个历史记忆,这就是为什么tree based模型在稀疏大规模ID类特征表现不行的原因
(2)对于逻辑回归模型,一方面,它可以处理大规模的数据,可以并行处理;另一方面,我们可以通过L1正则化,进行特征选择关于模型在各个维度进行不均匀伸缩后,最优解与原来等价吗?
答:等不等价要看最终的误差优化函数。如果经过变化后最终的优化函数等价则等价。明白了这一点,那么很容易得到,如果对原来的特征乘除某一常数,则等价。做加减和取对数都不等价关于逻辑回归,连续特征离散化的好处
(1)可以实现非线性。举例,一个变量如果服从对数正态分布,那么对于不同区间,重要度不同。因此我们通过离散化,可以实现对不同区间学习不同的权重。
参考文献
http://blog.csdn.net/u011086367/article/details/52879531
http://blog.csdn.net/xietingcandice/article/details/46462825 (干货)
http://blog.csdn.net/yang090510118/article/details/39478033