过拟合是模型在训练数据上表现良好，但在新数据上表现不佳的现象。主要原因是样本不足、噪声干扰、逻辑假设失效、模型复杂度过高、决策树过度生长和神经网络学习过度。控制模型复杂度、合理采样、数据清洗以及正则化等方法是避免过拟合的关键。
1建模样本抽取错误：包括（但不限于）样本数量太少，抽样方法错误，抽样时没有足够正确考虑业务特点，等等导致抽出的样本数据不能有效足够代表业务逻辑或业务场景；
2样本里的噪音数据干扰过大，大到模型过分记住了噪音特征，反而忽略了真实的输入输出间的关系；
3建模时的“逻辑假设”到了模型应用时已经不能成立了。任何预测模型都是在假设的基础上才可以搭建和应用的，常用的假设包括：假设历史数据可以推测未来，假设业务环节没有发生显著变化，假设建模数据与后来的应用数据是相似的，等等。如果上述假设违反了业务场景的话，根据这些假设搭建的模型当然是无法有效应用的。
4参数太多、模型复杂度高
5
最低0.47元/天 解锁文章
扫一扫
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
