过拟合产生的原因有哪些

过拟合是模型在训练数据上表现良好,但在新数据上表现不佳的现象。主要原因是样本不足、噪声干扰、逻辑假设失效、模型复杂度过高、决策树过度生长和神经网络学习过度。控制模型复杂度、合理采样、数据清洗以及正则化等方法是避免过拟合的关键。
摘要由CSDN通过智能技术生成

1建模样本抽取错误:包括(但不限于)样本数量太少,抽样方法错误,抽样时没有足够正确考虑业务特点,等等导致抽出的样本数据不能有效足够代表业务逻辑或业务场景;

2样本里的噪音数据干扰过大,大到模型过分记住了噪音特征,反而忽略了真实的输入输出间的关系;

3建模时的逻辑假设到了模型应用时已经不能成立了。任何预测模型都是在假设的基础上才可以搭建和应用的,常用的假设包括:假设历史数据可以推测未来,假设业务环节没有发生显著变化,假设建模数据与后来的应用数据是相似的,等等。如果上述假设违反了业务场景的话,根据这些假设搭建的模型当然是无法有效应用的。

4参数太多、模型复杂度高

5

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值