《机器学习知识体系》之基本概念篇

一、机器学习相关

1、基本概念

1.1 简述解决一个机器学习问题时,你的流程是怎样的?
  • 抽象成数学问题
    明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情,胡乱尝试时间成本是非常高的。
    这里的抽象成数学问题,指的我们明确我们可以获得什么样的数据,目标是一个分类还是回归或者是聚类的问题,如果都不是的话,如果划归为其中的某类问题。

  • 获取数据
    数据决定了机器学习结果的上限,而算法只是尽可能逼近这个上限。
    数据要有代表性,否则必然会过拟合。
    而且对于分类问题,数据偏斜不能过于严重,不同类别的数据数量不要有数个数量级的差距。
    而且还要对数据的量级有一个评估,多少个样本,多少个特征,可以估算出其对内存的消耗程度,判断训练过程中内存是否能够放得下。如果放不下就得考虑改进算法或者使用一些降维的技巧了。如果数据量实在太大,那就要考虑分布式了。

  • 特征预处理与特征选择
    良好的数据要能够提取出良好的特征才能真正发挥效力。
    特征预处理、数据清洗是很关键的步骤,往往能够使得算法的效果和性能得到显著提高。归一化、离散化、因子化、缺失值处理、去除共线性等,数据挖掘过程中很多时间就花在它们上面。这些工作简单可复制,收益稳定可预期,是机器学习的基础必备步骤。
    筛选出显著特征、摒弃非显著特征,需要机器学习工程师反复理解业务。这对很多结果有决定性的影响。特征选择好了,非常简单的算法也能得出良好、稳定的结果。这需要运用特征有效性分析的相关技术,如相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。

  • 训练模型与调优
    直到这一步才用到我们上面说的算法进行训练。现在很多算法都能够封装成黑盒供人使用。但是真正考验水平的是调整这些算法的(超)参数,使得结果变得更加优良。这需要我们对算法的原理有深入的理解。理解越深入,就越能发现问题的症结,提出良好的调优方案。

  • 模型诊断
    如何确定模型调优的方向与思路呢?这就需要对模型进行诊断的技术。
    过拟合、欠拟合 判断是模型诊断中至关重要的一步。常见的方法如交叉验证,绘制学习曲线等。过拟合的基本调优思路是增加数据量,降低模型复杂度。欠拟合的基本调优思路是提高特征数量和质量,增加模型复杂度。
    误差分析 也是机器学习至关重要的步骤。通过观察误差样本,全面分析误差产生误差的原因:是参数的问题还是算法选择的问题,是特征的问题还是数据本身的问题……
    诊断后的模型需要进行调优,调优后的新模型需要重新进行诊断,这是一个反复迭代不断逼近的过程,需要不断地尝试, 进而达到最优状态。

  • 模型融合
    一般来说,模型融合后都能使得效果有一定提升。而且效果很好。
    工程上,主要提升算法准确度的方法是分别在模型的前端(特征清洗和预处理,不同的采样模式)与后端(模型融合)上下功夫。因为他们比较标准可复制,效果比较稳定。而直接调参的工作不会很多,毕竟大量数据训练起来太慢了,而且效果难以保证。

  • 上线运行
    这一部分内容主要跟工程实现的相关性比较大。工程上是结果导向,模型在线上运行的效果直接决定模型的成败。 不单纯包括其准确程度、误差等情况,还包括其运行的速度(时间复杂度)、资源消耗程度(空间复杂度)、稳定性是否可接受。
    这些工作流程主要是工程实践上总结出的一些经验。并不是每个项目都包含完整的一个流程。这里的部分只是一个指导性的说明,只有大家自己多实践,多积累项目经验,才会有自己更深刻的认识。

1.2 损失函数是什么,如何定义合理的损失函数?

损失函数(loss function)是用来估量模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用 L ( Y , f ( x ) ) L(Y, f(x)) L(Y,f(x)) 来表示,损失函数越小,模型的鲁棒性就越好。损失函数是经验风险函数的核心部分,也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项,通常可以表示成如下式子: θ ∗ = arg ⁡ min ⁡ θ 1 N ∑ i = 1 N L ( y i , f ( x i , θ ) ) + λ Φ ( θ ) \theta^{*}=\arg\min_{\theta}\frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i,\theta))+\lambda \Phi(\theta) θ=argθminN1i=1NL(yi,f(xi,θ))+λΦ(θ)

参考:https://www.cnblogs.com/guoyaohua/p/9217206.html

1.3 回归模型和分类模型常用损失函数有哪些?各有什么优缺点

分类:

  • Log Loss
    ∑ i = 1 N y i log ⁡ ( f ( x i ) ) + ( 1 − y i ) log ⁡ ( 1 − f ( x i ) ) \sum_{i=1}^{N}y_i\log(f(x_i))+(1-y_i)\log(1-f(x_i)) i=1Nyilog(f(xi))+(1yi)log(1f(xi))
    优点:当误差较大时,梯度也大,下降的较快;也避免了某些情况下激活函数进入饱和区,梯度消失的问题
    缺点:大量简单样本的迭代过程中比较缓慢且可能无法优化至最优
  • Focal Loss
    L f l = { − ( 1 − f ( x ) ) γ log ⁡ ( f ( x ) ) , y = 1 − ( f ( x ) ) γ log ⁡ ( 1 − f ( x ) ) y = 0 , γ > 0 L_{fl}= \begin{cases} -(1-f(x))^{\gamma}\log(f(x)), & y=1 \\ -(f(x))^{\gamma}\log(1-f(x)) & y=0 \\ \end{cases}, \quad \gamma\gt0 Lfl={(1f(x))γlog(f(x)),(f(x))γlog(1f(x))y=1y=0,γ>0
    优点:减少易分类样本的权重,使得模型在训练时更专注于难分类的样本
    缺点
  • KL Divergence
    D K L ( y ∣ ∣ f ( x ) ) = ∑ i = 1 N y i ( log ⁡ ( y i ) − log ⁡ ( f ( x i ) ) ) D_{KL}(y||f(x))=\sum_{i=1}^{N}y_i(\log(y_i)-\log(f(x_i))) DKL(yf(x))=i=1Nyi(log(yi)log(f(xi)))
    优点:可以成功捕获数据集中的模糊。边界框回归器从模糊的边界框中获得较小的损失;所学概率分布反映了边界框预测的不确定性水平
    缺点:不满足对称性,不是距离度量
  • Expontional Loss
    L ( y ∣ f ( x ) ) = exp ⁡ ( − y f ( x ) ) L(y|f(x))=\exp(-yf(x)) L(yf(x))=exp(yf(x))
    特点:对离群点、噪声非常敏感,经常用在AdaBoost算法中
  • Hinge Loss
    L ( y , f ( x ) ) = max ⁡ ( 0 , 1 − y f ( x ) ) L(y,f(x))=\max(0,1-yf(x)) L(y,f(x))=max(0,1yf(x))
    优点:并不鼓励分类器过度自信,让某个正确分类的样本距离分割线超过1并不会有任何奖励,从而使分类器可以更专注于整体的误差;健壮性相对较高,对异常点、噪声不敏感
    缺点:没太好的概率解释

回归:

  • Mean Square Error
    M S E = ∑ i = 1 N ( y i − f ( x i ) ) 2 MSE=\sum_{i=1}^{N}(y_i-f(x_i))^{2} MSE=i=1N(yif(xi))2
    优点:计算方便,逻辑清晰,衡量误差较准确
    缺点:梯度随着误差增大或减小,收敛效果好

  • Mean Absolute Error
    M A E = ∑ i = 1 N ∣ y i − f ( x i ) ∣ MAE=\sum_{i=1}^{N}|y_i-f(x_i)| MAE=i=1Nyif(xi)
    优点:对异常值有较好的鲁棒性
    缺点:梯度不变是个严重问题,即使对于很小的损失,梯度也很大,不利于模型收敛,常使用变化的学习率解决

  • Huber Loss
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hLfYptas-1653979732963)(https://km.woa.com/gkm/api/img/cos-file-url?url=https%3A%2F%2Fkm-pro-1258638997.cos.ap-guangzhou.myqcloud.com%2Ffiles%2Fphotos%2Fpictures%2F202201%2F1641269303-8418-61d3c837cd8be-29217.png&is_redirect=1)]
    优点:对异常值更加鲁棒;在最优点附近由于调整为MSE,梯度更新会随着误差减小而减小,有利于收敛
    缺点:引入额外的超参,需要调试;临界点时, δ \delta δ 不可导

  • Log Cosh Loss
    L ( y , f ( x ) ) = ∑ i = 1 N log ⁡ ( cosh ⁡ ( y i − f ( x i ) ) ) L(y,f(x))=\sum_{i=1}^{N}\log(\cosh(y_i-f(x_i))) L(y,f(x))=i=1Nlog(cosh(yif(xi)))
    优点:具有huber损失具备的所有优点;二阶处处可微
    缺点:误差很大情况下,一阶梯度和Hessian会变成定值,导致XGBoost出现缺少分裂点的情况

  • Quantile Loss
    L γ ( y − f ( x ) ) = ∑ i : y i < f ( x i ) ( 1 − γ ) ∣ y i − f ( x i ) ∣ + ∑ i : y i ≥ f ( x i ) γ ∣ y i − f ( x i ) ∣ L_{\gamma}(y-f(x))=\sum_{i:y_i<f(x_i)}(1-\gamma)|y_i-f(x_i)|+\sum_{i:y_i\ge f(x_i)}\gamma|y_i-f(x_i)| Lγ(yf(x))=i:yi<f(xi)(1γ)yif(xi)+i:yif(xi)γyif(xi)

参考:https://blog.csdn.net/sjokes/article/details/84504436

1.4 什么是结构误差和经验误差?训练模型的时候如何判断已经达到最优?
  • 结构误差:模型加入正则项后,在训练集上的误差
  • 经验误差:模型在训练集上的误差称为“经验误差”

结构风险最小化的模型是最优的模型

1.5 模型的“泛化”能力是指?如何提升模型泛化能力?
  • Q1:泛化能力是指模型在未知数据集上的预测能力,是模型本质上重要的性质。
  • Q2:增加正则项;增加训练数据;减少模型复杂度;Droupout;batch normalize
1.6 如何选择合适的模型评估指标?AUC、精准度、召回率、F1值都是什么?如何计算?有什么优缺点?
  • 选择一个能跟业务指标波动一致的评估指标,这样通过观察评估指标就能判断模型效果,可以大大提高模型迭代效率

  • 参考我之前写的一篇博客,https://blog.csdn.net/zuolixiangfisher/article/details/81328297?spm=1001.2014.3001.5502

1.7 什么是混淆矩阵?
  • 以二分类为例,将真实正负样本和模型预测正负样本构成一个 2 * 2的矩阵,这个矩阵就是混淆矩阵,如下图所示
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KNmw3dtp-1653979732965)(https://km.woa.com/gkm/api/img/cos-file-url?url=https%3A%2F%2Fkm-pro-1258638997.cos.ap-guangzhou.myqcloud.com%2Ffiles%2Fphotos%2Fpictures%2F202201%2F1641290444-453-61d41acc6e9b6-701401.png&is_redirect=1)]
    准确率,精确率,召回率,F1值都是在混淆矩阵基础上计算。
1.8 ROC曲线如何绘制?相比P-R曲线有什么特点?
  • 还是参考这篇博客,https://blog.csdn.net/zuolixiangfisher/article/details/81328297?spm=1001.2014.3001.5502
1.9 如何评判模型是过拟合还是欠拟合?遇到过拟合或欠拟合时,你是如何解决?
  • 过拟合:即高方差(high variance),是指模型训练出包含噪点在内的所有特征,导致模型在训练集的精度很高,但是应用到新数据集时,精度很低
    解决方法:增加正则;减少模型复杂度;减少特征
  • 欠拟合:即高偏差(high bias),是指模型未训练出数据集的特征,导致模型在训练集、测试集上的精度都很低
    解决方法:增加模型复杂度;增加新特征;减少正则项
1.10 你是如何针对应用场景选择合适的模型?
  • 首先确定要解决的问题是属于哪一类,有监督还是无监督等
  • 其次比如确定是有监督的,那是回归还是分类
  • 然后看实际需求的紧急程度,是可以慢慢选型来调优,还是需要快速上线
  • 最后根据实际的资源,能用多少数据,用多少计算资源来完成,单机算还是需要并行算,综合选择一个适合的模型。
1.11 如何选择模型中的超参数?有什么方法,并说说其优劣点
  • 网格搜索:网格搜索策略在单个参数的情况下可以很好地工作,但是当必须同时优化多个参数时,它的效率将非常低下。
  • 随机搜索:在多个超参数的情况下,通常首选此策略,并且当某些超参数对最终指标的影响大于其他参数时,此策略特别有效。
  • 梯度:该策略找不到全局最大值,但陷入局部最大值。此方法的一个很好的经验法则是以不同的起始值多次运行它,并检查算法是否收敛到相同的最大值。
  • 贝叶斯优化:贝叶斯优化策略选择基于以前的迭代,类似于梯度策略的功能输出的下一个超参数值。与梯度不同,贝叶斯优化会全局查看过去的迭代,而不仅仅是最后一次
1.12 误差分析是什么?你是如何进行误差分析?
  • 训练误差:训练集上的误差
  • 泛化误差:测试集上的误差
    参考:https://blog.csdn.net/GentleCP/article/details/104951049
1.13 你是如何理解模型的偏差和方差?什么样的情况是高偏差,什么情况是高方差?
  • 用下面这幅图来解释比较好
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wJmbYmGm-1653979732965)(https://km.woa.com/gkm/api/img/cos-file-url?url=https%3A%2F%2Fkm-pro-1258638997.cos.ap-guangzhou.myqcloud.com%2Ffiles%2Fphotos%2Fpictures%2F202201%2F1641785360-6469-61dba8109df62-270119.png&is_redirect=1)]

  • 偏差:直接关系到预测输出与真实输出的差距,偏差越大,说明训练的模型越不准确,表达了模型本身的拟合能力

  • 方差:影响了模型在不同数据集上训练得到的模型与真实输出之间的误差,换句话说即模型的适应性,在这个数据上模型效果很好,但是在另一个数据集上却很差

  • 高偏差:表明在训练集上误差大,模型欠拟合

  • 高方差:表明在预测数据集上误差大,模型泛化能力弱

1.14 出现高偏差或者高方差的时候你有什么优化策略?
  • 参考问题 1.9
1.15 奥卡姆剃刀定律是什么?对机器学习模型优化有何启发?举例说明
  • 如无必要,勿增实体
  • 简单模型和复杂模型如果效果类似,那就用简单模型,简单成就高效
  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值