![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 89
zhwli
学习笔记
展开
-
Multi-task Learning(未完成)
Notes of An Overview of Multi-Task Learning in Deep Neural Networks “As soon as you find yourself optimizing more than one loss function, you are doing multi-task learning.”翻译 2017-12-02 10:19:34 · 346 阅读 · 0 评论 -
【提升(Boosting)方法】
提升方法需要回答两个问题:一是在每一轮如何改变训练数据的权值和概率分布二是如何将弱分类器组合成一个强分类器。先做简单的回答:提高那些被前一轮弱分类器错误分类样本的权值(因为它们的数量少。需要在下一轮训练的时候给予他们更大的关注)。 -加权多数表决,误差率小的分类器权值比较大。 Adaboost输入: 训练集T=(x1,y1),(x2,y2),(x3,y3),.....原创 2018-04-01 00:26:34 · 219 阅读 · 0 评论 -
【贝叶斯】
先验(prior)概率和后验(posterior)概率 先验概率就是根据以往的经验进行推理得到的概率。比如我们做100次丢硬币实验,发现有60次正面的,40次反面的,则我们推断:再丢一次硬币,得到正面的概率为60/100 = 0.6。此时,我们便使用了以往(100次实验)的经验。 后验概率:事情已经发生,我们去推断导致事情发生是具体某一个因素引起的可能性。想象一下,你在...原创 2018-04-01 01:02:38 · 175 阅读 · 0 评论 -
理解正则化(regularization)(贝叶斯角度还不清楚)
结构风险最小化:结构风险(structure risk)对应于经验风险(empirical risk)。在选择最优模型过程中,我们希望模型不仅能够很好地预测训练数据,更希望它能够很好地预测未参与训练的测试数据。前者对应于最小化经验风险,后者对应于最小化结构风险。结构风险与模型复杂度正相关,所以加正则项的本质是减小模型的复杂度。防止过拟合:添加正则化项相当于添加惩罚项,趋向于让模型复杂度降低,可...原创 2018-05-09 21:49:41 · 1232 阅读 · 0 评论