![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 53
HW_WY
这个作者很懒,什么都没留下…
展开
-
统计学习方法 第二章 | 感知机
目录1 感知机模型2 感知机学习策略任一点到超平面的距离推导过程感知机的损失函数3 感知机学习算法3.1 学习算法的原始形式3.2 学习算法的对偶形式1 感知机模型 2 感知机学习策略 任一点到超平面的距离推导过程x·y = x1y1+x2y2+...感知机的损失函数* 注意损失函数是定义在集合M上的,即只考虑误分类的...原创 2018-11-20 22:11:32 · 152 阅读 · 0 评论 -
什么样的模型对缺失值更敏感?
https://blog.csdn.net/yH0VLDe8VG8ep9VGe/article/details/78265671主流的机器学习模型千千万,很难一概而论。但有一些经验法则(rule of thumb)供参考:1. 树模型对于缺失值的敏感度较低,大部分时候可以在数据有缺失时使用。2. 涉及到距离度量(distance measurement)时,如计算两个点之间的距离...转载 2019-03-21 15:49:27 · 8320 阅读 · 1 评论 -
最大似然估计 和 最小二乘法
本文内容主要参考知乎问题下的回答:https://www.zhihu.com/question/20447622最大似然估计与最小二乘法的解释:最大似然估计:现在已经拿到了很多个样本(你的数据集中所有因变量),这些样本值已经实现,最大似然估计就是去找到那个(组)参数估计值,使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了,其发生概率最大才符合逻辑。这时是求样本所有观测...原创 2019-03-21 15:45:10 · 5719 阅读 · 0 评论 -
ResNet, AlexNet, VGG, Inception: 理解各种各样的CNN架构
转自https://zhuanlan.zhihu.com/p/32116277卷积神经网络在视觉识别任务上的表现令人称奇。好的CNN网络是带有上百万参数和许多隐含层的“庞然怪物”。事实上,一个不好的经验规则是:网络越深,效果越好。AlexNet,VGG,Inception和ResNet是最近一些流行的CNN网络。为什么这些网络表现如此之好?它们是如何设计出来的?为什么它们设计成那样的结构?回答...原创 2018-12-12 21:04:23 · 440 阅读 · 0 评论 -
逻辑回归与决策树在分类上的区别
原文:https://blog.csdn.net/keepreder/article/details/47152273 有些分歧是表面的,例如决策树可以对付缺失值,而逻辑回归需要挖掘人员预先对缺失数据进行处理。但实际上决策树同样要对缺失值做出某种假设和处理。例如CART在遇到一个变量中有缺失情况时,是用次级变量进行替换切分。这种做法在逻辑回归中也可以办到,但需要单独的编程。而在决策树中,这一步...转载 2018-12-05 19:36:30 · 8552 阅读 · 0 评论 -
随机森林 | GBDT | XGBOOST | LightGBM 比较
目录各种模型+正则的名称随机森林 vs GBDTXGBOOST vs GBDTLightGBM vs GBDTLightGBM vs XGBoostRF、GBDT、XGBoostLightGBM 关于直方图算法的解释特性类别特征支持速度和内存使用的优化稀疏优化准确率的优化Leaf-wise (Best-first) 的决策树生长策略 ...原创 2018-11-28 20:32:12 · 6495 阅读 · 1 评论 -
GBDT 梯度上升树
转载自https://zhuanlan.zhihu.com/p/29765582(有部分修改)现在网上介绍gbdt算法的文章并不算少,但总体看下来,千篇一律的多,能直达精髓的少,有条理性的就更稀少了。我希望通过此篇文章,能抽丝剥茧般的向初学者介绍清楚这个算法的原理所在。如果仍不清楚可以在文后留言。1、如何在不改变原有模型的结构上提升模型的拟合能力假设现在你有样本集 ,然后你用一个模型...转载 2018-11-28 16:53:26 · 736 阅读 · 0 评论 -
如何处理类别不平衡问题
转自 https://zhuanlan.zhihu.com/p/32940093三种方法:对较多的那个类别进行欠采样(under-sampling),舍弃一部分数据,使其与较少类别的数据相当 对较少的类别进行过采样(over-sampling),重复使用一部分数据,使其与较多类别的数据相当 阈值调整(threshold moving),将原本默认为0.5的阈值调整到 较少类别/(较少类...转载 2018-11-29 16:38:57 · 3357 阅读 · 0 评论 -
统计学习方法 第六章 | 逻辑斯蒂回归
目录1 逻辑斯蒂回归模型2 模型参数估计3 多分类逻辑斯蒂回归4 逻辑回归和线性回归的区别1 逻辑斯蒂回归模型 2 模型参数估计似然函数 L(w|x) = P(x|w)可以采用对L(w)进行梯度上升的方法进行学习* 梯度推导过程 3 多分类逻辑斯蒂回归 4 逻辑回归和线性回归的区别首先,逻辑回归处理的是分类问题,而线性...原创 2018-11-22 19:11:26 · 438 阅读 · 1 评论 -
统计学习方法 第四章 | 朴素贝叶斯法
目录1 朴素贝叶斯法的学习与分类1.1 基本方法1.2 后验概率最大化的含义2 朴素贝叶斯法的参数估计2.1 极大似然估计2.2 贝叶斯估计法1 朴素贝叶斯法的学习与分类1.1 基本方法假设训练数据集 由 独立同分布产生(1)学习先验概率分布 (2)学习条件概率分布 (3)于是学习到联合概率分布 朴素贝叶斯法对条件概率分布作了...原创 2018-11-21 18:12:09 · 169 阅读 · 0 评论 -
统计学习方法 第三章 | k近邻法
目录1 k近邻算法2 k近邻模型2.1 模型2.2 距离度量2.3 k值的选择2.4 分类决策规则1 k近邻算法3个基本要素:k值的选择 + 距离度量 + 分类决策规则 k近邻算法:给定一个训练数据集,对于新的输入实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类2 k近邻模型2.1 模型k近邻模型...原创 2018-11-21 16:51:32 · 222 阅读 · 0 评论 -
为什么LR要用对数似然,而不是平方损失?
(1)凸函数的角度https://www.zhihu.com/question/47744216用平方损失之类的得到的函数不是凸函数(2)导数的角度当y_true = 1时,如果f(x)=1, 则dL/dw=0,符合预期 如果f(x)=0, dL/dw=0,不符合预期,得到错误解...原创 2019-03-21 15:51:43 · 1936 阅读 · 0 评论