机器学习
薛定谔的小佩奇
这个作者很懒,什么都没留下…
展开
-
拉格朗日乘子法、KKT条件、拉格朗日对偶性
拉格朗日乘子法(Lagrange Multiplier)拉格朗日乘子法是一种寻找有等式约束条件的函数的最优值(最大或者最小)的最优化方法.在求取函数最优值的过程中,约束条件通常会给求取最优值带来困难,而拉格朗日乘子法就是解决这类问题的一种强有力的工具.单约束问题考虑以下的二维单约束优化问题:maximizemaximize f(x,y)f(x,y)subjectsubject tot...原创 2018-09-24 23:38:57 · 550 阅读 · 0 评论 -
otsu阈值分割
一、OTSU法(大津阈值分割法)介绍 OTSU算法是由日本学者OTSU于1979年提出的一种对图像进行二值化的高效算法,是一种自适应的阈值确定的方法,又称大津阈值分割法,是最小二乘法意义下的最优分割。 二、单阈值OTSU法 设图像包含L个灰度级,灰度值为i的像素点个数为Ni,像素总点数为: N=N0+N1+⋯+NL−1N=N0+N1+⋯+NL−1下面给出python源代码。 #...原创 2018-11-06 21:03:18 · 22372 阅读 · 0 评论 -
提升算法
一、提升算法概论Boosting(提升)是一族可将弱学习器提升为强学习器的算法。提升算法基于这样一种思想:对于一个复杂的任务,将多个专家的判断总和得出的结果要比任何一个专家单独的判断好。这族算法的工作机制类似:先从初始训练集训练出一个基学习器,再根据基学习器表现对训练样本分布进行调整,是的先前基学习器做错的样本在后续收到更多关注(赋予做错的样本更大的权值),然后基于调整后的样本分布来训练下一个...原创 2018-11-06 20:54:23 · 1279 阅读 · 0 评论 -
集成学习
译者注:这篇文章是对 PythonWeekly 推荐的一篇讲集成模型的文章的翻译,原文为 Ensemble Learning to Improve Machine Learning Results,由 Vadim Smolyakov 于 2017 年 8 月 22 日发表在 Medium 上,Vadim Smolyakov 是一名 MIT 的研究生。水平有限,如有错误,欢迎评论区或者邮件或者私...原创 2018-11-06 20:53:12 · 218 阅读 · 0 评论 -
线性回归
线性函数、线性回归逻辑分类LC线性模型:把每个特征对分类结果的“作用”加起来——这就是线性模型。逻辑分类(Logistic Classification)是一种线性模型,可以表示为y=f(x∗w+b)y=f(x∗w+b),其中w是训练得到的权重参数(Weight);x是样本特征数据;b是偏置(Bias),f成为激活函数。就是给定一批样本数据集,和样本对象所属的分类,进行建立模型。使用模型对...原创 2018-10-16 15:55:41 · 1172 阅读 · 1 评论 -
时间序列
1、时间序列时间序列是时间间隔不变的情况下收集的不同时间点数据集合,这些集合被分析用来了解长期发展趋势及为了预测未来。时间序列与常见的回归问题的不同点在于:1、时间序列是跟时间有关的;而线性回归模型的假设:观察结果是独立的在这种情况下是不成立的。2、随着上升或者下降的趋势,更多的时间序列出现季节性趋势的形式;常用的时间序列模型有AR模型(Autoregressive model:自回归模...原创 2018-09-27 21:21:10 · 2753 阅读 · 0 评论 -
LASSO算法
1.lasso族算法说明 在建立模型之初,为了尽量减小因缺少重要自变量而出现的模型偏差,通常会选择尽可能多的自变量。然而,建模过程需要寻找对因变量最具有强解释力的自变量集合,也就是通过自变量选择(指标选择、字段选择)来提高模型的解释性和预测精度。指标选择在统计建模过程中是极其重要的问题。Lasso算法则是一种能够实现指标集合精简的估计方法。 Lasso(Least absolute shr...原创 2018-09-09 14:05:30 · 6047 阅读 · 0 评论 -
机器学习 特征工程
...原创 2018-09-11 10:06:21 · 215 阅读 · 0 评论 -
最小二乘法
最小二乘法则是一种统计学习优化技术,它的目标是最小化误差平方之和来作为目标,从而找到最优模型,这个模型可以拟合(fit)观察数据。 回归学习最常用的损失函数是平方损失函数,在此情况下,回归问题可以用著名的最小二乘法来解决。最小二乘法就是曲线拟合的一种解决方法。 最小二乘法的问题分为两类:线性最小二乘法非线性最小二乘法如果是线性的则有闭式解(closed-form solution),...原创 2018-09-24 23:54:14 · 586 阅读 · 0 评论 -
GBDT
在集成学习之Adaboost算法原理小结中,我们对Boosting家族的Adaboost算法做了总结,本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称,有GBT(Gradient Boosting Tree), GTB(Gradient Tree Boosting ), GBR...原创 2018-11-06 21:11:03 · 269 阅读 · 0 评论