统计学习基础
不明不白小菜鸡
这个作者很懒,什么都没留下…
展开
-
支持向量机SVM
支持向量机SVM1、简介给定一个数据集,可以看成是多维空间中的一些点,那么SVM的目标就是用超平面去区分他们,从而达到分类的目的。举例对于一个具有二维特征的数据集,那么SVM的超平面就是二维空间中的一条线。Margin 边界:超平面到达最近的数据点的距离。边距与泛化之间的关系:统计学习理论的理论结果表明,具有最大余量的分离超平面的泛化效果最佳(即margin越大,泛化误差最小)。...原创 2020-02-23 11:07:58 · 285 阅读 · 0 评论 -
监督学习
本文总体结构如下:一、线性模型(for回归)二、判别分类模型三、生成分类模型一、线性模型(for回归)1、线性回归举例:房价问题与坐标和面积有关那么预测的线性回归模型如下:X是一个二维的输入(面积,位置),y表示输出(房价)。那么损失函数如下,其中i表示第i个样本,N表示样本总数利用梯度下降,对w进行求导对于单个训练样本的参数更新公式如下:2、概率假说假设误差服...原创 2020-02-21 21:57:35 · 401 阅读 · 0 评论 -
统计学习基础
过拟合和欠拟合过拟合是指训练误差和测试误差之间的差距太大。就是模型复杂度高于实际问题,模型在训练集上表现很好,但在测试集上却表现很差。措施:1、增加数据集2、加入正则化3、进行特征选择4、提前停止训练,深度学习中常用dropout策略。欠拟合是指模型不能在训练集上获得足够低的误差。换句换说,就是模型复杂度低,模型在训练集上就表现很差,没法学习到数据背后的规律。措施:1、增加模型复...原创 2020-02-20 13:21:25 · 483 阅读 · 0 评论