zuyuhuo6777的博客

ML Lecture0-introduction of Machine Learning一、机器学习是什么？Looking for a Function From Data三个步骤：定义-train-挑出最好的二、学习的内容(Learning Map)supervised Learning 需要Training data input/labelsemi-s...

参考：https://note.youdao.com/ynoteshare1/index.html?id=47ee5998b8abe6e51f3a587ba547bbdf&type=note从基础概率推导贝叶斯公式，朴素贝叶斯公式(1)还在研究 学习先验概率与 学习后验概率 参考：https://zhuanlan.zhihu.com/p/26464206...

理解偏差和方差 1.1，偏差：偏差度量了学习算法的期望预测与真实结果的偏离程度，刻画了学习算法本身的拟合能力。也即，偏差（Bias）描述了预测值（估计值）的期望与真实值之间的差距，偏差越大，越偏离真实数据。偏差可看做是“有监督的”，有人的知识参与的一个指标。即：高偏差是欠拟合1.2，方差： 方差度量了同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动所造成的...

大作业：按照Homework1_introduction.txt的要求完成这次作业访问我的百度云可以下载数据链接：https://pan.baidu.com/s/1IykfA4Z0-JLLXx9MvDcesg提取码：eselimport numpy as npimport pandas as pdfrom sklearn.preprocessing import S...

参考：https://datawhalechina.github.io/Leeml-Book/#/AdditionalReferences/Entropy1、信息熵熵 (entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shannon entropy)，信息熵 (information entropy)。首先，我们先...

推导LR损失函数 Logistic 函数是一个概率分布函数，即给定某个特定输入，该函数将计算输出为“Success”的概率，即对问题的回答为“Yes”的概率。损失函数： 学习LR梯度下降 Logistic回归模型、最大熵模型可归结为以似然函数为目标函数的最优化问题，通常通过迭代算法求解，它是光滑的凸函数，因此多种最优化的方法都能适用。 常用方法： 梯度下...

利用 Python 结合 Matplotlib 绘制树图形Matplotlib 注释 构造注解树import matplotlib.pyplot as plt绘制属性图，定义文本框和箭头格式以及树结点格式的常量decisionNode = dict(boxstyle="sawtooth", fc="0.8")leafNode = dict(boxstyle="round...

阅读《李航统计学习方法》中p55-p58页 决策树可用于分类与回归问题，本章主要介绍分类树。他采用if-then的规则，用特征对实例进行递归分类，使得呈现树形结构。也可以理解为定义在特征空间与类空间上的条件概率分布，可读性好且分类速度快。通常包含：特征选择、树生成与修剪三步。 决策树模型结构 树形结构组成：结点（内部与叶子）和有向边。内部节点对应特征属性，根据定义的规则，从根...

学习Gini指数学习回归、分类树剪枝1、学习Gini指数基尼指数分类问题中，假设有 个类，样本点属于第 类的概率为 ，则概率分布的基尼指数为：对于给定样本集合 ，其基尼指数为：如果样本集合 根据特征 是否取一可能值 被分割成 和 两部分，则在特征 的条件下，集合 的基尼指数为：使用基尼指数的优点：计算快，因为熵会涉及到大量的对数运算2、学习...