zihuang365的专栏

1. 线性回归 (Linear Regression)线性回归是对自变量和因变量之间关系进行建模的回归分析，回归函数满足如下形式：　　我们使用表示数据组数，使用表示数据的维数；使用和表示第组数据的自变量和因变量，使用表示第组数据自变量的第个分量。推导过程基于如下假设：即每一组数据的误差项相互独立，且均服从均值为0，方差为的正态分布。进而，我们可以得到似然函数

梯度下降法的代数方式描述　　　　1. 先决条件： 确认优化模型的假设函数和损失函数。　　　　比如对于线性回归，假设函数表示为 hθ(x1,x2,...xn)=θ0+θ1x1+...+θnxn, 其中θi (i = 0,1,2... n)为模型参数，xi (i = 0,1,2... n)为每个样本的n个特征值。这个表示可以简化，我们增加一个特征x0=1 ，这样hθ(x0,

1.线性回归 (Linear Regression)线性回归是对自变量和因变量之间关系进行建模的回归分析，回归函数满足如下形式：　　我们使用表示数据组数，使用表示数据的维数；使用和表示第组数据的自变量和因变量，使用表示第组数据自变量的第个分量。推导过程基于如下假设：即每一组数据的误差项相互独立，且均服从均值为0，方差为的正态分布。进而，我们可以得到似然函数：

本身这个函数也是基于libsvm实现的，所以在参数设置上有很多相似的地方。（PS: libsvm中的二次规划问题的解决算法是SMO）。sklearn.svm.SVC(C=1.0, kernel='rbf', degree=3, gamma='auto', coef0=0.0, shrinking=True, probability=False,tol=0.001, cache_size=2

本文转载(http://www.jianshu.com/p/516f009c0875) 在机器学习和数据挖掘的应用中，scikit-learn是一个功能强大的python包。在数据量不是过大的情况下，可以解决大部分问题。学习使用scikit-learn的过程中，我自己也在补充着机器学习和数据挖掘的知识。这里根据自己学习sklearn的经验，我做一个总结的笔记。另外，我也想把这篇笔记一直更新下去。

RBF径向基函数神经网络的优点：逼近能力，分类能力和学习速度等方面都优于BP神经网络，结构简单、训练简洁、学习收敛速度快、能够逼近任意非线性函数，克服局部极小值问题。 RBF是具有单隐层的三层前向网络。 第一层为输入层，由信号源节点组成。 第二层为隐藏层，隐藏层节点数视所描述问题的需要而定，隐藏层中神经元的变换函数即径向基函数是对中心点径向对称且衰减的非负线性函数，该函数是局部响应函数，具体的

实验数据集选取1.分类数据选取 load_iris 鸢尾花数据集：from sklearn.datasets import load_iris data = load_iris() data.data[[10, 25, 50]] data.target[[10, 25, 50]] list(data.target_names) list(data.feature_nam

1.线性可分支持向量机首先来说，支持向量机其实就是样本与超平面之间的间隔最大，其实是一个求最优问题。在说间隔最大的问题前，先说函数间隔和几何间隔。1.1 函数间隔与几何间隔对于给定的训练数据集T和超平面（w,b），定义超平面（w，b）关于样本点（xi,yi）的函数间隔为定义超平面（w,b）关于训练数据集T的函数间隔为超平面（w,b）关于T中所有样本点（xi,yi）的函数间隔最小值，为：函数间隔表示...