机器学习第六讲-逻辑回归

机器学习第六讲——逻辑回归

    本文将着重讲解机器学习领域，在二分类问题中，较为常用的分类方法——逻辑回归(Logistic Regression, LR)。我们将从如下四个方面进行讲解：

一、逻辑回归的定义

二、逻辑回归的用途

三、逻辑回归理论分析

四、算法实现

一、逻辑回归的定义

     同最小二乘算法一样，逻辑回归（Logistic Regression, LR）算法属于广义线性模型（generalizedlinear model），是机器学习领域较为常用的算法。LR算法基于Sigmoid激活函数，将输入变量映射到二值空间，适用于机器学习中的二分类问题。

二、逻辑回归算法的用途

    如上面所述，LR算法运用在机器学习领域的二分类问题。例如垃圾邮件拦截，疾病诊断等等。

三、LR理论分析

    我们采用一个例子，进行LR回归的理论介绍。考虑如下的样本分布：