浅谈逻辑回归

看了不少有关逻辑回归的文章，感觉讲的对新手不是很友好。

所以冒昧写一篇，权当抛砖引玉。本人精力能力有限，个人理解可能与正确情况存在偏差，欢迎大家指正。

在写具体的逻辑回归之前，先想说下分类的基本思路与步骤

1.分类的基本思路与步骤

1. 我们需要一个基本模型。给这个基本模型输入一系列样本的数据，依据这个模型的输出来判断这个样本属于哪一类。
   
   假定右边的那个y=x就是我们的基本模型，我们在分类的时候，可以规定当输出值，也就是y的值，大于0时(y轴右半边)，可以将这个输入对应的样本分为正类；当y小于0时，将它分为负类

2. 对待不同的问题，这个模型需要不同的优化调整，以达到分类相应问题的能力。
   比如一个样本有两个属性值，分别为1，-1。权重分别为2，1。样本为负类。我们计算的时候，发现21-11=1，在y轴右边，应该分类为正类。是错误分类，所以我们可以调整权重为1，2或者改变模型为y=x-2。

3. 为了优化这个模型，我们需要寻找一个优化函数，就是代价函数，需要依据这个函数，来优化我们的模型。
   比如我们需要让属于一个类的点之间的距离小等等

在对模型进行优化调整的时候，一般是从两个方面入手。

• 调整函数参数，达到调整函数模型的目的
• 调整样本属性数据的权重，达到目的

绝大多数情况下，我们是选择后者来进行调整模型

2.逻辑回归

逻辑回归中，它也确定了一个基本函数模型，叫做逻辑回归模型。表达式如下

它的函数图像是这样的：

对于逻辑回归的介绍，可以从两个角度来思考。
从对数几率的角度理解，下回再说

1、从概率的角度来考虑

1）当我们进行分类问题的时候，如果有一只猫，我们需要去判断它的性别。我们用一个函数去检测它，发现计算出来它属于公猫的概率大于0.5。我们是不是有一定理由去相信它是一直公猫。

现在，我们回头看下逻辑回归函数，我们发现这个函数的取值在0到1之间，符合概率中的0到1取值。

当有个样本需要我们进行分类的时候，只要将这个样本的属性，带入到这个函数中，计算出来的结果，大于0.5，它就属于A类，小于0.5，它就属于B类。

从这个角度理解，这个函数就是一个简单的决策函数，一个输出概率的函数，我们依据输出的概率进行分类。

2）那接下来，我们需要确定上述逻辑回归函数的输入。

我们将输入表示成样本属性与权重的乘积和。

上述逻辑回归函数的输入表示为z，若我们将样本的属性值表示为x1,x2。则z=w1x1+w2x2+b。

大致来看，模型基本算搭建好了。如果我们有样本，将样本的属性值，通过权重作用后，输入到逻辑回归函数中，然后依据逻辑回归函数的输出值，进行分类，最后与样本的实际类别进行比较，再通过调整权重或者模型，直到得到比较满意的结果

这样看，逻辑回归函数，只是计算属性的输出值，根据输出值来判断类型而已。

3）但，仿佛没有这么简单。一群蛋疼的人，又开始捣鼓起来。

我们不根据输出值与0.5的关系来进行判断，那样大材小用了。输出值明明可以当作概率的。

比如

样本	属性值1	属性值2	实际类别
A	x1=5	x2=9	正/y=1
B	x1=3	x2=2	负/y=0

假如我们规定，属于正类的概率表示为p，p为上面的g(z)，z=w1x1+w2x2+b。
则负类的概率为1-p，1-p为上面的1-g(z)，z=w1y1+w2y2+b。

注意，这里有个逻辑。我们写A样本概率的时候，如果知道它是正类，它是不是利用g(z)求解出的结果是最大的。若A是负类，那我们用g(z)求解出来的数值也许为0.3，也就是说，如果我们用1-g(z)这个来求解A的负类概率的话，是为0.7

也就是说，如果所有样本都能正确分类，正类的用p计算，负类的用1-p计算，这样各自都可以得到最大的结果。那我们可以构造一个函数，它表示每个样本被分类后的概率乘积，我们的目的，是为了让这个函数最大，也就达到样本被正确分类。
所以我们需要一个表达式来表达，每一个样本被分类的概率

我们来看下这个表达式的巧妙之处。
当一个样本A被分类成正类别的时候，y=1，P=p；若A真为正类别，那这个P是最大的。
当一个样本B被分类成负类别的时候，y=0，P=1-p；若B真为负类别，那这个P也是最大的。

若有n个样本，如果都被正确分类，各自最大，则他们的概率乘积也是最大的。也就是求下面函数的最大值

接下来，就是对这个进行运算，取对数，将乘积变成相加。为了计算这个的最大值，可以加一个负号，变为计算它的最小值。

直接搬运其他人内容，下图中，h(x)为上式的p，L为上式的F。

总结下，将逻辑回归的输出值当作概率，若样本被正确分类，利用正类利用p，负类利用1-p所计算的概率都是最大的，所以若所有样本都被正确分类，则每个样本概率的乘积也是最大的。可以利用数学方法，加负号，将求解最大值运算转换为求解最小值运算。