如何计算偏导数来实现Logistic回归梯度下降算法

注，本文是在学习吴恩达老师（Andrew Ng）网易公开课课程的的学习总结和理解，希望与君共勉！

   它的核心观点是其中几个重要的公式用来实现Logistic回归梯度下降算法，但是在本文里面将使用导数流程图来计算梯度，必须承认用导数流程图来计算Logistic回归的梯度下降有点大材小用了，但是我认为以这种方式来讲解可以更好的理解梯度下降从而在讨论神经网络时可以更加深刻而全面的理解神经网络。

   首先回顾一下逻辑回归回顾所用到的公式：

1. y帽等于a，是逻辑回归的输出，它是z的sigmoid函数。

2. Lost函数定义为如上，其中y是逻辑的真与假值。

假设样本只有两个特征，x1和x2,为了输出z，我们需要输入w1和w2还有b，如下图中的矩形所示。然后我们计算y帽，最后计算cost函数L。在逻辑回归中，我们需要做的是变换参数w和b的值，来最小化损失函数。

我们已经描述了前向传播步骤在单个训练样本上计算损失函数，现在让我们来讨论怎样向后计算偏导数

1. 因为lost函数是a的函数，我们首先可以很容易计算出da

2. 而a是z的函数，所以由微积分计算出da/dz，而dl/da为已知，所以dz便可以推算出。

3. z又是w的函数，可以有求导函数计算出dw1 = x1dz， dw2 = x2dz， db = dz。

4. 计算出导数后，然后不断用下面的公式更新w1和w2以及b的值，直到L函数最小。