深度学习知识点（1）：有关导数、偏导数、方向导数、梯度的基本概念问题

目录

1、导数

2、偏导数

3、方向导数

4、梯度

---

1、导数

导数反映的是函数y=f(x)在某一点处沿x轴正方向的变化率。

比如，在x=1处的导数是2。

导数是通过极限来定义的，某一点的导数=tanψ，只是前提是△x趋近于0，此时tanψ=tanα=该点导数，公式如下：

 

注：下图是高数中的一张经典图，用于区分导数微分的概念，基本看着这张图就能全部想起来。

 

解释一下，是函数f(x)在x轴上某一点处沿着x轴正方向的变化率/变化趋势。直观地看，也就是在x轴上某一点处，如果f’(x)>0，说明f(x)的函数值在x点沿x轴正方向是趋于增加的；如果f’(x)<0，说明f(x)的函数值在x点沿x轴正方向是趋于减少的。

　这里补充上图中的Δy、dy等符号的意义及关系如下：
　Δx：x的变化量；
　dx：x的变化量Δx趋于0时，则记作微元dx；
　Δy：Δy=f(x0+Δx)-f(x0)，是函数的增量；
　dy：dy=f’(x0)dx，是切线的增量；
　当Δx→0时，dy与Δy都是无穷小，dy是Δy的主部，即Δy=dy+o(Δx).
 

2、偏导数

在多元函数中，偏导数指的是函数y(x1,x2,…,xn)沿某一坐标轴(x1,x2,…,xn)正方向的变化率。

 

比如，在(1,2)处的在x方向上的偏导数：

截取y=2的曲线，可以发现在x方向的导数=2

3、方向导数

导数和偏导数都是沿坐标轴正方向的变化率。那么当我们讨论函数沿任意方向的变化率时，也就引出了方向导数的定义，即：某一点在某一趋近方向上的导数值。

比如，可以计算函数在点A(2,2,8)处沿黑色箭头方向的导数。这里有两种计算方式：

方式1：

方式2：

与x=y联立方程组，得到过点A的剖面

易知，剖面方程为z=2x2,以z为纵轴，x坐标轴方向换为L的方向，得到

点A(2,2,8)在x’方向上的坐标为，因此在A点处沿L方向的导数为

4、梯度

梯度是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

这里注意三点： 
1）梯度是一个向量，即有方向有大小； 
2）梯度的方向是最大方向导数的方向； 
3）梯度的值是最大方向导数的值。

比如z=x2+y2+xy在点A(2,2,12)处的梯度为

如图，在A点，红色方向是最大方向导数的方向，很明显红线方向的导数高于沿着黑线方向的导数。

那么A点的梯度方向是红色方向；A点的梯度值为

参考资料：

https://blog.csdn.net/walilk/article/details/50978864

https://www.cnblogs.com/itmorn/p/11115791.html