深度学习基础知识（八）：神经网络基础之导数

这个专栏主要是想和大家分享一下深度学习的基础知识，主要是以吴恩达老师深度学习课程内容作为基础，并补充了很多其他内容希望让整体内容更加容易理解和系统化。如果想要了解具体专栏里面有什么内容的话，可以看一看我们专栏的目录，在目录里面还说明了小伙伴的分工，这些内容都是所有小伙伴们一起努力完成的，有希望和我们一起学习的的小伙伴也可以加入我们啊。另外我们还将内容以书籍的形式放到了github上，之后还会陆续上传源码实现等其他内容。我们还会分享深度学习-论文阅读专栏、强化学习-基础知识专栏、强化学习-任务阅读专栏，也欢迎大家关注。可能会有很多错漏，希望大家批评指正！还是那句话，不要高估一年的努力，也不要低估十年的积累，与君共勉！

5. 导数

5.1 导数定义

1. 导数第一种定义

   设函数$y=f(x)$在点 $x0$ 的某个邻域内有定义，当自变量$x$ 在 $x0$ 处有增量$\Delta x$ ($x0+\Delta x$也在该邻域内 ) 时相应地函数取得增量 $\Delta y=f(x0+\Delta x)-f(x0)$ 如果 $\Delta y$与$\Delta x$ 之比当 $\Delta x\to 0$ 时极限存在则称函数$y=f(x)$在点 $x0$处可导，并称这个极限值为函数$y=f(x)$ 在点$x0$ 处的导数记为$f^{\prime }(x0)$ ，即导数第一定义。
   $$f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x+\Delta x)-f(x)}{\Delta x}$$

2. 导数第二种定义
   设函数$y=f(x)$ 在点$x0$ 的某个邻域内有定义，当自变量$x$ 在$x0$ 处有增量$-\Delta x$($x0-\Delta x$也在该邻域内 ) 时相应地函数取得增量 $\Delta y=f(x0)-f(x0-\Delta x)$ 如果 $\Delta y$与$\Delta x$ 之比当 $\Delta x\to 0$ 时极限存在则称函数$y=f(x)$在点 $x0$ 处可导，并称这个极限值为函数$y=f(x)$ 在点 $x0$ 处的导数记为$f^{\prime }(x0)$ ，即导数第二定义。
   $$f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x)-f(x-\Delta x)}{\Delta x}$$

3. 几何意义
   函数$y=f(x)$在$x0$点的导数$f^{\prime }(x0)$的几何意义表示函数曲线在P0 点的切线斜率。

   

5.2 导数计算公式

​ 这里将列举六类基本初等函数的导数：

1.常函数 即常数$y=c(c为常数)y^{\prime }=0$

2.幂函数 $y=x^n,y^{\prime }=n\ast x^{(}n-1)(n\in R)$

3.基本导数公式 指数函数$y=a^x,y^{\prime }=a^x\ast lna$

4对数函数 $y=logaX,y^{\prime }=1/(xlna)(a>0且a\ne 1,x>0)$

5.三角函数

​ (1)正弦函数：$y=(sinx)y^{\prime }=cosx$

​ (2)余弦函数：$y=cosx{y}^{\prime }=-sinx$

​ (3)正切函数：$y=(tanx{y}^{\prime }=1/(cosx{)}^2$

​ (4)余切函数：$y=cotx{y}^{\prime }=-1/(sinx{)}^2$

6.反三角函数

​ (1)反正弦函数$y=arcsinx{y}^{\prime }=1/\sqrt{1-x^2}$

​ (2)反余弦函数$y=arccosx{y}^{\prime }=-1/\sqrt{1-x^2}$

​ (3)反正切函数$y=arctanx{y}^{\prime }=1/(1+x^2)$

​ (4)反余切函数$y=arccotx{y}^{\prime }=-1/(1+x^2)$

5.3 偏导数

​ 在数学中，一个多变量的函数的偏导数，就是它关于其中一个变量的导数，同时保持其他变量恒定。

5.4 偏导数几何意义

​ 表示固定面上一点的切线斜率。

​ 偏导数 f’x(x0,y0) 表示固定面上一点对 x 轴的切线斜率;偏导数$f^{\prime }y(x0,y0)$表示固定面上一点对 y 轴的切线斜率。

​ 高阶偏导数:如果二元函数 z=f(x,y) 的偏导数 $f^{\prime }x(x,y)$与$f^{\prime }y(x,y)$ 仍然可导，那么这两个偏导函数的偏导数称为 $z=f(x,y)$ 的二阶偏导数。二元函数的二阶偏导数有四个: $f"xx，f"xy，f"yx，f"yy$。

注意:

​ $f"xy$与$f"yx$的区别在于:前者是先对 x 求偏导，然后将所得的偏导函数再对 y 求偏导;后者是先对 y 求偏导再对 x 求偏导。当$f"xy$与 $f"yx$ 都连续时，求导的结果与先后次序无关。

5.5 链式法则

​ 复合函数对自变量的导数等于已知函数对中间变量的导数乘以中间变量对自变量的导数–称为链式法则。

​ 链式法则（chain rule）是微积分中的求导法则，用以求一个复合函数的导数。所谓的复合函数，是指以一个函数作为另一个函数的自变量。如设$f(x)=3x，g(x)=x+3，g(f(x))$就是一个复合函数，并且$g\prime (f(x))=3$。若$h(x)=f(g(x))$，则$h^{\prime }(x)=f^{\prime }(g(x))g^{\prime }(x)$。

​ 链式法则用文字描述，就是“由两个函数凑起来的复合函数，其导数等于里边函数代入外边函数的值之导数，乘以里边函数的导数。”