【100】深度学习读书笔记：P44函数性质的证明

前提知识

log x 表示 x 的自然对数。也有人写成 ln x ，或者 log _e x。exp (x) 表示 e^x 。
我们需要先了解一下基本初等函数的导数公式：

公式一：常数的导数是零。
公式二：若 y = xⁿ，y’=nx^n-1。
公式三： (sin x)’ = cos x
公式四：(cos x)’ = -sin x
公式五： (a^x)’ = a^x log a
公式六： (e^x)’ = e^x
公式七： 若 y = log_a x，则

dy　　　　１
—— = ——————
dx　　　ｘ log a

公式八： 若 y = log x，则

dy　　　1
—— = ——
dx　　　ｘ

《深度学习》第44页下半部分性质证明

书中用σ(x) 表示 logistic sigmoid 函数：

　　　　　　1
σ(x) = ————————
　　　　1 + exp(-x)

书中用 ζ(x) 表示 softplus 函数：ζ(x) = log[ 1 + exp(x) ]

　　　　　　　　 　　exp(x)
3.33 证明：σ(x) = ———————————
　　　　　　　　　　exp(x) + exp(0)

　　　　　　 1 　
σ(x) = ———————
　　　　1 + exp(-x)

　　　　　1
　　= ———————
　　　　 1 + e^-x
　　
　　
　　　　　　e^x
　　= ————————
　　　　e^x(1+e^-x)
　　
　　　　　　e^x
　　= ————————
　　　　　e^x + e⁰
　　
　　
　　　　　exp(x)
　　= ————————
　　　　exp(x) + exp(0)
　　
　　
　　　　
　　　　　　d
3.34 证明： —— σ(x) = σ(x)[1 - σ(x)]
　　　　　　dx

　　　　
　　

3.35 证明：1-σ(x) = σ(-x)
　
　
　　　　　　　　　1
1-σ(x) = 1 - ————————
　　　　　　　1 + exp(-x)

　　　　　　　　1
　　　= 1 - ———————
　　　　　　　1 + e^-x

　
　　　　　　1+ e^-x - 1
　　　= —————————
　　　　　　1 + e^-x

　
　　　　　　e^-x
　　　= ———————
　　　　　　1 + e^-x

　　　　　e^xe^-x
　　　= ———————
　　　　　e^x(1 + e^-x)

　　　
　　　　　　1
　　　= —————
　　　　　1+e^x

　　　　　　1
　　　= ——————　　
　　　　　1+e^-(-x)
　
　　　　　　　1
　　　= ———————— = σ(-x)
　　　　　1 + exp[-(-x)]

3.36 证明： log σ(x) = - ζ(-x)

　　　　　　　　　　　　　　　A
　　推论1： logA - logB= log(——)
　　　　　　　　　　　　　　　B

　　令 A = e^m ，B=eⁿ 所以 logA - logB = m-n
　　
　　　　　A　　　　　　e^m
　　log(———) = log(————)
　　　　　B　　　　　　eⁿ

　　= log(e^m-n) = m-n

　　
　　　　　　　　　　　　　　A
　　所以 logA - logB= log(———)
　　　　　　　　　　　　　　B
　　　　　　　　　　　　　　
　　　　　　　　　　　1
　　log σ(x) = log(————)
　　　　　　　　　　1+e^-x

　　　　= log 1 - log(1 + e^-x) 　　 根据推论1
　　　　
　　　　= - log(1 + e^-x)
　　　　
　　　　= - log[ 1 + exp(-x) ]
　　　　
　　　　= - ζ(-x)
　　　　
　　　　
　　　　　　d
3.37 证明：——ζ(x) = σ(x)
　　　　　　dx

　　　
　　　
　　　　　　　　　　　　　　　　　　　　　　x
3.38 证明： 所有 x ∈（0,1），σ^-1(x) = log(————)
　　　　　　　　　　　　　　　　　　　　　1-x
　　　　　　　　　　　　1
　不妨设 y = σ(x) = ——————
　　　　　　　　　　1 + e^-x

我们可以讨论一下y的值域。当x无穷大，-x无穷小，e^-x 趋近于0，y 的上限是1 。当x无穷小，-x无穷大，e^-x 无穷大，y的下限是0。那么对于σ^-1(x)而言，自变量x属于(0,1)。

　　
3.39 证明：对于任意 x > 0，ζ^-1(x)=log[exp(x) - 1]

不妨设 y = ζ(x) = log[ 1 + exp(x) ] = log( 1 + e^x )

显然 e^x > 0 ；1 + e^x > 1 ；

log( 1 + e^x ) > 0 即y的值域大于0 。

可得：

y = log ( 1 + e^x)

e^y = 1 + e^x

e^x = e^y - 1

x = log(e^y - 1)

x 与 y 互换可得 ζ^-1(x) = y = log[exp(x) - 1]

　
　
3.40 证明：　
　
本文中的3.37已经证明了 ζ(x) 的导数是 σ(x) ，根据牛顿莱布尼茨公式，

因为 ζ(x) = log[1 + exp(x)] = log( 1 + e^x )，当 x 无穷小，e^x等于零， 1 + e^x = 1，log( 1 + e^x ) = 0
所以

3.41 证明 ζ(x) - ζ(-x) = x

关于 softplus 函数和正部函数

softplus 函数是正部函数的平滑版本。这个正部函数是 x⁺ = max(0,x)

这里是我画的正部函数的图，你把它和《深度学习》第44页图3.4比较一下，就知道为什么说 softplus 是正部函数的平滑版本了。