《吴恩达机器学习》笔记——9 神经网络学习

《吴恩达机器学习》笔记——9 神经网络学习

1 模型

神经层
输入层
隐藏层
输出层

符号	描述
$a_i^{(j)}$	第$j$层第$i$个神经元或单元的激活项（由一个具体神经元计算并输出的值）
${\Theta }^{(j)}$	权重矩阵（控制从第$j$层到第$j+1$层的映射）

符号（例）	表达
$a_1^{(2)}$	$$\begin{gathered} g({\Theta }_{10}^{(1)}{x}_0+{\Theta }_{11}^{(1)}{x}_1+{\Theta }_{12}^{(1)}{x}_2+{\Theta }_{13}^{(1)}{x}_3) \\ =g(z_1^{(2)}) \end{gathered}$$
$a_2^{(2)}$	$$\begin{gathered} g({\Theta }_{20}^{(1)}{x}_0+{\Theta }_{21}^{(1)}{x}_1+{\Theta }_{22}^{(1)}{x}_2+{\Theta }_{23}^{(1)}{x}_3) \\ =g(z_2^{(2)}) \end{gathered}$$
$a_3^{(2)}$	$$\begin{gathered} g({\Theta }_{30}^{(1)}{x}_0+{\Theta }_{31}^{(1)}{x}_1+{\Theta }_{32}^{(1)}{x}_2+{\Theta }_{33}^{(1)}{x}_3) \\ =g(z_3^{(2)}) \end{gathered}$$
$h_{\Theta }(x)$	$$\begin{gathered} a_1^{(3)}=g({\Theta }_{10}^{(2)}{a}_0^{(2)}+{\Theta }_{11}^{(2)}{a}_1^{(2)}+{\Theta }_{12}^{(2)}{a}_2^{(2)}+{\Theta }_{13}^{(2)}{a}_3^{(2)}) \\ =g(z_1^{(3)}) \end{gathered}$$

参数（例）	向量/矩阵
$x=a^{(1)}$	$\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ x_3\end{array}\right],x_0=1$
${\Theta }^{(1)}$	$\left[\begin{array}{cccc}{\Theta }_{10}^{(1)}& {\Theta }_{11}^{(1)}& {\Theta }_{12}^{(1)}& {\Theta }_{13}^{(1)}\end{array}\right]$
$z^{(2)}$	$\left[\begin{array}{c}{z}_1^{(2)}\\ z_2^{(2)}\\ z_3^{(2)}\end{array}\right]={\Theta }^{(1)}x={\Theta }^{(1)}{a}^{(1)}$
$a^{(2)}$	$g(z^{(2)})\in {\mathbb{R}}^3$
添加$a_0^{(2)}=1$	$a^{(2)}\in {\mathbb{R}}^4$
$z^{(3)}$	${\Theta }^{(2)}{a}^{(2)}$
$h_{\Theta }(x)$	$a^{(3)}=g(z^{(3)})\in \mathbb{R}$
计算过程	前向传播

2 例子与直觉理解

例子 （$x_0=1$） （ x 1 , x 2 ∈ { 0 , 1 } x_1,x_2\in\{0,1\} x1​,x2​∈{0,1}）	$x_{1}AND{x}_2$	$x_{1}OR{x}_2$	$NOT{x}_1$
${\Theta }^{(1)}$	$\left[\begin{array}{ccc}-30& 20& 20\end{array}\right]$	$\left[\begin{array}{ccc}-10& 20& 20\end{array}\right]$	$\left[\begin{array}{cc}10& -20\end{array}\right]$
$$\begin{gathered} x_1 \\ {x}_2 \end{gathered}$$	0 0 1 1 0 1 0 1	0 0 1 1 0 1 0 1	0 1 -
$h_{\Theta }(x)\approx$	0 0 0 1	0 1 1 1	1 0

例子	$x_{1}XOR{x}_2$
${\Theta }^{(1)}$	$\left[\begin{array}{ccc}-30& 20& 20\\ 10& -20& -20\end{array}\right]$
${\Theta }^{(2)}$	$\left[\begin{array}{ccc}-10& 20& 20\end{array}\right]$
$$\begin{gathered} x_1 \\ {x}_2 \end{gathered}$$	0 0 1 1 0 1 0 1
$h_{\Theta }(x)\approx$	1 0 0 0