【笔记】Week4：神经网络的模型表示及背景，应用，多类分类问题 (Machine Learning)

吐槽：有个quiz的题目还挺坑的，记录一下哈。。顺便笔记。。

正文：

1，神经网络的模型表示及背景

背景：脑中的一个神经元是一个计算单元。神经元的dendrite（树突(位于神经元末端的细分支，接收其他神经元传来的信号)）是输入电线，axon（轴突(神经细胞的突起，将信号发送到其他细胞)）是输出电线。

单一神经元的模型：逻辑单元，也就是h(x) = 1 / (1+e^(-thetaTx))（h(x)称sigmoid（logistic）激活函数）。

神经网络模型：举例的是层次为3的神经网络，其中layer1为输入层，layer2为隐藏层，layer3为输出层。

其表示：a^(j)_(i)表示在 j 层次上的 i 单元的激活，theta^(j)表示控制从 j 层到 (j+1) 层权重的矩阵，z^(j)_i表示theta(j-1) * a^(j-1)_i，a^(j)_i表示g(z^(j)_i)，其中a^(1) = x向量。（重点：如果网络在 j 层次上有sj个单元，在 (j+1) 层次上有s_(j+1) 个单元，则theta^(j) 的维度将为s_(j+1) * (sj + 1)）

向前传播的向量实现：z^(j)_i表示theta(j-1) * a^(j-1)_i，a^(j)_i表示g(z^(j)_i)，其中a^(1) = x向量。

2，应用

非线性分类的简单例子（简单神经元）：AND（如theta1 = [-30; 20; 20]），OR（如theta1 = [-10; 20; 20]），NOT（如theta1 = [10; -20]），(NOT x1) AND (NOT x2) （如theta1 = [10; -20; -20]） 。

非线性分类的复杂例子（神经网络）：XOR/XNOR（需要隐藏层来实现，其中a^(2)_(1)为AND的theta1，a^(2)_(2)为(NOT x1) AND (NOT x2)的theta1，a^(3)_(1)为OR的theta1），顺便：所有的逻辑函数都可以用神经网络表示，只要这个网络够复杂，就可能实现相当复杂的逻辑函数（复制于：https://blog.csdn.net/sinat_39805237/article/details/78712838）。

其他例子（多类分类）：手写数字分类。

3，多类分类问题

一对多的举例：层次很多且存在不止一层的隐藏层，h(x) = [1; 0; 0; 0]为行人，h(x) = [0; 1; 0; 0]为车，h(x) = [0; 0; 1; 0]为摩托车，h(x) = [0; 0; 0; 1]为卡车，h(x^(i)) = y^(i)。

需要注意quiz的一个问题（https://blog.csdn.net/sinat_39805237/article/details/78712838，第一题的B）：确实是与theta的设置有关，我一开始选错了，是我觉得所有的可能性之和必然为1，但是忽略了这个模型他没说是不是正确的，所以如果不正确的话确实应该与theta设置有关。。= =