神经网络的重要性质是它可以从数据中学习到适合的权重参数。
1 从感知机到神经网络
1.1 神经网络的例子
输入层、输出层、中间层(隐藏层)。
1.2 感知机的函数
令
则
1.3 激活函数登场
例如上节的,激活函数会将输入信号的总和转换为输出信号。激活函数是连接感知机和神经网络的桥梁。
2 激活函数
2.1 sigmoid函数
2.2 阶跃函数的实现
import numpy as np
def step_function(x):
y = x > 0
return y.astype(np.int)
2.3 阶跃函数的图形
通过以下代码作图
import numpy as np
import matplotlib.pylab as plt
def step_function(x):
y = x > 0
return y.astype(np.int)
x = np.arange(-5.0,5.0,0.1)
y = step_function(x)
plt.plot(x, y)
plt.ylim(-0.1, 1.1)
plt.show()
2.4 sigmoid函数实现
def sigmoid(x):
return 1/(1+ np.exp(-x))
作出sigmoid函数的图像
2.5 sigmoid函数 与阶跃函数的比较
两函数在趋势上相似。
感知机中神经元流动的是0或1的二元信号,适合使用阶跃函数作为激活函数,神经网络中流动的是连续的实数值信号,适合使用sigmoid函数作为激活函数。
2.6 非线性函数
因为线性函数无法发挥叠加层的优势,所以神经网络的激活函数必须使用非线性函数。
2.7 Relu函数(另一种激活函数)
3 多维数组的运算
3.1 多维数组
3.2 矩阵乘法
3.3神经网络的内积
4 3层神经网络的实现
输出层所用的激活函数:根据求解问题的性质决定。一般,回归问题:恒等函数 ,二元分类问题:sigmoid函数,多元分类问题:softmax函数。
回归问题:根据某个输入,预测某个数值的问题。