深度学习入门(基于python实现)--第三章 神经网络 02

所看书籍为人民邮电出版社的深度学习入门，原作者[日]斋藤康毅

# _*_ coding:UTF-8 _*_
# 开发人员：zyh
# 开发时间：2020/8/22 21:04
# 文件名：neural_network_02.py
# 开发工具：PyCharm
import numpy as np

"""
一般使用numpy的矩阵相乘来实现神经网络

"""
x = np.array([1, 2])
w = np.array([[1, 3, 5], [2, 4, 6]])
output = np.dot(x, w)  # x与w矩阵相乘

"""以下是三层神经网络的实现"""


def sigmoid(x):
    """
    sigmoid激活函数
    :param x: list[int]
    :return: list[int]
    """
    return 1 / (1 + np.exp(-x))


def identity_function(x):
    return x


"""第0层------>第一层"""
X = np.array([1.0, 0.5])  # 输入
W1 = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])
B1 = np.array([0.1, 0.2, 0.3])  # 偏置
A1 = np.dot(X, W1) + B1  # 输入与权重以及偏置
Z1 = sigmoid(A1)  # 返回激活函数

"""第1层-------》第2层"""
W2 = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0.6]])
B2 = np.array([0.1, 0.2])  # 偏置
A2 = np.dot(Z1, W2) + B2  # 上一层的输出即这一层的输入
Z2 = sigmoid(A2)

"""第2层--------》第三层"""
W3 = np.array([[0.1, 0.3], [0.2, 0.4]])
B3 = np.array([0.1, 0.2])  # 偏置

A3 = np.dot(Z2, W3) + B3
Y = identity_function(A3)  # 其实可以和A3放在一起赋值

print(Y)  # [0.31682708 0.69627909]



"""
输出层的设计
在上面我们只是单纯的把结果原封不动返回，事实上神经网络需要根据情况改变输出层的激活函数
对于回归问题一般用恒等函数，就是原封不动返回
对于分类问题一般用softmax函数
softmax：

对于第k个神经元输出，n为输出层的神经元总数

y(k) = exp(a(k)) / 从1到n求和(exp(ai))
分子为单个输入信号ak，分母为所有输入信号的指数和
"""


def softmax(a):
    c = np.max(a)  # 防止溢出，比如e的100次方就是一个很大的数了，具体数学论证请看书上内容
    exp_a = np.exp(a - c)
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y


a = np.array([0.3, 2.9, 4.0])
y = softmax(a)
print(y)  # [0.01821127 0.24519181 0.73659691]

"""
SOFTMAX函数输出总在0~1之间，输出总和为1，因此可以把其输出称为概率，即输入的信息属于第几类的概率
比如y[0] = 0.018 那么输入信息属于第一类概率为1.8%
一般对于分类问题来说，有多少类别便有多少输出神经元
"""