深度学习入门(基于python实现)--第六章与学习有关的技巧 02-CSDN博客

本文链接：https://blog.csdn.net/zyhsna/article/details/108453908

# _*_ coding:UTF-8 _*_
# 文件名：chapter6_Skills_relatedTo_Learning_02.py
# 开发工具：PyCharm
"""
权重的初始值
权重的初始值是神经网络中十分重要的一个部分，我们甚至专门设计了一部分来改善神经网络的权重，所以初始值的设定十分重要
有人要说，为啥不设置全0，不方便吗？这里就要涉及到之前讲的反向传播，如果是输入层全为0，那么第二层的输入全为0，那么在反向传播更新
参数的时候，第二层的权重会进行相同的更新，神经网络的层数就变得没有意义了，所以必须设置随机生成的初始值

"""
import numpy as np
import matplotlib.pyplot as plt


def sigmoid(x):
    return 1 / (1 + np.exp(-x))


def ReLU(x):
    return np.maximum(0, x)


def tanh(x):
    return np.tanh(x)


input_data = np.random.randn(1000, 100)  # 1000个数据
node_num = 100  # 各隐藏层的节点数
hidden_layer_size = 5  # 隐藏层层数
activations = {}  # 保存激活值的结果

x = input_data

for i in range(hidden_layer_size):
    if i != 0:
        x = activations[i - 1]

    # w = np.random.randn(node_num, node_num) * 1  # 1
    # w = np.random.randn(node_num, node_num) * 0.01  # 2
    w = np.random.randn(node_num, node_num) / np.sqrt(node_num)  # 3
    # w = np.random.randn(node_num, node_num) * np.sqrt(2.0 / node_num)

    a = np.dot(x, w)

    # 激活函数实验
    z = sigmoid(a)
    # z = ReLU(a)
    # z = tanh(a)

    activations[i] = z

# 绘制直方图
for i, a in activations.items():
    plt.subplot(1, len(activations), i + 1)
    plt.title(str(i + 1) + "-layer")
    if i != 0: plt.yticks([], [])
    # plt.xlim(0.1, 1)
    # plt.ylim(0, 7000)
    plt.hist(a.flatten(), 30, range=(0, 1))
plt.show()

"""
在图中我们可以看到各层的激活值偏向0和1分布，这会导致反向传播时梯度不断变小，最后消失，这种情况称为“梯度消失”(如图一)

我们再来试一下，把1处的代码注释掉，使用2的代码，会发现集中在0.5附近，但是这个时候又有新的问题，就是大家输出都很靠近0.5，会导致100个神经元跟1个神经元干的事都一样，造成“表现力受限”。（如图二）
我们所希望的激活值分布是什么样的？是希望各层的激活值根据参数不同按一定比例分割，不是说扎堆在一起，因此我们在这里使用Xavier初始值即3处的代码，可以发现分布比前面两种好多了，事实上这也是当前深度学习中经常用到的初始化操作（如图三）
"""