深度学习一：搭建简单的全连接神经网络

深度学习一：搭建简单的全连接神经网络

新手入门学习神经网络，尝试搭建浅层的全连接神经网络，废话不多说，上主题（文章左后会贴上全部代码）：

实验环境：Python3+Pycharm

一个神经网络分为输入层、隐藏和输出层，先实现一个单隐藏层的神经网络，输入为随机向量x，通过神经网络，拟合随机向量y。将神经网络的训练拆成两部分，即向前传播和反向传播，分别用函数实现。

首先是引入：

import numpy as np
import matplotlib.pyplot as plt

使用numpy来做多种运算，使用matplotlib来画图

向前传播：

输入input向量x、参数w1、w2和偏置b1、b2，z1是隐藏层的中间输出，A1是经过sigmoid激活后的输出。将A1送入输入层，输出的A2便是最终输出。

假定输入x的维度为n*m，w1的维度为h*n（表示该层的神经元为h个），w2的维度为1*h，最终输出的A2维度为1*m。使用numpy中的dot（）函数来做矩阵运算。

def forward(X, w1, w2, b1, b2):
    z1 = np.dot(w1, X) + b1  # w1=h*n     X=n*m      z1=h*m
    A1 = sigmoid(z1)  # A1=h*m
    z2 = np.dot(w2, A1) + b2  # w2=1*h   z2=1*m
    A2 = sigmoid(z2)  # A2=1*m
    return z1, z2, A1, A2

这里需要先定义一下激活函数：

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

反向传播：

计算参数的偏导数

def backward(y, X, A2, A1, z2, z1, w2, w1):
    n, m = np.shape(X)
    dz2 = A2 - y  # A2=1*m y=1*m
    dw2 = 1 / m * np.dot(dz2, A1.T)  # dz2=1*m A1.T=m*h dw2=1*h