【深度学习】2：BP算法原理，并解决异或问题

最新推荐文章于 2023-03-26 14:05:46 发布

月涌大江流丶

最新推荐文章于 2023-03-26 14:05:46 发布

阅读量7.5k

点赞数 6

分类专栏：深度学习文章标签： bp神经网络异或问题 bp算法

本文链接：https://blog.csdn.net/zzz_cming/article/details/79118894

版权

深度学习专栏收录该内容

17 篇文章 29 订阅

订阅专栏

前言：

依据当今神经网络的发展，80%以上的神经网络都是BP神经网络或者是它的升级版。

–-----------------------------------------------------------------------------—----------------------------------------
–-----------------------------------------------------------------------------—----------------------------------------

一、BP神经网络的介绍

作为最经典的神经网络，简单介绍一下：

BP神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念；
BP——back propagation，也就是逆向传播的意思，通俗的说就是：用模型得到的预测值与真实值之间的误差，来影响改变之前各层间的权重

1、BP算法介绍

这里写图片描述

先介绍几个符号代表的意思：（都是向量式）

X——输入值（数据项）；Y——真实值（标签项）
V——输入层连接隐藏层的权重；W——隐藏层连接输出层的权重
L1——隐藏层的值（输入层的值X经过权重V作用后的输出值）
L2——预测值（隐藏层的值L1经过权重W作用后的输出值，也就是模型预测值）

BP算法的工作流程：

输入值X经过权重V的作用，再通过激活函数处理，得到隐藏层的输入值L1
同时L1也是隐藏层的输出值，L1经过权重W的作用，再经过激活函数处理，得到预测值L2
用梯度下降法计算输出层的误差改变量：真实值Y与预测值L2之间的误差与L2的负梯度相乘，得到输出层的误差改变量L2_delta
用梯度下降法计算隐藏层的误差改变量：用输出层的误差改变量L2_delta乘权重W再与L1的负梯度相乘，得到隐藏层的误差改变量L1_delta
各层误差改变量与学习率相乘，再与各层原有权重相加，得到更新后权重V_、W_
用更新后的权重V_、W_迭代计算，重复以上步骤，直到满足一定条件时，输出最后预测值

–-----------------------------------------------------------------------------—----------------------------------------

2、BP神经网络解决异或

# -*- coding:utf-8 -*-
# -*- author：zzZ_CMing
# -*- 2018/01/12;14:37
# -*- python3.5

import numpy as np

lr = 0.11        #学习速率

#输入数据分别:偏置值,x1,x2
X = np.array([[1,0,0],
              [1,0,1],
              [1,1,0],
              [1,1,1]])

#标签
Y = np.array([[0,1,1,0]])

# 权重初始化，取值范围-1到1
V = np.random.random((3,4))*2-1
W = np.random.random((4,1))*2-1
#print('输入层连接隐藏层的权值V：',V)
#print('隐藏层连接输出层的权值W：',W)

def sigmoid(x):
    return 1/(1+np.exp(-x))

def dsigmoid(x):
    return x*(1-x)

#更新权重函数
def get_update():
    global X,Y,W,V,lr
    # L1：输入层传递给隐藏层的值；输入层3个节点，隐藏层4个节点
    # L2：隐藏层传递到输出层的值；输出层1个节点
    L1 = sigmoid(np.dot(X,V))
    L2 = sigmoid(np.dot(L1,W))

    # L2_delta：输出层的误差改变量
    # L1_delta：隐藏层的误差改变量
    L2_delta = (Y.T - L2)*dsigmoid(L2)
    L1_delta = L2_delta.dot(W.T)*dsigmoid(L1)

    # W_C：输出层对隐藏层的权重改变量
    # V_C：隐藏层对输入层的权重改变量
    W_C = lr * L1.T.dot(L2_delta)
    V_C = lr * X.T.dot(L1_delta)

    # 更新后的权重
    W = W + W_C
    V = V + V_C

def main():
    for i in range(10000):
        get_update()
        if i%500 == 0:
            L1 = sigmoid(np.dot(X, V))
            L2 = sigmoid(np.dot(L1, W))
            print('当前误差',np.mean(np.abs(Y.T - L2)))
    L1 = sigmoid(np.dot(X, V))
    L2 = sigmoid(np.dot(L1, W))
    print('最后逼近值：',L2)

if __name__ == "__main__":
    main()

效果展示：
这里写图片描述
可以看到经过迭代，误差越来越小，最后逼近的值很接近标签项[0，1，1，0]

系列推荐：

月涌大江流丶

关注

6
点赞
踩
63

收藏

觉得还不错? 一键收藏
0
评论
【深度学习】2：BP算法原理，并解决异或问题

前言：依据当今神经网络的发展，80%以上的神经网络都是BP神经网络或者是它的升级版。 –—-—-—-—-—-—-—-—-—-—-—-—–—-—-—-—-—-—-—-——-—-—-—-—-—-—-—-—-—-—-—-—-—-——- –—-—-—-—-—-—-—-—-—-—-—-—–—-—-—-—-—-—-—-——-—-—-—-—-—-—-—-—-—-—-—-—-—-——-一、BP神经网络的介绍作为
复制链接

扫一扫