BP网络算法及其改进

最新推荐文章于 2024-07-08 23:00:22 发布

orisun

最新推荐文章于 2024-07-08 23:00:22 发布

阅读量858

点赞数

分类专栏： AI DM NLP

本文链接：https://blog.csdn.net/zhangchaoyangsun/article/details/8470222

版权

本文介绍了BP神经网络算法在字符识别中的应用，通过标准BP算法、增加动量项、自适应调节学习率和引入陡度因子四个方面的改进，提高了算法的收敛速度和识别效果。在训练过程中，通过迭代调整权值，最终实现误差显著降低，达到预期的识别目标。

摘要由CSDN通过智能技术生成

书上的一个例子，是要识别英文字符C、I、T。

则X^C=(1,1,1,1,0,0,1,1,1),X^I=(0,1,0,0,1,0,0,1,0),X^T=(1,1,1,0,1,0,0,1,0)。

1.标准BP算法

网络图我就不画了。

输入层X=(x₀,x₁,x₂,...x_i,...,x_n)

隐藏层Y=(y₀,y₁,y₂,...,y_j,...,y_m)

x₀=y₀=-1

输出层O=(o₁,o₂,...,o_k,...,o_l)

期望输出D=(d₁,d₂,...,d_k,...,d_l)

输入层到隐藏层的权重V_ij

隐藏层到输出层的权重W_jk

对于输出层：

净输入

$net_k=\sum_{j=0}^{m}W_{jk}Y_j\ \ \ \ k=1,2,...,l$

输出

$O_k=f(net_k)$

对于隐藏层：

净输入

$net_j=\sum_{i=0}^{n}V_{ij}X_i\ \ \ \ j=1,2,...,m$

输出

$Y_j=f(net_j)$

变换函数f(x)采用单极形Sigmoid函数：

$f(x)=\frac{1}{1+e^{-x}}\ldots\ldots\ldots\ldots(1)$

函数具有性质：

$f^{'}(x)=f(x)[1-f(x)]\ldots\ldots\ldots\ldots(2)$

采用批训练法，误差是所有样本的均方误差和：

$E=\frac{1}{2}\sum_{p=1}^{P}\sum_{k=1}^{l}(D_k^p-O_k^p)^2$

显然误差E是网络权值W和V的函数，E分别对W和V求偏导得到E的梯度，要减小误差E，则权值W和V调整的方向就应该是误差梯度的反方向。结合（1）式（2）式可得权值调整公式：

$\bigtriangleup{W}_{jk}=\eta\sum_{p=1}^{P}(D_k^{p}-O_k^{p})O_k^{p}(1-O_k^{p})Y_j^{p}\ldots\ldots\ldots(3)$

${\bigtriangleup}V_{ij}=\eta\sum_{p=1}^{P}\{\sum_{k=1}^{l}[(D_k^{p}-O_k^{p})O_k^{p}(1-O_k^{p})W_{jk}]Y_j^{p}(1-Y_j^{p})X_i^{p}\}\ldots(4)$

上代码:

首先从复旦语料库全体训练集中随机挑取360个训练样本（每类40个）作为神经网络的输入

View Code

#/usr/bin/perl

srand();
my $outf="/home/orisun/master/fudan_corpus/tc_ann.txt";
open OUT,">$outf" or die "Can't open file:$!";
my $dir_prefix="/home/orisun/master/fudan_corpus/train_vec/";
my @cat=qw/C3-Art_ws C7-History_ws C11-Space_ws C19-Computer_ws C31-Enviornment_ws C32-Agriculture_ws C34-Economy_ws C38-Politics_ws C39-Sports_ws/;
foreach(0..$#cat){
    
    $dir=$dir_prefix.$cat[$_];
    opendir(DIR,"$dir") or die "Can't open directory:$!";
    @files=grep {/^[^\.]/} readdir(DIR);    #文件不能以.开头