【那些年我们一起看过的论文】之《Handwritten Digit Recognition with a Back-Propagation Network》

---

/*
这篇论文是1990年发表的，算是上古时期的作品了，当然经典是会随着时间积淀的，受限于计算机的运算性能，很多想法都只是提出却没法验证，但是前辈们的数学推理与证明无疑是非常严谨与可信的。BP算是经典入门算法了，虽然渣本还是不怎么懂，但是慢慢积累嘛。摘录几笔，聊以明志。
*/
BP算法简介：反向传播算法(BP算法)主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。
本文的目的是证明反向传播网络可以在不需要大量预处理的情况下识别图像。它直接输入的是图像信息而不是特征向量。
反向传播(backpropagation)能够帮助解释网络的权重和偏置的改变是如何改变代价函数的。归根结底，它的意思是指计算偏导数∂C/∂wljk和∂C/∂blj。但是为了计算这些偏导数，我们首先介绍一个中间量，δlj，我们管它叫做第l层的第j个神经元的错误量(error)。反向传播会提供给我们一个用于计算错误量的流程，能够把δlj和∂C/∂wljk,∂C/∂blj关联起来。

由先前的知识我们知道，网络收敛需要包含一定数量的该问题的先验知识，而我们要做到的是参数数量尽量少。

采用的训练与测试数据集是“邮政编码”上分割提取出来的，原汁原味真实可靠。然而这些数据分割后存在许多问题：1.少量错误或很难辨认；2.大小不一；3.灰度值不一。所以需要进行一系列预处理作为统一的输入。

我们的网络结构是：多层的，每层是可调整的但相互约束，使用反向传播方法训练。