神经网络发展史

开局先放一张图。

神经网络的大致发展过程就如上图，俗称三起两落。

起点：McCulloch和Pitts发表的神经网络开山大作：A Logical Calculus if Ideas Immanent in Nervous Activity，提出了神经元计算模型。在这里要插入一段，人工智能出现之初，科学家们分成了两个派别，一派是写实的符号派，认为一定要通过逻辑和符号系统实现人工智能；另一派是写意的仿生派，弄个人脑出来人工智能不就有了吗？神经网络就是写意派的产物。生物神经元有轴突、神经元、树突，神经元可视为一个只有激活和抑制两种状态的细胞，在计算机上也就是1和0，兴奋状态在不同的神经元之间传递，可以看OKAI第二章的动画，很形象。神经元计算模型可以说是神经网络理论的基础，所以这篇论文被称为开山大作。

1958，第一起-Rosenblatt提出感知器，并提出一种接近于人类学习过程的学习算法。

1969，第一落-Marvin Minsky出版《感知机》，挑了感知机的两大毛病，无法处理异或问题和计算能力不足。往后十多年，神经网络的研究一直没有太大进展。

1986，第二起-Hinton等人将重新改进的反向传播算法引入多层感知器，神经网络重新成为热点。反向传播算法是神经网络中极为重要的学习算法，直到现在仍然占据着重要地位。

1995-2006，第二落-计算机性能仍然无法支持大规模的神经网络训练，SVM和线性分类器等简单的方法反而更流行。

2006，第三起-随着大规模并行计算和GPU的发展，计算能力大大提高，在此支持下，神经网络迎来第三次高潮。

---

参考

1.邱锡鹏，神经网络与深度学习

2.尼克，人工智能简史