机器学习中神经网络的一些知识

神经网络中最基本的成分是神经元模型，，阶跃函数具有不连 、不光滑等不太好的性质，因 此实际常 Sigmoid函数作为激活函数

 感知机 (Perceptron 由两层 神经元 组成，需注意的是，感知机只有输出层神经元进行激活函数处理，即只拥有 功能神经元(functionalneuron) ，其学习能力非常有限

 

多层网络的学习能力比单层感知机强得多. 误差逆传播是迄今最成功的神 经网络学习算法，学习本 率控制着算沾每一轮迭代中的更新步长， 太大则容易振荡，太小则收敛速度又会过慢，常设置为 η=0. 1.

标准 BP 算法往往需进行更多次数的法代.，累积误差下降到一定程度之后，进 一步下降会非常缓慢，BP 神经网络经常遭遇过拟合，有两种策略常用来缓解BP 网络的过拟合.第 一种策略是"早停"

第二种策略是"正则化"

在现实任务中，人们常采用以下策略来试图 "四 出"局部极小，从而进 步接近全局最小.

以 不同参数值初始化多个神经 网络 按标准方法训练后，取其 误差 小的解作为 终参 .这相 当于从多个不同的初始点开始搜索， 这样就 可能陷入不同的局部极小从中进行选择有可能获得更接近全局最小的 结果

使用 "模拟*火" (simulated annealing) 技术

用随机梯度下降 .与标准梯度下降法精确计算梯度不同， 随机梯度下降 法在计算梯度时加入了随机因素.于是?即便陷入局部极小点? 它计算出 仍可能不为零 这样就有机会跳出局部极小继续搜索

RBF(Radial is Function，径向基函数)网络 [Bro Olnhead and Lo啊? 1988] 是一种单隐层前馈神经网络

ART(Adaptive Reson.ance Theory，自适应谐振理论)网络 [Carpenter and Grossberg, 198可是竞争型学习的重要代表.该网络由比较层、识别层、识别 阔值和重置模块构成，ART 网络具有 一个很重要的优点:可进行增量学习 (incremental learning) 或在线学习 (online learni吨) .

SOM(Self-Organizing Map ，自组织映射)网络 [Kohonen 1982] 是一种竞 争学习型的无监督神经网锚，官能将高维输入数据映射到低维空间(通常为二 维) ，同时保持输入数据在高维空间的拓扑结构，即将高维空间中相似的样本点 映射到网络输出层中的邻近神经元.

结构自适应网络则 络结构也当作学习的目 标之 一?并希望能在训练过程中找到最利合数据特点 的网绵结构-级联相关(Cascade-Correlation [Fahlman and Lcbiere, 1990] 是结构 适应网络的重要代表

 级联相关网络有两个主要成分"级联"和"相关" 级联是指建立层次 连接的层级结构.在开始训练 ，网络只有输入层和输出 ，处于最小拓扑结 构;随着训练的进行，如图 5.12 所示，新的 隐层神经元逐渐加入，从而创建起层 级结构. 当新的隐层神经元加入时，其输入端连接权值是冻结固 定的相关是 指通过最大化新神经元的输出与网络误 之间的相关性(corre ation) 来训练相 关的参数

与一般的前馈神经网络相比，级联相关网络无需设置网络层数、隐层神经 元数目，且训练速度较快，但其在数据较小时易 入过拟合。

"递归神经网络" (recurrent neural networks) 允许 网络中出现环形结构，从而可让一些神经元的输出反馈回来作为输入信号，Elman 网络 [Elma口， 1990] 是最常用的递归神经网络之一

神经网络中有一类模型是为网络状态定义一个"能量" (energy) ，能量 最小化时网络达到理想状态，而网络的训练就是在最小化这个能量函数. Boltzmann 机，Boltzmann 机的训 过程就是将每个训练样本视为一个状态向 量，使 其出现的概率尽可能大

深度学习

随着云计算、大数据时代的到来，计算 能力的大幅提高可缓解训练低效性，训练数据的大幅增加则可降低过拟合风险， 因此?以"深度学习" (deep learning) 为代表的复杂模型开始受到人们的关注.

典型的深度学习模型就是很深层的神经网络.无监督逐层训练(unsupervised layer-wise training) 是多隐层网络训练的 有效手段，其基本思想是每次训练一层隐结点，训练时将上一层隐结点的输 出作为输入，向本层隐结点的输出作为下一层隐结点的输入，这称为"预训 练" (pre-training); 在顶训练全部完成后，再对整个网络进行"微调" (finetuning) 训练，事实上，"预训练+微调"的做法可视为将大量参数分组，对每组先找到局 部看来比较好的设置，然后再基于这些局部较优的结果联合起来远行全局寻优.另一种节省训练开销的策略是"权共享"