图dl：4受限玻尔兹曼机

• 是起源于图模型的神经网络
• 由Hopfield神经网络那样的相互连接型网络衍生而来
• 先Hopfield 网络和玻尔兹曼机,然后受限玻尔曼机
• 最后由多个受限玻尔兹曼机推叠组成的深度信念网络

4.1 Hopfield神经网络

• 前几章介绍过的多层NN
• 如图4.1所示的相互连接型
• 相互连接型网络不分层,单元之间相互连
  • 能根据单元的值记忆网络状态,称联想记亿
• 人脑能根据某种输人信息记忆或联想与之有关的信息,
  • 看到¨“苹果”能“红色”,“香蕉”能¨“黄色”。
• 联想记忆就是通过在事物之间建立对应关系来记忆
• 多层神经网络和CNN可应用于模式识别
  • 相互连接型网络可通过联想记忆去除输入数据中噪声

参考文献51添加链接描述

• 82年提出的 Hopfield神经网络是最典型的相互连接型网络

• 优点

  • 连接权重对称
  • 没有到自身的连接
  • 单元的状态变化采用随机异步更新方式,
    • 每次只有一个单元改变状态

 

• 基以上优点,
• Hopfield神经网络
• 每个单元只能是0或1,
• 故而网络有$2^n$种状态
• 联想记忆
  • 当输入模式为某种状态时,输出端要给出与之相应的输出模式y
  • 如果输入模式与输出模式一致,就称自联想记忆,
  • 否则称异联想记忆。

 

• n个单元组成的 Hopfield神经网络,
• 第$i$个单元在t(t=0,1,2,…)时输入记$u_i(t)$,输出记$x_i(t)$
• 连接权重为$w_{ij}$
• 國值$b_i(t)$
• t+1时刻单元的输出$x_i(t+1)$可表示

$x_i(t+1)$显然只与t时刻这个单元的输入有关啊，如果t时刻的输入>0，那么就是1，如果t时刻的输入是0，那么维持输出不变啊