一、生物神经元
单个细胞只有两种状态“兴奋和抑制
二、神经网络如何学习
赫布法则Hebb’s Rule
1.人工神经元
最左侧一列表示神经元接受的信号,权重用来模拟不同神经元之间的连接强度。
人工神经网络主要由大量的神经元以及它们之间的有向连接构成。因此考虑三方面:
2.人工神经网络
人工神经网络由神经元模型构成,这种由许多神经元组成的信息处理网络具有并行分布结构。
神经网络结构大体上分为上图所示三种类型,但是大多数网络都是复合型结构,即一个神经网络中包含多种网络结构。
神经网络与深度学习的对应
上图表达式中的嵌套函数每一个F对应神经网络一层,F1对应第一层隐藏层,F2对应第二层隐藏层,F3对应输出层,最终产生Y。F1,F2可以看作表示学习,F3可以看做浅层学习,合起来就是一个深度学习。
3.如何解决贡献度分配问题
对于一个函数,若要看x对y的影响有多大,数学上我们用偏导数表示。
对应到神经网络里面:
神经网络天然不是深度学习,但深度学习天然是神经网络。
三、神经网络发展史
这里就不巴拉巴拉啦…