关于「神经网络与机器学习」的学习笔记（一）导言

0.1 什么是神经网络？

    神经网络是由简单处理单元构成的大规模并行分布式处理器，天然地具有存储经验知识和使之可用的特性。神经网络在两个方面与大脑相似：

1 、神经网络是通过学习过程从外界环境中获取知识的。

2、互联神经元的连接强度，即突触权值，用于存储获取的知识。

神经网络的优点

1、非线性

2、输入输出映射：每个样例由一个唯一的输入信号和相应的期望响应。

3、自适应性：神经网络具有调节自身突触权值以适应外界环境变化的固有能力。

4、证据相应。不仅提供选择哪一个特定模式的信息，还提供关于决策的置信度信息。

5、上下文信息。

6、容错性。

7、VLSI实现：超级大规模集成。

8、分析和设计的一致性：即通用性好

9、神经生物类比

0.2人类大脑

刺激➡️感受器⬅️ ➡️神经网络⬅️ ➡️效应器 ➡️响应

0.3 神经元模型

神经元模型的三种基本元素：

1、突触或连接链集，每一个都由其权值或者强度作为特征。

2、加速器，用于求输入信号被神经元的相应突触加权的和。

3、激活函数，用来限制神经元输出振幅

激活函数的类型

1、阀值函数。如果神经元的诱导局部域非负，则输出为1，否则为0。

2、sigmoid函数。

0.4被看作有向图的神经网络

规则1、信号仅仅沿着定义好的箭头方向在连接上流动

规则2、节点信号等于经由连接进入的有关节点的所有信号的代数和。

规则3、节点信号沿每个外向连接向外传递，此时传递对的信号完全独立于外向连接的传递函数。

0.5反馈

这个反馈与控制工程中的一致，不再赘述。

0.6网络结构

1、单层前馈网络

2、多层前溃网络

3、递归网络（有反馈）

0.7知识表示

0.8学习过程

有教师学习和无教师学习