前馈神经网络之神经元及激活函数简介

卷积神经网络（Convolutional Neural Network,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。

前馈神经网络：一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，直到输出层。各层间没有反馈。是目前应用最广泛、发展最迅速的人工神经网络之一。

人工神经网络(Artificial Neural Network,ANN)是指一系列收生物学和神经学启发的数学模型。这些模型主要是通过对人脑的神经元网络进行抽象，构建神经元，并按照一定拓扑结构来建立人工神经元之间的连接，来模拟生物神经网络。在人工智能领域，人工神经网络也常简称为神经网络。神经网络是一种大规模的并行分布式处理器，天然具有存储并使用经验知识的能力。它从两个方面上模拟大脑：1，网络获取的知识是通过学习来获取的；2，内部神经元的连接强度，即突触权重，用于储存获取的知识。

分布式并行处理有三个主要特性：1.信息表示是分布式的；2.记忆和知识是存储在单元之间的连接上；3.通过逐渐改变单元之间的连接强度来学习新的知识。

神经网络一般可以看作是一种非线性模型，其基本组成单位为具有非线性激活函数的神经元，通过大量神经元之间的连接，使得神经网络成为一种高度非线性的模型。神经元之间的连接权重就是需要学习的参数，可以通过梯度下降方法来进行学习。

神经元
生物神经元通常具有多个树突和一条轴突。树突用来接收信息，轴突用来发送信息。当神经元所获得的输入信号的积累超过某个阈值时，它就处于兴奋状态，产生电脉冲。轴突尾端有许多末梢可以给其他神经元的树突产生连接，并将电脉冲