神经网络（第一次）课程总结

首先我们要对几个概念进行简单的区别：人工智能，机器学习，深度学习，神经网络。这几个词应该是Ai研究者避不开的，那么他们的区别到底是什么那？

人工智能：人类通过直觉可以解决的问题，如：自然语言理解，图像识别，语音识别等

机器学习：如果一个任务可以在任务T上，随着经验E的增加，效果P也随之增加，那么就认为这个程序可以从经验中学习。

深度学习：其核心就是自动将简单的特征组合成更加复杂的特征，并用这些特征解决问题。

神经网络：最初是一个生物学的概念，一般是指大脑神经元，触点，细胞等组成的网络，用于产生意识，帮助生物思考和行动，后来人工智能受神经网络的启发，发展出了人工神经网络。

人工智能包括机器学习，机器学习涵盖深度学习，且俩者与神经网络有交叉。

发展史与趋势

可以说在我们今天的神经网络出现之前，人工智能领域的发展并不是一帆风顺的，一波三折。到今天神经网络模型可谓是层出不穷，越来越多的网络出现可以解决各种问题。

另外，当前人工智能顶尖人才还是非常稀缺的，各家公司对人才的渴望性也是极大。

从下图可以看出，AI职位也在不断增加，薪资待遇也是很有保障。

是什么让今天的人工智能与深度学习崛起那？

是我们今天的大数据时代，为我们的训练提供了大量的数据集

是先进的编程与代码，利用计算完成数学算法

是我们的硬件平台（如GPU等）的出现，让深度学习处理数据变得更加迅速且高效

今天人工智能无处不在，计算机视觉和自然语言处理更是成为俩大主要方向，机器人的研究也在进一步进行，可见它的发展与我们息息相关。

线性回归

根据线性函数去拟合数据，并发现规律

给定样本点后，计算损失，找到是计算损失最少的目标系数，即可拟合出直线，并用于预测

线性分类

分类任务一开始是计算机视觉领域的一大重点任务

线性分类顾名思义，分为利用直线将数据进行分类，用0，1表示

sigmoid是一个很重要的激活函数，可以将结果映射到0-1之间，也可以在神经网络线性模型中引入非线性，使其能拟合任意函数

采用梯度下降法进行迭代，使损失函数最小，梯度方向使下降最快的方向

一种新的损失与softmax

交叉熵损失，是在神经网络中非常常见的，熵为系统混乱程度，交叉熵损失用对应值乘以log并求和

很好的反应了损失程度

softmax回归是一种将预测转化为概率的方法，将数值转化为0-1之间，方便查看概率

一般分类网络最后都会经过coftmax网络预测标签对应概率

神经元与感知机

神经网络最小的单元为神经元,单个神经元模型与线性模型非常相似，单个神经元加入激活函数为感知机，可以很好的完成2分类任务

慢慢人们发现，无法解决XOR问题（输入输出满足异或关系），多层感知机应允而生，由多层的神经元所组成

既然；俩层神经网络魔心可以解决XOR问题，那么更深层的神经网络是不是可以拟合任意函数那？

多层网络与BP算法

BP算法算是神经网络的核心算法了。通过反向传播可以更新参数

BP算法的核心思想就是利用误差反向传播更新权值，由求导链式法则，在梯度方向下传递

正则化

机器学习中经常会在损失函数中加入正则项，称之为正则化

引入正则化使为了克服过拟合

增强模型的泛化能力