首先我们要对几个概念进行简单的区别:人工智能,机器学习,深度学习,神经网络。这几个词应该是Ai研究者避不开的,那么他们的区别到底是什么那?
人工智能:人类通过直觉可以解决的问题,如:自然语言理解,图像识别,语音识别等
机器学习:如果一个任务可以在任务T上,随着经验E的增加,效果P也随之增加,那么就认为这个程序可以从经验中学习。
深度学习:其核心就是自动将简单的特征组合成更加复杂的特征,并用这些特征解决问题。
神经网络:最初是一个生物学的概念,一般是指大脑神经元,触点,细胞等组成的网络,用于产生意识,帮助生物思考和行动,后来人工智能受神经网络的启发,发展出了人工神经网络。
人工智能包括机器学习,机器学习涵盖深度学习,且俩者与神经网络有交叉。
发展史与趋势
![](https://i-blog.csdnimg.cn/blog_migrate/091e5697af4e5447fcd47902cf1f2ab2.png)
可以说在我们今天的神经网络出现之前,人工智能领域的发展并不是一帆风顺的,一波三折。到今天神经网络模型可谓是层出不穷,越来越多的网络出现可以解决各种问题。
另外,当前人工智能顶尖人才还是非常稀缺的,各家公司对人才的渴望性也是极大。
从下图可以看出,AI职位也在不断增加,薪资待遇也是很有保障。
![](https://i-blog.csdnimg.cn/blog_migrate/4fbc60b2e2b86445f134cd11ad674330.png)
![](https://i-blog.csdnimg.cn/blog_migrate/507e39bfa597d529c69a47de72891ef3.png)
是什么让今天的人工智能与深度学习崛起那?
是我们今天的大数据时代,为我们的训练提供了大量的数据集
是先进的编程与代码,利用计算完成数学算法
是我们的硬件平台(如GPU等)的出现,让深度学习处理数据变得更加迅速且高效
![](https://i-blog.csdnimg.cn/blog_migrate/25da6eaf0395e6c200b420ec0ff2ba1b.png)
今天人工智能无处不在,计算机视觉和自然语言处理更是成为俩大主要方向,机器人的研究也在进一步进行,可见它的发展与我们息息相关。
![](https://i-blog.csdnimg.cn/blog_migrate/eaef56eaf5b36a58fd95fa1e5d2a82b5.png)
线性回归
根据线性函数去拟合数据,并发现规律
![](https://i-blog.csdnimg.cn/blog_migrate/3a3c50608e279fbc406ac507468e0108.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cf306e3c6e14f7db7c72faa9587626d7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2ca23d8d023bcce6266ddc41b3e516d6.png)
给定样本点后,计算损失,找到是计算损失最少的目标系数,即可拟合出直线,并用于预测
线性分类
分类任务一开始是计算机视觉领域的一大重点任务
线性分类顾名思义,分为利用直线将数据进行分类,用0,1表示
![](https://i-blog.csdnimg.cn/blog_migrate/34de69cc725801f4b4982c2991a6673b.png)
sigmoid是一个很重要的激活函数,可以将结果映射到0-1之间,也可以在神经网络线性模型中引入非线性,使其能拟合任意函数
采用梯度下降法进行迭代,使损失函数最小,梯度方向使下降最快的方向
![](https://i-blog.csdnimg.cn/blog_migrate/736ff0b6bf78f2917b72ec16c895aa7c.png)
一种新的损失与softmax
交叉熵损失,是在神经网络中非常常见的,熵为系统混乱程度,交叉熵损失用对应值乘以log并求和
很好的反应了损失程度
![](https://i-blog.csdnimg.cn/blog_migrate/238dd2cbb7fa7ce16932192bf12e837c.png)
softmax回归是一种将预测转化为概率的方法,将数值转化为0-1之间,方便查看概率
一般分类网络最后都会经过coftmax网络预测标签对应概率
![](https://i-blog.csdnimg.cn/blog_migrate/725735ab5e81a7f1d456b485413414f8.png)
神经元与感知机
神经网络最小的单元为神经元,单个神经元模型与线性模型非常相似,单个神经元加入激活函数为感知机,可以很好的完成2分类任务
![](https://i-blog.csdnimg.cn/blog_migrate/6aa10a37248036fe8724937289f83902.png)
慢慢人们发现,无法解决XOR问题(输入输出满足异或关系),多层感知机应允而生,由多层的神经元所组成
既然;俩层神经网络魔心可以解决XOR问题,那么更深层的神经网络是不是可以拟合任意函数那?
![](https://i-blog.csdnimg.cn/blog_migrate/bedec593e07d81d3a4c986f8d51e02a3.png)
多层网络与BP算法
BP算法算是神经网络的核心算法了。通过反向传播可以更新参数
![](https://i-blog.csdnimg.cn/blog_migrate/0793fa7e2788a4562aea75c2484e77a2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9a1a32e0a60173ab317c681aab4dcb6.png)
BP算法的核心思想就是利用误差反向传播更新权值,由求导链式法则,在梯度方向下传递
![](https://i-blog.csdnimg.cn/blog_migrate/d1cb97ea76de942fc7dfc4996a881ae3.png)
正则化
![](https://i-blog.csdnimg.cn/blog_migrate/205e3f9bdccd23d8e57d0fa090b7c760.png)
机器学习中经常会在损失函数中加入正则项,称之为正则化
引入正则化使为了克服过拟合
增强模型的泛化能力