深度学习是机器学习的一个重要分支,人工智能、机器学习和深度学习的关系如下图所示:
定义:
人工智能:努力将通常由人类完成的智力任务自动化。 符号主义人工智能、专家系统
机器学习:计算机自我学习执行特定任务,如下图是经典程序设计和机器学习区别
深度学习属于统计学习的范畴
统计机器学习,就是从数据出发,提取数据的特征,抽象出数据的模型,发现数据中的知识,最后又回到数据的分析与预测当中去。
深度学习强调从连续的层中进行学习,主要从三个要素进行分析:
1、输入数据点
2、预期输出的示例
3、衡量算法效果好坏的方法
深度学习的工作原理如图:(图来源Deep Learning With Python(2018))
输入X就每个输入找一个权重,得出结果先经过一个非线性的转换,转换结束得到第一层输出,第一层输出乘以下一层权重,再经过非线性转换,得到输出,如果只有两层,那么我们就得到了预测Y',将预测值与标准答案进行比较,使用损失函数得到损失值,损失值作为反馈信号经过优化器来对权重值进行微调,来降低当前示例对应的损失值(这就是所谓的反向传播算法),直至损失值最小。
(图来源Deep Learning With Python(2018))
1.2 主要讲了机器学习的发展史,首先是概率建模,如:朴素贝叶斯、logistic回归;然后是神经网络、核方法(kernel method,最著名的是支持向量机(SVM)利用间隔最大化解决决策边界的问题);决策树、随机森林与梯度提升机,最后总结:浅层学习——梯度提升机,感知问题——深度学习。