深度学习前10节

1.机器学习的流程

(1)数据获取 （2）特征工程 （3）建立模型 （4）评估与应用

2.特征工程的作用

（1）数据特征决定了模型的上限
（2）预处理和特征提取是最核心的
（4）算法与参数 决定如何逼近上限

3.深度学习的应用

计算机视觉、自然语言
（1）人类识别
（2）自动驾驶
（3）医学中的检测
（4）上色：超分辨率重构
ttps://www.image-net.org/update-mar-11-2021.php
深度学习适合与几万、几十万甚至更多的数据，性能会更好！
（深度学习的数据的扩充：如果是图像数据，可以对图像旋转、变换、镜面对称）

4.图像分类

（1）假设图片是猫，有一系列标签（狗，猫，汽车，飞机…) 最后要判断是猫
1）把图片看成一个矩阵，然后矩阵用三维数组表示，每个像素值从0到255.
0黑， 255白（数值越大代表图像越亮，数值越小代表图像越暗。）
eg:3001003
比如宽w=300，长l=100,颜色通道是3
颜色通道通常是（RGB:红/绿/蓝）
（2）计算机视觉面临的挑战：照射角度、形状改变、部分遮蔽、背景混入

5.图像分类

（1）机器学习常规套路

1）收集数据并给定标签
2）训练一个分类器
3）测试和评估

（2）K近邻算法

（1）计算已知类别数据集的点和当前点的距离
（2）按照距离依次排序
（3）选取与当前按点距离最小的K个点
（4）确定前K个点所在类别的出现概率
（5）返回前K个点出现频率最高的类别作为当前点的预测分类

（3）K近邻的测试结果
1）部分结果可以
2）对应位置的像素点相减，但是会出现背景相同的会放在一起。
3)总结：背景主导是一个最大的问题，但是我们关注的是主题（主要成分）

6.得分函数

1.线性函数：从输入到输出的映射

1)w:权重参数 13072
x:像素点 30721
w1猫的得分，w2是狗的得分
10：代表10个不同类别
b：偏置参数，起到微调作用

7.线性函数

(一）softmax分类器


补充：先进行归一化，在进行计算损失值。
(1)概率值越接近于1，损失值越小
(2)logp(xi)是负值，所以-logp(xi)是正值。
(3)前向传播
回归问题：由得分算损失值
分类问题：由概率值求损失值
(4)更新模型：反向传播更新模型，也就是梯度下降
Loss高，我们需要调解w权重参数
(二）前向传播、反向传播

（三）反向传播的例子
（1）绿色代表输入，红色代表梯度下降的结果。





（1）加法门单元：对x求偏导（y就是常数），所以就等于1
对 y求偏导（x就是常数），所以就等于1
也就是均等分配。
（2）Max比如 z=2,w=-1，所以我们选z,然后把梯度下降(红色的值）给z，w就取0了。

乘法门单元：x*y，对x求偏导是y , 对y求偏导是x。也就是x与y进行互换。

8.神经网络

（1）层次结构：输入层、隐藏层、输出层
（2）神经元就是那里面的圆圈
（3）全连接：输入层的第一个神经元和隐藏层的每一个神经元都是有连接的，也就是称作全连接。
补充：输入层是3个神经元，也就是3个特征。在隐藏层里面变成4个神经元也就是对特征的权重进行了扩充。
（4）输入层：13，一个样本三个特征
隐藏层1：14，一个样本四个特征
输入层和隐藏层1之间的连线是w1=[3,4]的矩阵

(5）非线性只能在每次x与w权重矩阵乘法之后才能进行。
常见的非线性函数有：sigmoid函数和max函数