斯坦福深度学习CS230课程cheatsheet学后总结笔记（1）

斯坦福深度学习CS230课程cheatsheet学后总结提纲1

Marshal Zheng 2019-04-12

Overview

传统CNN的结构：输入图像——卷积——池化——全连接

其中，卷积层和池化层可根据超参微调

TYPES OF LAYER

卷积层

使用滤波器filter执行卷积操作。其超参包括滤波器尺寸F和步幅（窗口移动长度）S，输出是特征映射或叫激活映射feature mapor activation map

池化层：

下采样操作，卷积层之后进行，空间不变性，最大池化（每一个池化操作选择当前view最大值），平均池化（每一个池化操作选择当前view平均值），最大池化广泛使用，平均池化在LeNet中使用

全连接层

一般在CNN的最后，用来优化目标

FILTER HYPERPARAMETERS

滤波器维度

$F\times F$大小，包含$C$个通道，体积为$F\times F\times C$，输入大小：$I\times I\times C$输出feature map大小：$O\times O\times 1$，应用$K$个滤波器，输出大小为：$O\times O\times K$

步幅S

每次操作窗口移动的像素

0-填充

增加$P$个0到每个输入的边界，可以手动可以自动。

TUNING HYPERPARAMETERS

卷积层参数适应性（兼容）

$$O=\frac{I-F+P_{start}+P_{end}}{S}+1$$

理解模型复杂性

以参数的数量来决定（一般）

容纳域

第$k$层，第$k$个激活映射，输入大小：$R_k\times R_k$，其中
$$R_k=1+\sum _{j=1}^k(F_j-1)\prod _{i=0}^{j-1}{S}_i$$

COMMONLY USED ACTIVATION FUNCTIONS

ReLU(rectified(矫正) Linear unit)

目标要表示网络中的非线性，通常还有Leaky ReLU,ELU

Softmax：可以看成一个生成式的logistics函数，输入x的打分向量，输出概率p，定义为：
$$p=\left\{\begin{array}{c}{p}_1\\ p_2\\ \cdots \\ p_k\end{array}\right\}where{p}_i=\frac{e^{x_i}}{{\sum }_{j=1}^n{e}^{x_j}}\text{\hspace{1em}(2)}$$

OBJECT DETECTION

模型类别-三种主要识别算法

• 图像识别：传统CNN
• 分类和目标位置识别：简单YOLO, R-CNN
• 目标检测：YOLO, R-CNN

检测-两种主要方法

• 约束框检测（BOUNDING BOX DETECTION)
• 标志检测(LANDMARK DETECTION)

交并比（IoU）

$$IoU(B_p,B_a)=\frac{B_p\cap B_a}{B_p\cup B_a}$$

锚盒

预测重叠的约束框（bounding boxes），允许网络同时预测多余一个框，每个框有一个给定的集合形状特点。

Non-max suppression

去除重叠的约束框。首先选择最有代表性的一个框，之后选出所有预测概率小于0.6的框。WHILE 仍然有框剩下，则执行以下步骤：

• step 1：选出最大概率的框
• step 2：抛弃所有IoU$\ge 0.5$的框

YOLO：YOU ONLY LOOK ONCE

算法步骤：

• step 1：将输入图像分成$G\times G$的栅格
• step 2：对每个栅格单元，跑 CNN，预测小面格式的y

$$y=[\underset{重复k次}{\underbrace{p_c,b_x,b_y,b_h,b_w,c_1,c_2,\cdots ,c_p}},\cdots {]}^T\in R^{G\times G\times k\times (5+p)}$$

其中，$p_c$是检测目标的可能性，$b_x,b_y,b_h,b_w$是检测约束框的特征，$c_1,\cdots ,c_p$是one-hot哪个p类被检测到的代表，$k$是锚框的数量

• step 3：运行non-max suppression算法来去除潜在的重叠的约束框

remark：$p_c=0$的时候，网络没有检测目标，相应的预测$c_x,b_x$也被忽略。

R-CNN：REGION WITH CONVOLUTIONAL NEURAL NETWORKS

• 首先分割图像找到潜在相关的约束框
• 然后，运行检测算法在这些约束框中找到最可能的目标

remark：虽然原始的算法计算代价很大，运算很慢，但是新的架构让算法运行更快乐，比如Fast R-CNN，和Faster R-CNN