6.3 语义分割与FCN
6.3.1 语义分割定义及算法
语义分割:找到同一画面中的不同类型目标区域
基本思想:对图中每一个像素进行分类,得到对应标签
6.3.2 反卷积与反池化
反卷积
反池化
6.3.3 FCN具体实现
卷积部分:
FCN中第6、7、8层都是通过 1 × 1 卷积得到的,第6层的输出是 4096 × 7 × 7 ,第7层的输出是 4096 × 7 × 7 ,第8层的输出是 1000 × 7 × 7 ,即1000个大小是 7 × 7 的特征图(称为heatmap)
FCN-32S的网络结构
6.3.4 FCN训练结果
6.3.5 FCN的评价指标
6.4 风格迁移
定义:如果你是一位摄影爱好者,也许接触过滤镜。它能改变照片的颜色样式,从而使风景照更加锐利或者令人像更加美白。但一个滤镜通常只能改变照片的 某个方面。如果要照片达到理想中的样式,经常需要尝试大量不同的组合, 其复杂程度不亚于模型调参。 在本节中,我们将介绍如何使用卷积神经网络自动将某图像中的样式应用在 另一图像之上,即风格迁移。 这里我们需要两张输入图像,一张是内容图像,另一张是样式图像,我们将使用神经网络修改内容图像使其在样式上接近样式图像。
6.4.1 方法
首先,我们初始化合成图像,例如将其初始化成内容图像。该合成图像是样式迁移过程中唯一需要更新的变量,即样式迁移所需迭代的模 型参数。
然后,我们选择一个预训练的卷积神经网络来抽取图像的特征,其中的模型参数在训练中无须更新。深度卷积神经网络凭借多个层逐级抽取图像的特征。我们可以选择其中某些层的输出作为内容特征或样式特征。
6.4.2 损失函数
内容损失(content loss)使合成图像与内容图像在内容特征上接近
样式损失(style loss)令合成图像与样式图像在样式特征上接近
总变差损失(total variation loss)则有助于减少合成图像中的噪点。 最后,当模型训练结束时,我们输出样式迁移的模型参数,即得到最终的合成图像
6.4.3 小结
样式迁移常用的损失函数由3部分组成:内容损失使合成图像与内容图像在内容特征上接近,样式损失令合成图像与样式图像在样式特征上接近,而总变差损失则有助于减少合成图像中的噪点。
可以通过预训练的卷积神经网络来抽取图像的特征,并通过最小化损失函数来不断更新合成图像。
用格拉姆矩阵表达样式层输出的样式。
6.5 生成对抗网络
生成对抗网络(GAN)的初始原理十分容易理解,即构造两个神经网络,一个生成器,一个鉴别器,二者互相竞争训练,最后达到一种平衡(纳什平衡)。
GAN 启发自博弈论中的二人零和博弈(two-player game),GAN 模型中的两位博弈方分别由生成式模型(generativemodel,G)和判别式模型(discriminative model,D)充当。
生成模型 G 捕捉样本数据的分布,用服从某一分布(均匀分布,高斯分布等)的噪声 z 生成一个类似真实训练数据的样本,追求效果是越 像真实样本越好。
判别模型 D 是一个二分类器,估计一个样本来自于训练数据(而非生 成数据)的概率,如果样本来自于真实的训练数据,D 输出大概率, 否则,D 输出小概率。
7 循环神经网络与NLP
7.1 数据处理基础
7.1.1 特征编码
使用199维特征向量表达一个人的特征
7.2 文本处理
7.2.1 文本切分
7.2.2 统计词频
创建一个字典( 实际中经常使用 Hash 表 ) 进行词频统计 (初始字典为空)
将词频索引化如果词汇太多,则只保留排序在前的k个单词 (如取𝑘 = 10000)
将每一个词映射到索引号上
7.3 文本预处理
一篇文章可以被简单地看作一串单词序列,甚至是一串字符序列。 我们将解析文本的常见预处理步骤。 这些步骤通常包括:
将文本作为字符串加载到内存中
将字符串切分为词元(如单词和字符)
建立一个字典,将拆分的词元映射到数字索引
将文本转换为数字索引序列,方便模型操作
读取数据集
将原始文本以文本行为单位进行切分
7.4 文本嵌入
7.5 RNN模型
7.6 LSTM模型
LSTM的遗忘门也是处理问题的核心方法
在训练结果方面也会比RNN好一些