Dive into deep learning with pytorch task 08： 文本分类；数据增强；模型微调

 

7 文本分类

 

可以用RNN CNN模型。

 

RNN可以多层叠加，在初始时需要两个特殊向量来表示文本的两端。

cnn: 一维cnn的输出宽度 = 输入宽宽- 核 宽度+1

 

 

glove之类词向量可以直接加载使用，要注意的是，预加载词向量不要允许它更新。

 

 

分类的实质是向量通过处理后用全连接输出类别的概率。

 

8 数据增强。

 

对于样本量少的训练集，需要用数据增强方法扩大数据集量，防止过拟合，减少特征依赖，增加泛化能力。

可以对图对进行旋转，调整色调，亮度，进行局部裁减，多个替加或者进行翻转以增加训练样本数量，让模型对图片的亮度、色彩或位置特征等不太敏感。

 

 

9 模型微调

微调是transfer learning的一种。

将模型的除输出层外的层用预训练模型初始化，输出层用随机值初始化。 在图象中，由于前面层学习到的是边缘或纹理类的信息，这些信息是通用的。 模型微调方法可以解决 训练样本不足的问题。可以通过少量样本学习得到比较好的结果。