阅读小结：A Comprehensive Study of Deep Learning for Image Captioning

作者：

题目：A Comprehensive Study of Deep Learning for Image Captioning

出处：arXiv:1810.04020v2 [cs.CV] 14 Oct 2018

What

这是Image Captioning 领域的最新review，感觉非常好。

首先，做Cap的大概分三个类别：

1. Temple-based Image Cap
2. Retrieval-based Image Cap
3. Novel image caption generation

而，DL-based是第三类 Novel Image Caption Generation的一种。基于深度学习的Cap是目前做的最多的一个方向，像我这样的渣渣跟大佬后面慢慢学、慢慢做吧。

基于深度学习的Cap方法总结：看看作者的总结图。论文的主体也是分6个部分详细介绍。

1. Visual Space vs. Multimodal Space

Bulk of Cap methods 使用的都是 visual space 生成cap。下面2-5都是基于视觉空间生成Cap的。

而 Multimodal Space 多了Language Encoder来提取单词的特征。典型的 多模态空间 结构有四个部分：

• a Language Encoder part：提取单词特征并学习每个单词的特征嵌入；
• a vision part，即Image Encoder部分：使用深度CNN提取图像的特征；
• a multimodal space part：将图像特征映射到（map-into）具有单词特征的公共空间；
• a language decoder part：通过解码map生成Cap。

2. Supervised Learning vs. Other Deep Learning

3. Dense Captioning vs. Captions for the whole scene

---

说完基于多模态的Cap和dense Cap，下面的都是基于视觉空间、使用监督学和整个区域生成Cap

4. Encoder-Decoder Architecture vs. Compositional Architecture

5. Others（attention-based）

基于Attention的方法和其他方法的不同点是，attention-based可以注意到图片中的显著部分，同时生成相应的单词。

5. Others（Semantic Concept-Based Image）

5. Others（Semantic Concept-Based Image）


5. Other（Stylized Caption）
上面的的方法都是基于图片内容生产Cap，是一种力求Cap符合图片内容的客观描述，而这个方法考虑生产一直风格化的Cap，比如上次幽默、搞笑等等。

---

这篇综述后面还有内容，放在以后再写。

---

end