阅读小结：MSR:From Captions to Visual Concepts and Back

人与人的根本区别在于自律能力。

作者：H. Fang et al.
题目：From Captions to Visual Concepts and Back
出处：2015，CVPR

What

仍然是 Image Captioning 的问题。不同于Google的 encoder-decoder 模型，MSR（Microsoft Research）采用传统的语言建模方式。

1、摘要
本文介绍了一种自动生成图像描述的新方法：直接地从图像captions数据集中学习的视觉检测器（visual detectors），语言模型（language models）和多模态相似性模型（multimodal similarity models）。我们使用多个示例学习（MIL，Multiple Instance Learning）来训练视觉检测器，这些检测器通常出现在字幕中，包括许多不同的词性，如名词，动词和形容词。

单词检测器（word detector）输出用作最大熵语言模型的条件输入。

语言模型（language models）从一组超过400,000个图像描述中学习，以捕获单词使用的统计数据。

我们通过使用句子级特征和深度多模态相似性模型对字幕候选者进行重新排序（re-ranking）来捕获全局语义。

我们的系统是官方微软COCO基准测试的最新技术，BLEU-4得分为29.1％。 当人类评委将系统字幕与其他人在我们的保持测试集上编写的字幕进行比较时，系统字幕在34％的时间内具有相同或更好的质量。

2、MIL
在图像分类中，bags是一张图，图像分割出来的patchs就是一个示例（instance）。使用多示例学习（Multiple Instance Learning）的方法，不仅可以从图像中提取可能的单词，而且可以把单词对应到具体的图像区域。在这篇论文中，就是使用多示例学习来处理从图片出提取单词这一问题。

How

1、detect word
使用多示例学习来处理从图片出提取单词。

2、generate sentences
使用传统方法生成句子。

3、re-rank sentences
通过句子特征的线性加权重新排列高似然句子。

---

end