用TensorFlow为图片添加字幕

最新推荐文章于 2021-03-02 08:40:00 发布

OReillyData

最新推荐文章于 2021-03-02 08:40:00 发布

阅读量755

点赞数 1

本文链接：https://blog.csdn.net/zkh880loLh3h21AJTH/article/details/78100385

版权

本文提供了一个中级教程，教你如何使用TensorFlow和Flickr30k数据集训练一个图片字幕生成器。模型基于VGG-16的预训练特征，通过RNN/LSTM解码生成字幕。文章涵盖了模型构建、训练和推断过程，讨论了字幕生成的局限性和未来改进方向。

摘要由CSDN通过智能技术生成

编者注：读者请注意，本文相应的Python代码和iPython notebook都在GitHub上，我们邀请你去访问。

如何使用TensorFlow来构建和训练一个图片字幕生成器

图片字幕生成模型结合了近年来计算机视觉和机器翻译方面的进步，通过使用神经网络来生成现实图片的字幕。对于一个给定的输入图片，神经图像字幕模型被训练来最大化生成一个字幕的可能性。可以被用来产生新颖的图像描述。例如，下面是用MS COCO数据集训练的一个神经图像字幕生成器所产生的字幕。

图1. 来源：Paul Puri。图片来自MS COCO数据集

在这篇文章里，我们会介绍一个中级程度的教程，教大家如何使用谷歌的“Show and Tell”模型的一种变形和Flickr30k数据集来训练一个图片字幕生成器。我们使用TensorFlow的框架来构建、训练和测试我们的模型，因为它相对容易使用而且也有一个日益庞大的在线社区。

为什么要生成字幕？

近年来在计算机视觉和自然语言处理任务上应用深度神经网络的成功激励着AI研究人员去探索新的研究机会，交叉连接这些之前互相独立的领域。字幕生成模型就必须去对视觉线索和自然语言的理解进行平衡。

这两个传统上无关的领域的交叉有可能在更大的范围内产生变革。这一技术现在已经有一些很直接的应用。比如，为YouTube视频自动生成摘要或是标注未标记的图片。而更多的有创造力的应用则会大幅度提高一个更广泛的人群的生活质量。与传统的计算机视觉试图去让计算机能更好地接触和理解这个世界一样，这一新技术具有进一步让这个世界对人类更加可达与可理解的潜力。它可以是一个导游，甚至可以成为日常生活的一个视觉帮助服务。比如意大利的AI公司Eyra所开发的Horus可穿戴设备所展示的这个场景。