【论文阅读】Scene Text Telescope: Text-Focused Scene Image Super-Resolution

摘要

特定于文本的属性，如文本级布局和字符级细节在处理场景文本图像提升分辨率任务上也不容忽视。因此本文建立了一个聚焦文本的超分辨率框架，称为场景文本望远镜(STT)。在文本级布局方面，本文提出了一个基于Transformer的超分辨网络(TBSRN)，包含一个自注意模块来提取序列信息，对任意方向的文本具有鲁棒性。在字符级的细节方面，本文提出了一个位置感知模块和一个内容感知模块来突出每个字符的位置和内容。通过观察一些字符在低分辨率条件下看起来难以区分，本文使用加权交叉熵损失来解决这个问题。

方法

STT的总体架构如图所示。在Pixel-Wise Supervision模块（绿色虚线框）中，首先通过Spatial Transformer Network(STN)对低分辨率的文本图像进行校正，以解决错位问题。校正后的图像进入一系列基于Transformer的超分辨率网络(TBSRN)，然后通过像素变换上采样到超分辨率的文本图像。在Position-Aware模块（红色虚线帧）中，以相应的HR图像作为参考，对HR图像和SR图像的注意图进行L1损失监督。Content-Aware模块（蓝色虚线框架）提供了关于内容的线索，并使用了一个加权的交叉熵损失来区分可混淆的字符。

Pixel-Wise Supervision Module

提出了一个基于Transformer的超分辨率网络(TBSRN)，它主要包含