Video Transformer Network
前言
目前,将transformer结构用于行为识别的文章还比较少,比较出名的有这一篇VTN和19年的一篇文章。此处先记录VTN。一、背景
近年来,基于CNN的行为识别已经刷爆了UCF101等小的数据集,但在大数据集上的准确率难有很大的突破。Transformer作为一种新的方法,有望突破这个瓶颈。由于使用了自注意力机制,Transformer的参数量极大,难以处理长序列。为了解决这个问题,Longformer被提出。而VTN就是基于Longformer对视频进行分类的。
二、框架
Transformer is born for video. f(x)为已有的提取特征的框架(c3d, i3d,VIT etc.),将特征提取出来后,嵌入位置编码。文中positional embedding用了三种方法:learned, fixed, no positional embedding,直觉上应该是learned positional embedding结果最好,但文中的实验显示no positional embedding 的结果最好(只好大概0.01%…)。
由于作者还没有公开代码,先写这么多,之后再补。
总结
感觉啥也没写,就先不总结了。