Video Transformer Network

Video Transformer Network

---

前言

目前，将transformer结构用于行为识别的文章还比较少，比较出名的有这一篇VTN和19年的一篇文章。此处先记录VTN。

---

一、背景

近年来，基于CNN的行为识别已经刷爆了UCF101等小的数据集，但在大数据集上的准确率难有很大的突破。Transformer作为一种新的方法，有望突破这个瓶颈。由于使用了自注意力机制，Transformer的参数量极大，难以处理长序列。为了解决这个问题，Longformer被提出。而VTN就是基于Longformer对视频进行分类的。

二、框架

Transformer is born for video. f(x)为已有的提取特征的框架(c3d, i3d,VIT etc.)，将特征提取出来后，嵌入位置编码。文中positional embedding用了三种方法：learned, fixed, no positional embedding，直觉上应该是learned positional embedding结果最好，但文中的实验显示no positional embedding 的结果最好（只好大概0.01%…）。

由于作者还没有公开代码，先写这么多，之后再补。

总结

感觉啥也没写，就先不总结了。