
Informer论文总结
最近的研究表明,Transformer有可能提高预测能力。然而,Transformer有几个严重的问题,使其无法直接适用于LSTF出发点(1)Transformer中的自注意力计算是平方复杂度 O(L2)(2)传统Transformer的Block输入输出的shape不变是柱状形式,J个Block带来的复杂度就是 O(Z2)*J,导致模型的输入无法变的过长,限制了时序模型的可扩展性。(3)传统Transformer的Decoder阶段输出是step-by-step,一方面增加了耗时,另一方






