Shortcut
Case
- 如果输入和输出的维度一样, y=(x,{Wi})+x y = F ( x , { W i } ) + x
- 如果输入和输出的维度不一样:
- A: 通过zero-padded 填充output
- B: 用projection shortcut增大dimension size,只有输入和输出维度不一致时使用 y=(x,{Wi})+Wsx y = F ( x , { W i } ) + W s x
- C: 所有shortcut都是projection类型,即使输入输出维度一样,此时 Ws W s 是square matrix