神经网络及其技巧

attention

https://blog.csdn.net/zimiao552147572/article/details/105893587/

BahdanauAttention注意力机制：基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构

反卷积

self.upsample = torch.nn.ConvTranspose1d(n_mel_channels, 
                                                 n_mel_channels, 
                                                 1024, stride=256) 
        # (1) 80 conv_transpose_1d: 卷积转置1d! 
        #     (反卷积)卷积操作的作用类似神经网络中的编码器，
        #     用于对高维数据进行低维特征提取，
        #     而 反卷积 通常用于将低维特征映射成高维输入，
        #     与卷积操作的作用相反。同时也是一种基于学习的上采样实现方法。
        # (2) 80 
        # (3) kernel_size = 1024. 
        #     (Lin-1)*stride-2*padding+dilation*(kernel_size-1)+output_padding+1
        # =(Lin-1)*256-2*0+1*(1024-1)+0+1=256*Lin-256+1024=256*(Lin-1)+1024 =
        # = 256 * (63-1) + 1024 = 16896. 
        #  这里Lin=输入的sequence的长度。

https://blog.csdn.net/tfcy694/article/details/89073443
waveglow

1 https://zhuanlan.zhihu.com/p/351479696
2 https://zhuanlan.zhihu.com/p/355219393