超级会员免费看
Transformer网络是一种深度学习模型，由Google在2017年提出，广泛应用于自然语言处理任务。它通过自注意力机制解决了传统序列模型如RNN的梯度消失问题。Transformer包含Encoder和Decoder，Encoder通过自注意力机制捕获输入序列的全局信息，Decoder结合编码信息和已生成序列预测输出。训练时，Decoder输入包括目标序列和Encoder输出；测试时，从特殊起始符号开始生成输出序列。Transformer的Embedding包括位置编码和词嵌入，用于将输入序列转化为向量表示。
B站：啥都会一点的研究生
公众号试读：啥都会一点的研究生
目录
- 说说什么是Transformer？
- 说说Transformer中的Encoder？
- 说说Transformer中的Decoder？
- 说说Transformer在训练与测试阶段Decoder的输入、输出是什么？
- 说说Transformer Encoder和Decoder有哪些不同？
- 说说什么是Transformer中的Embedding?
- 说说Positional Embedding？
- 说说什么是Transformer中的Attention?
- 说说Transformer Attention中的Q、K、V？
- 说说什么是Transformer中 Attention的实现步骤?
- 说说什么是Transformer中的Multi head attention？
- 说说什么是Transformer中的Mask Multi head attention？
- 说说什么是Transformer中的Feed Forward Networks？
说说什么是Transformer？
Transformer网络是一种用于自然语言处理和计算机视觉任务的深度学习模型。它在2017年由Google提出，并被广泛应用于各种自然语言处理任务，如机器翻译、文本摘要、文本分类等。
传统的序列模型如循环神经网络（RNN）在处理长文本时会遇到梯度消失或梯度爆炸的问题，而Transformer网络通过引入自注意力机制（self-attention mechanism）来解决这一问题。
自注意力机制是一种通过对输入序列的所有位置进行注意力计算，从而同时考虑输入序列中的所有位置信息的方法。在Transformer网络中，输入序列的每个位置都会通过与其他位置的关系进行联系，在编码器（Encoder）和解码器（Decode
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
