【LLM】5：Self-Attention中注意力分数的含义

自注意力机制（Self-Attention）是Transformer模型的核心组件，其中Q、K、V矩阵分别代表查询（Query）、键（Key）、值（Value）。它们的作用和含义可以通过信息匹配过程来理解。在自注意力机制中，输入的序列数据会经过线性变换，生成这三个矩阵，然后用于计算注意力权重和最终输出。

1. Q（Query）— 查询矩阵

• 含义：查询矩阵代表我们当前正在处理的一个输入位置上的信息，目的是从整个序列中寻找与该位置最相关的信息。换句话说，Q 矩阵中的每个向量（对应于序列中的每个单词或元素）用于“提问”：我应该关注哪些位置的信息？
• 作用：Q 矩阵的每一行对应序列中一个输入向量（通常是词向量或某一层的隐状态），这些向量在后续计算中会与 K（键）矩阵进行相似度计算，以确定应该关注序列中的哪些部分。

2. K（Key）— 键矩阵

• 含义：键矩阵用于提供序列中的信息，以供查询矩阵进行匹配。可以理解为K矩阵中存储了“回答”的潜在信息，代表整个序列中每个位置上携带的特征。
• 作用：K矩阵的每个向量对应序列中的一个元素，当 Q（查询）矩阵与 K（键）矩阵进行点积计算时，会得出它们的相似度评分，这个评分表明查询在当前时刻应该关注该元素的程度。

3. V（Value）— 值矩阵

• 含义：值矩阵代表序列中的实际信息内容，它是自注意力机制最终返回给每个查询的信息来源。
• 作用：V 矩阵不会直接参与相似度计算，但在相似度计算得到的注意力权重矩阵确定后，V 矩阵的值会被加权求和，最终返回每个查询所关注的内容。V 矩阵提供的是实际的数据，经过加权后输出结果。

4. 简单类比

可以把 Q、K、V 机制类比为一个信息检索过程

• Q（查询）：类似我们提出的搜索问题，目的是从大量信息中寻找相关答案。
• K（键）：类似信息库中的索引，它们决定哪些信息与查询相关。
• V（值）：类似实际的内容，是查询找到相关信息后的返回结果。

Q 用来提出问题，K 用来匹配相关性，V 则是我们最终希望获取的信息

5. 注意力分数含义

计算公式为：$Attention(Q,K,V)=softmax(\frac{Q\cdot K^T}{\sqrt{d_k}})V$（Q与K的转置做内积，再除以K的维度，经过softmax归一化，最后与V相乘。Q,K,V 皆为矩阵）

1. $Q\ast K^T$：两个矩阵点乘，数学上也叫做内积——表征两个向量夹角的大小（投影的大小），也就是相关性大小；
2. $/\sqrt{d_K}$：$d_K$是键向量的维度，用来进行缩放平衡，防止点积值过大；
3. $softmax()$：归一化；
4. $\ast V$：将注意力权重与值矩阵 $V$ 进行加权求和，得到注意力分数;

注意力分数含义：Q 和 K 之间的相关性决定了哪些值（V）对当前查询的Q有较高的贡献，帮助模型在聚焦Q的问题时，给更多的注意力在有用的V身上。