点乘和叉乘的应用

点乘:两个向量点乘得到一个 标量 ,数值等于两个向量长度相乘后再乘以二者夹角的余弦值 。如果两个向量a,b均 为单位 向量 ,那么a.b等于向量b在向量a方向上的投影的长度
点乘后得到的是一个值
若结果 == 0,则 两向量 互相垂直 。
若结果 < 0  ,则 两向量夹角大于90°。
若结果 >0  , 则 两向量夹角小于 90°。
用点乘判断向量朝向关系
考虑到,cos(0)=1,cos(π)=-1,cos(π/2)=0,那么我们就可以用点乘来判断两个向量的朝向关系了。
π就是180度的实数表示。
如果两个向量方向完全相同,那么夹角为0,则cos(θ)为1;
如果两个向量方向垂直,那么夹角为90度即π/2,则cos(θ)为0;
如果两个向量方向完全相反,那么夹角为180度即π,则cos(θ)为-1;
其他情况,点乘的值介于-1~1之间。

叉乘:两个向量的叉乘得到一个新的向量 ,新向量垂直于原来的两个向量再乘夹角的正弦值 
叉乘后得到的还是一个 向量

在unity3D里面。两个向量的点乘所得到的是两个向量的余弦值,也就是-1 到1之间,0表示垂直,-1表示相反,1表示相同方向。
两个向量的叉乘所得到的是两个向量所组成的面的垂直向量,分两个方向。
简单的说, 点乘判断角度,叉乘判断方向。
形象的说当一个敌人在你身后的时候,叉乘可以判断你是往左转还是往右转更好的转向敌人,点乘得到你当前的面朝向的方向和你到敌人的方向的所
成的角度大小。
### 在注意力机制中的应用 #### 1. **应用** 在深度学习的注意力机制中,被广泛应用于计算词与词之间的相似度。具体来说,查询矩阵 \( Q \) 键矩阵 \( K \) 的转置相的结果表示了各个位置上的词语之间的关系强度[^1]。这种操作的核心目的是衡量两个向量的方向一致性,从而反映它们语义上的接近程度。 例如,在一个多头自注意结构里,当给定一组输入嵌入时,这些嵌入会被线性变换映射到三个不同的空间——即分别对应于 \( Q, K, V \)[^3]。接着执行如下运算: \[ \text{Attention}(Q,K,V)=\text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V \] 这里的关键部分就是 \( QK^\top / \sqrt{d_k} \),它代表了标准化后的积得分矩阵,其中每一项都体现了某个特定位置相对于其他所有位置的关注权重分布情况[^2]。 值得注意的是,为了稳定梯度流动并控制数值范围,通常会对上述表达式的分子实施缩放处理(即将其除以\( d_k^{0.5} \))。 #### 2. **的作用及其局限性** 相比之下,并不常见于标准形式下的注意力机制实现之中。这是因为主要适用于三维欧几里德空间内的几何问题解决场景下定义方向垂直性的工具之一,并不适合用来评估高维数据间的关联特性[^4]。 然而,在某些特殊情况下或者扩展变体版本当中可能会引入类似概念来增强模型表现力。比如通过设计额外路径捕捉更复杂的交互模式等方法间接利用到了某种意义上的“广义化”的交作用原理。但这已经超出了传统意义上简单二元比较范畴之外的内容讨论层面了。 ```python import numpy as np def scaled_dot_product_attention(query, key, value): """ 实现简化版的Scaled Dot-Product Attention """ scores = np.dot(query, key.T) / np.sqrt(key.shape[-1]) # 计算积并进行尺度调整 attention_weights = softmax(scores) # 应用Softmax函数获取概率分布 output = np.dot(attention_weights, value) # 加权求得到最终输出 return output, attention_weights def softmax(x): e_x = np.exp(x - np.max(x)) return e_x / e_x.sum(axis=0) ``` 以上代码片段展示了如何基于Python/Numpy库构建基础型态的Scale-Dot Product Attention逻辑流程图解说明文档链接地址:https://arxiv.org/abs/1706.03762. ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值