RoPE:两对坐标,各自旋转
把两个二维平面摆开,比较快慢频率。Q、K各对独立旋转;4维仍是4维,V保持原样。
d = 4 → 4
蓝色Q · 青色K · 虚线为未转方向
三维仅用于摆放平面,不是增加向量坐标。
当前原始 Q′·K′n−m = −1
V不参与RoPE [1,0,1,0] → [1,0,1,0]
尚未除以√d、加因果掩码或做Softmax。
Q
K
点击“共同后移 +3”锁定一次前后对照,再用“只移 K +1”比较位置差改变的情况。
操作前
操作后
此处锁定最近一次按钮操作的前后值,拖动滑条不会改写它。
正式模型每头32维,共16对;每一对仍在自己的二维平面中旋转。本演示保留d=4的两对,下面只列正式频率。
| 坐标对 | 坐标 | ωᵢ |
|---|
公式、适用范围与来源
三维仅用于摆放平面,不是增加向量坐标。 尚未除以√d、加因果掩码或做Softmax。
Q = K = [1,0,1,0] · V不参与RoPE [1,0,1,0]
ωᵢ = theta^(−2i/d),theta=10000。每对(a,b) → (a cosα−b sinα, a sinα+b cosα)。
共同平移结论要求Q/K内容保持固定。不同位置差也可能给出相同点积;这不是位置差的唯一编码。箭头显示最终朝向,数值保留完整弧度。
构建前先核对l13保存的二维算例,再把其[1,0]重复成正文的4维固定内容。交互值按课程RoPE公式即时计算,V仅作不旋转的对照。