把特征分开,位置一个不少

跟住一个数字,看拆头、交换轴和合头怎样重排坐标。每个头都保留全部位置,12 个数始终不变。

当前形状
[1, 3, 4]
12 → 12
B = 0
查看静态拆分图

此设备暂时无法显示三维视图,下方索引表仍可逐步查看。

正在准备三维视图…

步骤

1 / 5
索引表与说明(可滚动)

点一个数,核对它的索引

本实验只拆分、交换轴与拼回,不执行投影或注意力计算。正式注意力中,Q/K/V 先投影,再分头。

拆分后的三个空间方向对应位置、头与头内坐标;轴顺序随步骤改变,批次 B=1 固定。方块厚度用于分辨格子,不代表额外维度。

数据来自第 12 讲保存的实验记录,未重新训练。 查看静态拆分图 ↗