从零手写大模型 / 一次真实前向
模型解剖台
盯住一个字,打开它经过的每一层。64个数怎样改变,“红”的高分又从哪里来,都能沿同一条记录核对。
已保存的预训练权重 · 92,352个参数 · 本页只查看记录,参数固定
先选要追踪的位置整句已给定;查看一次前向,不执行逐字生成
负数正数
8×8仅为排版,仍是同一个位置的64维向量。色深按当前向量缩放,切换层时标尺会改变。
沿完整79项归一化;下方先展示概率最高的5项。
这个候选的64项贡献
零线上方为正贡献,下方为负贡献。点柱子可查看乘法。