从零手写大模型 · 真实实验回放

一条短句,怎样改变模型?

先跟着一批数据走完一次更新,再看同一个网络经过1,000次预训练、300次问答微调,写出的文字有什么变化。

随机初值→文本预训练 × 1,000→问答微调 × 300