两个参数,同一个损失

预测 = 2w + b · L = (2w + b − 6)²

权重w、偏置b和平方损失L的三维曲面

三维图暂不可用;静态图仅供对照,下方数值仍可操作。

损失曲面b = 0 截线采样损失路径当前点地面负梯度方向
当前预测2
当前损失16
更新次数0

从 w=1、b=0 开始。先选学习率,再比较两种更新。

计算、更新记录与说明

输入固定为2,目标为6。地面是参数w、b,高度是同一平方损失。谷底满足2w+b=6,因此这一道题不能唯一确定两个参数。

每次只在端点执行一次参数更新。绿色路径沿新旧参数间的直线取64个区间,每个采样点重新计算L;它展示跨越谷底时损失怎样变化,不是给两个损失值直接连直线。黄色箭头只表示−∇L在参数平面的方向,箭头长度已缩放。

从w=1、b=0开始,学习率0.1只改w后L=0.64,同时改两项后L=0;0.3只改w后L=31.36,同时改两项后L=64。过大的更新会越过谷底。两项同时更新时,梯度都取自同一个旧点。

默认固定视角,手指在图上仍可滚动页面。主动开启旋转后可拖动;图形获得键盘焦点时,方向键旋转,Home恢复视角。计算和曲面均来自本地数据,无需联网。

当前图域(高度为线性标尺)

更新次数

步更新项参数 (w, b)损失 L

尚未执行更新。

数据与公式:code/artifacts/lessons/l04.json · 查看原静态图 ↗