优化与学习
引入
词汇
| English | 释义 | 拼音 |
|---|---|---|
| loss surface | 损失面 | sǔn shī miàn |
| gradient descent/ˈɡreɪdɪənt dɪˈsent/ | 梯度下降 | tī dù xià jiàng |
| learning rate/ˈlɜːnɪŋ reɪt/ | 学习率 | xué xí lǜ |
沿损失面下降
- 梯度下降 gradient descent：$\theta_{t+1} = \theta_t - \eta\nabla L(\theta_t)$。学习率 learning rate $\eta$ 定步长；损失面 loss surface 的曲率定难度。
{exercise:uni-cs1305-descent}
练习
更新规则沿——走。
难度 1/5 · 今日首次完成可获 100 金币及少量额外奖励
下坡是负梯度，步长由 η 定。
二次情形精确版
- $L(w)=(w-3)^2$：$w_{t+1} = w_t - 2\eta(w_t-3)$。$\eta=0.1$ 从 0 出发：0.6、1.08、1.464、1.771、2.017——误差几何式缩向 3。
- $\eta=1$：0、6、0、6 永远振荡；$\eta=0.6$：3.6、2.88、3.024 阻尼。稳定性：$|1-2\eta|<1 \iff \eta<1$。
{exercise:uni-cs1305-quadratic}
练习
在 L(w)=(w−3)² 上，η=1 得——
难度 1/5 · 今日首次完成可获 100 金币及少量额外奖励
|1 − 2η| = 1：稳定性的边界。
峡谷与缩放
- 最小二乘直线上，$(0,0)$ 起步 $\eta=0.02$ 两步到 $(0.84,0.25)$；千步逼近闭式 $(0.9,1.3)$。
- $L=(x_1-1)^2+100(x_2-1)^2$ 是峡谷：一个学习率伺候不了两种曲率——$\eta=0.009$ 爬行；特征标准化恢复进度。判收敛看损失的变化量，不是损失值。
{exercise:uni-cs1305-ravines}
练习
百倍曲率差的特征逼——
难度 1/5 · 今日首次完成可获 100 金币及少量额外奖励
一个学习率伺候不了两种曲率——标准化特征。