回归与分类
引入
词汇
| English | 释义 | 拼音 |
|---|---|---|
| linear regression/ˈlɪnɪə rɪˈɡreʃn/ | 线性回归 | xiàn xìng huí guī |
| logistic regression | 逻辑回归 | luó jí huí guī |
| decision boundary | 决策边界 | jué cè biān jiè |
直线与边界
- 线性回归 linear regression 最小二乘拟合 $\hat{y} = wx + b$;逻辑回归 logistic regression 用 sigmoid 拟合概率边界;决策边界 decision boundary 是模型改答案之处。

{exercise:uni-cs1304-models}
练习
决策边界是——之处。
难度 1/5 · 今日首次完成可获 100 金币及少量额外奖励
分数过零:答案翻转。
最小二乘闭式解
- 课程点 $(1,2),(2,3),(3,5),(4,4),(5,6)$:$\bar{x}=3$、$\bar{y}=4$、$w=9/10=0.9$、$b=1.3$——残差 $-0.2,-0.1,1.0,-0.9,0.2$、SSE $1.9$(每个数套件验证)。
- 逻辑边界 $w_1=2,w_2=-1,b=-1$:直线 $x_2=2x_1-1$;包裹 $(2,2)$ 得 $+1$(迟到)、$(2,5)$ 得 $-2$(准时);分数的绝对值即边距。
{exercise:uni-cs1304-leastsquares}
练习
课程五点拟合出直线——
难度 1/5 · 今日首次完成可获 100 金币及少量额外奖励
w = 9/10、b = 4 − 0.9 × 3 = 1.3;SSE 1.9。
过拟合实测
- 4 次多项式在 5 个训练点上 SSE $0$,5 个保留点上约 $42.7$——直线的 $0.55$ 碾压它。训练误差是广告、保留误差是产品。
- 按保留误差选模型;拟合权重不是因果(第 8 单元的混杂在此同样作祟)。
{exercise:uni-cs1304-overfit}
练习
4 次多项式在保留数据上的 SSE 为——
难度 1/5 · 今日首次完成可获 100 金币及少量额外奖励
训练 0、保留 42.7 对直线 0.55——过拟合的账单。