评估与数据泄漏
引入
词汇
| English | 释义 | 拼音 |
|---|---|---|
| confusion matrix | 混淆矩阵 | hùn xiáo jǔ zhèn |
| accuracy/ˈækjʊrəsi/ | 准确率 | zhǔn què lǜ |
| precision/prɪˈsɪʒn/ | 查准率 | chá zhǔn lǜ |
| recall/ˈriːkɔːl/ | 召回率 | zhào huí lǜ |
切分与矩阵
- 训练/验证/测试；测试集只花一次。混淆矩阵 confusion matrix 数 TP、FP、FN、TN；准确率 accuracy、查准率 precision、召回率 recall 从中读出。
{exercise:uni-cs1306-split}
练习
测试集——
难度 1/5 · 今日首次完成可获 100 金币及少量额外奖励
只花一次：否则变成第二个验证集。
由矩阵出指标
- 课程矩阵（测试 200）：TP 36、FP 10、FN 6、TN 148——准确率 $(36+148)/200=0.92$；查准率 $36/46=0.783$；召回率 $36/42=0.857$；$F_1=0.818$。基率 21% 意味着平凡预测器拿 0.79：意义住在召回率里。
- 5 折交叉验证：0.905、0.925、0.915、0.900、0.935——均值 0.916、标准差 0.013：对手的 0.921 在噪声之内。
{exercise:uni-cs1306-metrics}
练习
TP 36、FP 10、FN 6、TN 148：查准率为——
难度 1/5 · 今日首次完成可获 100 金币及少量额外奖励
36/(36+10)=0.783；召回 36/42=0.857。
泄漏是管道问题
- 午夜状态码特征编码了标签：训练 0.99、诚实保留 0.90——标签借特征传话。数据卡的出处列是防线。
- 经典陷阱：拿测试集选模型；切分前做缩放；不等折上平均准确率。没有重采样故事的分数只是轶事。
{exercise:uni-cs1306-leakage}
练习
午夜状态码特征造成——
难度 1/5 · 今日首次完成可获 100 金币及少量额外奖励
标签借特征传话——出处列是防线。