อะไรจะเป็นคำอธิบายสำหรับการสังเกตนี้?
- โมเดลสามารถทำคะแนนได้ดีด้วยการเรียนรู้ทางลัดในข้อมูลการฝึกสอน การประเมินผลต้องทดสอบงานที่ต้องการบนตัวอย่างที่ไม่เคยเห็นที่เหมาะสม
- เริ่มต้นด้วยการทำนาย ระบุปริมาณหรือลักษณะที่คุณจะเปรียบเทียบ แล้วตัดสินใจว่าหลักฐานอะไรที่จะแยกแยะคำอธิบายสองแบบได้
สร้างโมเดล
- ฐานข้อมูลเชิงสัมพันธ์ใช้ตาราง คีย์ และความเชื่อมโยงเพื่อจัดระเบียบข้อมูล การเรียนรู้ของเครื่องใช้ประมาณรูปแบบจากข้อมูล ข้อมูลสำหรับการฝึกและประเมินผลทำหน้าที่แตกต่างกัน
- primary key: เซตของแอททริบิวต์ที่ใช้ระบุบันทึกได้อย่างเดียว; data leakage: การใช้ข้อมูลที่ไม่มีอยู่จริงในช่วงเวลาที่กำหนดสำหรับการทำนาย
เลือกหลักฐานที่นำมาทดสอบได้
- คีย์หลักใช้ระบุบันทึกได้ไม่ซ้ำกัน ส่วนคีย์ภายนอกใช้เชื่อมโยงระหว่างบันทึก ในการทำนาย การรั่วไหลของข้อมูลอาจเปิดเผยข้อมูลที่ไม่มีอยู่ในเวลาตัดสินใจจริง ความแม่นยำเพียงอย่างเดียวอาจบดบังการกระจายตัวของเป้าหมายที่ไม่สมดุล
- ใช้ข้อมูลการจองสมมติเพื่อระบุเอนทิตี คุณสมบัติและความสัมพันธ์ สำหรับแบบฝึกหัดการเรียนรู้ ให้ใช้ชุดข้อมูลสาธารณะที่ไม่มีความเสี่ยง แยกข้อมูลฝึกและข้อมูลทดสอบ และอธิบายว่าใครอาจได้รับผลกระทบจากความผิดพลาด ขอบเขตวัตถุประสงค์ 2027 CS ปัจจุบันรอคู่มือที่ได้รับมา
เริ่มจากปริมาณที่ทราบแล้ว
- ระบุค่าที่ทราบและหน่วยของมัน เลือกความสัมพันธ์โดยพิจารณาว่าข้อสมมติฐานสอดคล้องกับเคสนี้ แล้วจัดรูปสมการก่อนแทนค่า
- ที่ทราบ: ตัวจำแนกประเภททำ 90 คำทำนายถูกต้อง จาก 100 กรณี ความแม่นยำ = ถูกต้อง/รวม×100 = 90% หากมี 90 กรณีเป็นคลาสหนึ่ง การทำนายคลาสนั้นตลอดจะให้ความแม่นยำเท่าเดิมแต่ยังอาจล้มเหลวในทุกกรณีของคลาสส่วนน้อย
ตัวอย่าง:
โมเดลทำ 72 คำทำนายถูกต้อง จาก 80 กรณี หาความแม่นยำเป็นเปอร์เซ็นต์ ใช้ลำดับเดียวกัน: ปริมาณที่ทราบ → โมเดล → ความสัมพันธ์ → แทนค่า → หน่วยและการตีความ
ตรวจสอบข้อสรุปและขอบเขต
- ความแม่นยำสูงไม่ใช่หลักฐานของความยุติธรรมหรือความเข้าใจเชิงเหตุและผล คีย์หลักของฐานข้อมูลไม่ใช่แค่ฟิลด์ใดก็ได้ที่ดูสำคัญ
- กลับไปที่การสังเกตเดิม อธิบายว่าผลลัพธ์นี้สนับสนุนสิ่งใด มีเงื่อนไขใดบ้าง และเป็นอย่างไรในการทดสอบคำอธิบายอื่นที่ขัดแย้งกัน
เตือน:
ตัวจำแนกประเภทที่มีความแม่นยำ 90% ต้องจัดการทุกคลาสได้ดีเท่ากัน ข้อความนี้ไม่จริง: ความแม่นยำสูงไม่ใช่หลักฐานของความยุติธรรมหรือความเข้าใจเชิงเหตุและผล คีย์หลักของฐานข้อมูลไม่ใช่แค่ฟิลด์ใดก็ได้ที่ดูสำคัญ
จุดสำคัญ:
โมเดลข้อมูลและการเรียนรู้ด้วยเครื่องอย่างรับผิดชอบ: คีย์หลักใช้ระบุบันทึกได้ไม่ซ้ำกัน ส่วนคีย์ภายนอกใช้เชื่อมโยงระหว่างบันทึก ในการทำนาย การรั่วไหลของข้อมูลอาจเปิดเผยข้อมูลที่ไม่มีอยู่ในเวลาตัดสินใจจริง ความแม่นยำเพียงอย่างเดียวอาจบดบังการกระจายตัวของเป้าหมายที่ไม่สมดุล
ลายเส้นที่ดำเนินการได้และขอบเขต
tp, fn, fp, tn = 4, 1, 10, 85
total = tp + fn + fp + tn
accuracy = (tp + tn) / total
recall = tp / (tp + fn) if tp + fn else None
print(accuracy, recall)
positives = 0
print(0 / positives if positives else "UNDEFINED")
ผลลัพธ์ที่คาดหวัง:
0.89 0.8
UNDEFINED
ความแม่นยำหารด้วยคำทำนายที่ถูกต้องด้วยทุกกรณี; การเรียกคืนเชิงบวกหารด้วยจริงบวกด้วยบวกจริง. ไม่มีกรณีบวก การเรียกคืนเป็นค่าไม่กำหนดแทนที่จะเป็นศูนย์. ชุดข้อมูลนี้เป็นเรื่องสมมติ ไม่มีโมเดลที่ฝึกฝนหรือข้อมูลส่วนบุคคล