การถดถอยน้อยที่สุดกำลังสอง (Least-Squares Regression)
แนะนำใหม่| English | ความหมาย |
|---|---|
| least-squares line/liːst skweəz laɪn/ | เส้นกำลังสองน้อยที่สุด |
| coefficient of determination/ˌkəʊɪˈfɪʃənt ɒv dɪˌtɜːmɪˈneɪʃn/ | สัมประสิทธิ์การกำหนด |
ทำไมเรียกว่า "กำลังสองน้อยสุด"?
- อาจมีเส้นตรงหลายเส้นผ่านกลุ่มข้อมูล — เส้นไหน ดีที่สุด?
- เส้นกำลังสองน้อยสุด คือเส้นที่ทำให้ ผลรวมของค่าคงเหลือยกกำลังสอง มีค่าน้อยที่สุด
- การยกกำลังสองทำให้ข้อผิดพลาดเป็นบวกเสมอ และลงโทษความคลาดเคลื่อนใหญ่ให้หนักขึ้น
- การลดทอนผลรวมนี้คือสิ่งที่กำหนดความชันและจุดตัดที่เฉพาะเจาะจงที่สุด
r-squared: ส่วนของความแปรปรวนที่อธิบายได้
- สัมประสิทธิ์การกำหนด (coefficient of determination) $r^2$ คือ สัดส่วนของความแปรปรวนใน $y$ ที่โมเดลอธิบายได้
- มันคือกำลังสองของค่าสหสัมพันธ์ จึงเท่ากับ $0 \le r^2 \le 1$
- $r^2 = 0.64$ หมายความว่า "$64\%$ ของความแปรปรวนใน $y$ ถูกอธิบายด้วยความสัมพันธ์เชิงเส้นกับ $x$"
- ส่วนที่เหลือ ($36\%$) เกิดจากปัจจัยอื่นและการกระจายตัว
s: ความคลาดเคลื่อนในการทำนายโดยทั่วไป
- ส่วนเบี่ยงเบนมาตรฐานของค่าคงเหลือ (standard deviation of the residuals) $s$ คือ ขนาดโดยทั่วไปของความคลาดเคลื่อนในการทำนาย
- มีหน่วยเดียวกับ $y$: "การทำนายมักคลาดเคลื่อนไปประมาณ $s$"
- ค่า $s$ เล็ก = Fit ดี; ค่า $s$ ใหญ่ = การทำนายหลวมๆ
- $s$ ตอบคำถาม "คลาดเคลื่อนแค่ไหนในหน่วยจริง?" ในขณะที่ $r^2$ ตอบคำถาม "อธิบายแปรปรวนไปได้กี่ส่วน?"
ความชันจากสถิติสรุป
- คุณสามารถสร้างเส้นตรงได้จากสถิติสรุปโดยไม่ต้องมีข้อมูลดิบ:
- ความชัน: $b = r\dfrac{s_y}{s_x}$ — สหสัมพันธ์คูณด้วยอัตราส่วนของการกระจายตัว
- จุดตัด: เส้นตรงผ่าน $(\bar{x}, \bar{y})$ เสมอ ดังนั้น $a = \bar{y} - b\bar{x}$
- สูตรทั้งสองนี้สามารถคำนวณ $\hat{y} = a + bx$ จาก $r$ ค่าเฉลี่ย และความเบี่ยงเบนมาตรฐานได้
อย่าสับสนระหว่างตัวเลขการปรับจูนทั้งสอง $r^2$ เป็น เศษส่วนไร้หน่วย ("$64\%$ ของความแปรปรวนที่อธิบายได้"); $s$ คือ ข้อผิดพลาดโดยทั่วไปในหน่วยของ $y$ ("คลาดเคลื่อนไปประมาณ $s$") และเมื่อคุณคำนวณความชัน ระวังลำดับ: $b = r\,s_y/s_x$ — มันคือ $s_y$ (ความแปรปรวนของตัวตอบสนอง) หารด้วย $s_x$ (ความแปรปรวนของตัวอธิบาย) ไม่ใช่ในทางกลับกัน
Fit มีค่า $r = 0.8$, $s_x = 2$, $s_y = 10$, $\bar{x}=5$, $\bar{y}=60$.
- ความชัน: $b = 0.8 \times \dfrac{10}{2} = 4$
- จุดตัด: $a = 60 - 4(5) = 40$, ดังนั้น $\hat{y} = 40 + 4x$
- $r^2 = 0.64$: $64\%$ ของความแปรปรวนใน $y$ อธิบายได้ด้วยโมเดล
เส้นกำลังสองน้อยสุด ลดทอน ผลรวมของค่าคงเหลือยกกำลังสอง ให้ต่ำสุด $r^2$ คือ สัดส่วนของความแปรปรวนใน $y$ ที่อธิบายได้ (ไม่มีหน่วย, $0$–$1$); $s$ คือ ความคลาดเคลื่อนในการทำนายโดยทั่วไป (หน่วยของ $y$) จากสถิติสรุป เราได้ $b = r\dfrac{s_y}{s_x}$ และเส้นตรงผ่าน $(\bar{x}, \bar{y})$
เส้นน้อยที่สุดกำลังสองที่เข้ากันดีที่สุด
เส้นที่ทำให้ผลรวมของช่องว่างแนวตั้งยกกำลังสองมีค่าน้อยที่สุด
เมื่อ r = 0.8, s_x = 2, s_y = 10 หาความชัน b = r·(s_y/s_x)
Difficulty 2/5 · 140 coins + a small bonus on first completion today
b = 0.8 × (10/2) = 0.8 × 5 = 4.
หากสัมประสิทธิ์สหสัมพันธ์ r = 0.8 ค่า r-squared คืออะไร?
Difficulty 2/5 · 140 coins + a small bonus on first completion today
r² = 0.8² = 0.64.
r² = 0.64 ตีความได้ว่า...
Difficulty 1/5 · 100 coins + a small bonus on first completion today
r² คือสัดส่วนของความแปรปรวนของ y ที่อธิบายได้
เส้นน้อยที่สุดกำลังสองลดผลรวมของค่าคงเหลือยกกำลังสองให้น้อยที่สุด
Difficulty 1/5 · 100 coins + a small bonus on first completion today
นั่นคือเกณฑ์ที่กำหนดมันเป๊ะๆ
ปริมาณใดคือค่าความคลาดเคลื่อนในการทำนายทั่วไป ซึ่งวัดในหน่วยของ y?
Difficulty 1/5 · 100 coins + a small bonus on first completion today
s มีหน่วยเดียวกับ y; r² และ r ไม่มีหน่วย