Suy luận cho Dữ liệu Phân loại: Chi-Square

AP Thống kê · Chủ đề 8

Xem Slides Luyện tập

Bài học video cho chủ đề này Mở trang video

8.1

Kết quả của Tôi có Bất ngờ không?

Chương trình

Hiểu biết bền vững (VAR-1): Vì sự biến thiên có thể ngẫu nhiên hoặc không, nên những kết luận đều mang tính bất định.

Mục tiêu học tập VAR-1.J: Identify questions suggested by variation between observed and expected counts in categorical data. [Skill 1.A]

VAR-1.J.1 Sự biến thiên giữa những gì chúng ta tìm thấy và những gì chúng ta mong đợi có thể mang tính ngẫu nhiên hoặc không.

Nguồn: Mô tả Khóa học và Bài thi College Board AP

Khi dữ liệu là đếm trải rộng qua nhiều danh mục, chúng ta kiểm tra xem các số đếm quan sát có khác với những gì một tuyên bố dự đoán hay không. Công cụ là thống kê chi-square ($\chi^2$), tổng các khoảng cách chuẩn hóa giữa số đếm quan sát và kỳ vọng:

$$\chi^2=\sum \frac{(\text{observed}-\text{expected})^2}{\text{expected}}.$$

Một giá trị $\chi^2$ lớn có nghĩa là số đếm quan sát nằm xa so với kỳ vọng – bằng chứng chống lại tuyên bố. Phân phối chi-square lệch phải và phụ thuộc vào bậc tự do của nó.

Từ vựng Luyện tập

English	Tiếng Việt
chi-square/kaɪ skweə/	chi-squared
degrees of freedom/dɪˈɡriːz ɒv ˈfriːdəm/	bậc tự do

8.2

Thiết lập Kiểm định Goodness-of-Fit

Chương trình

Hiểu biết bền vững (VAR-8): Phân phối chi-square có thể được sử dụng để mô hình hóa sự biến thiên.

Mục tiêu học tập VAR-8.A: Describe chi-square distributions. [Skill 3.C]

VAR-8.A.1 Số lượng kỳ vọng của dữ liệu phân loại là số lượng phù hợp với giả thuyết không. Nói chung, số lượng kỳ vọng là kích thước mẫu nhân với xác suất.

Thống kê chi-square đo khoảng cách giữa số lượng quan sát và số lượng kỳ vọng tương đối với số lượng kỳ vọng.

Các phân phối chi-square có giá trị dương và bị lệch về bên phải. Trong cùng một họ đường cong mật độ, độ lệch trở nên ít rõ rệt hơn khi bậc tự do tăng lên.

Mục tiêu học tập VAR-8.B: Identify the null and alternative hypotheses in a test for a distribution of proportions in a set of categorical data. [Skill 1.F]

VAR-8.B.1 Đối với bài kiểm tra độ phù hợp chi-square, giả thuyết không chỉ định các tỷ lệ không cho mỗi danh mục, và giả thuyết thay thế là ít nhất một trong những tỷ lệ này không như đã chỉ định trong giả thuyết không.

Mục tiêu học tập VAR-8.C: Identify an appropriate testing method for a distribution of proportions in a set of categorical data. [Skill 1.E]

VAR-8.C.1 Khi xem xét phân phối tỷ lệ cho một biến phân loại, bài kiểm tra thích hợp là bài kiểm tra chi-square cho độ phù hợp.

Mục tiêu học tập VAR-8.D: Calculate expected counts for the chi-square test for goodness of fit. [Skill 3.A]

VAR-8.D.1 Số lượng kỳ vọng cho bài kiểm tra độ phù hợp chi-square là (kích thước mẫu)(tỷ lệ không).

Mục tiêu học tập VAR-8.E: Verify the conditions for making statistical inferences when testing goodness of fit for a chi-square distribution. [Skill 4.C]

VAR-8.E.1 Để đưa ra suy luận thống kê cho bài kiểm tra độ phù hợp chi-square, chúng ta phải kiểm tra các điều kiện sau:
- a. Để kiểm tra tính độc lập:
  - i. Dữ liệu nên được thu thập bằng cách sử dụng mẫu ngẫu nhiên hoặc thí nghiệm gán ngẫu nhiên.
  - ii. Khi lấy mẫu không thay thế, hãy kiểm tra rằng $n \leq 10\%N$.
- b. Bài kiểm tra độ phù hợp chi-square trở nên chính xác hơn với nhiều quan sát, vì vậy nên sử dụng các số lượng lớn (hình dạng).
  - i. Một phép kiểm tra thận trọng cho các số lượng lớn là tất cả các số lượng kỳ vọng đều lớn hơn 5.

Nguồn: Mô tả Khóa học và Bài thi College Board AP

Kiểm định chi-square (χ²)

Một goodness-of-fit (GOF) test kiểm tra xem một biến danh mục có tuân theo phân phối được tuyên bố (ví dụ: "con xúc xắc công bằng") hay không. Giả thuyết:

$$H_0:\text{the distribution is as claimed}\qquad H_a:\text{at least one proportion differs}.$$

Số đếm kỳ vọng cho mỗi danh mục $=n\times(\text{claimed proportion})$. Điều kiện: mẫu ngẫu nhiên, tất cả số đếm kỳ vọng $\ge 5$, và điều kiện 10%.

Phân phối chi-bình phương và vùng bác bỏ đuôi bên phải của nó — Phân phối chi-square lệch phải. Một thống kê lớn rơi vào phần đuôi phải được tô bóng vượt quá giá trị tới hạn – đó là nơi bạn bác bỏ mô hình.

Từ vựng Luyện tập

English	Tiếng Việt
goodness-of-fit (GOF)/ˈɡʊdnəs ɒv fɪt/	kiểm tra độ phù hợp (GOF)

8.3

Thực hiện Goodness-of-Fit Test

Chương trình

Hiểu biết bền vững (VAR-8): Phân phối chi-square có thể được sử dụng để mô hình hóa sự biến thiên.

Mục tiêu học tập VAR-8.F: Calculate the appropriate statistic for the chi-square test for goodness of fit. [Skill 3.E]

VAR-8.F.1 Thống kê kiểm tra cho bài kiểm tra độ phù hợp chi-square là
- Phương trình: $\chi^2 = \sum \dfrac{(Observed\ count - Expected\ count)^2}{Expected\ count}$, với $degrees\ of\ freedom = number\ of\ categories - 1$.
VAR-8.F.2 Phân phối của thống kê kiểm tra khi giả thuyết không là đúng (phân phối không) có thể là phân phối gán ngẫu nhiên hoặc, khi một mô hình xác suất được coi là đúng, là phân phối lý thuyết (chi-square).

Mục tiêu học tập VAR-8.G: Determine the $p$-value for chi-square test for goodness of fit significance test. [Skill 3.E]

VAR-8.G.1 Giá trị $p$ cho bài kiểm tra độ phù hợp chi-square với một số bậc tự do được tìm thấy bằng bảng phù hợp hoặc kết quả tạo bởi máy tính.

Hiểu biết bền vững (DAT-3): Kiểm định ý nghĩa giúp chúng ta đưa ra quyết định về các giả thuyết trong một ngữ cảnh cụ thể.

Mục tiêu học tập DAT-3.I: Diễn giải giá trị $p$ cho kiểm tra chi-squared cho độ phù hợp. [Kỹ năng 4.B]

DAT-3.I.1 Một cách diễn giải giá trị $p$ cho bài kiểm tra độ phù hợp chi-square là xác suất, với giả thuyết không và mô hình xác suất là đúng, của việc thu được thống kê kiểm tra giống hoặc cực đoan hơn giá trị quan sát.

Mục tiêu học tập DAT-3.J: Justify a claim about the population based on the results of a chi-square test for goodness of fit. [Skill 4.E]

DAT-3.J.1 Việc quyết định bác bỏ hay không bác bỏ giả thuyết không dựa trên sự so sánh giữa giá trị $p$ và mức ý nghĩa, $\alpha$.
DAT-3.J.2 Kết quả của một bài kiểm tra độ phù hợp chi-square có thể làm cơ sở lập luận thống kê để hỗ trợ câu trả lời cho một câu hỏi nghiên cứu về tổng thể đã được lấy mẫu.

Nguồn: Mô tả Khóa học và Bài thi College Board AP

Tính $\chi^2=\sum\dfrac{(O-E)^2}{E}$ theo công thức $df=(\text{number of categories})-1$. Tìm giá trị $p$ từ phân phối chi-bình phương (đuôi trên), so sánh với mức ý nghĩa $\alpha$, và đưa ra kết luận trong bối cảnh cụ thể. Một thành phần lớn trong tổng sum chỉ ra nhóm có sự lệch lạc nhiều nhất so với kỳ vọng.

Chi-bình phương so sánh tần suất quan sát với những tần suất dự kiến dưới giả thuyết không — Chi-square so sánh số đếm quan sát với số đếm kỳ vọng dưới giả thuyết không

Ví dụ tính toán. Một con xúc xắc lăn $60$ lần cho các số đếm $8,10,12,9,11,10$. Nếu nó công bằng, mỗi số đếm kỳ vọng là $60/6=10$, vì vậy

$$\chi^2=\frac{(8-10)^2}{10}+\frac{(10-10)^2}{10}+\frac{(12-10)^2}{10}+\frac{(9-10)^2}{10}+\frac{(11-10)^2}{10}+\frac{(10-10)^2}{10}=0.4+0+0.4+0.1+0.1+0=1.0,$$

với $df=6-1=5$. Viết ra mọi danh mục, bao gồm cả hai danh mục khớp chính xác với số đếm kỳ vọng của chúng và do đó cộng thêm $0$ – tổng chạy qua tất cả sáu danh mục, và $df$ đếm các danh mục, không chỉ những cái khác biệt. Giá trị $\chi^2$ này nhỏ (giá trị $p$ lớn), vì vậy chúng ta không bác bỏ $H_0$ – không có bằng chứng cho thấy xúc xắc không công bằng.

Khám phá

Khám phá phân phối chi-bình phương và giá trị p của nó

Giá trị p là diện tích ở đuôi phải vượt qua thống kê kiểm định của bạn, do đó một $\chi^2$ lớn hơn có nghĩa là giá trị p nhỏ hơn. Kéo $\chi^2$ để xem diện tích này co lại, và kéo df để thấy toàn bộ họ thay đổi hình dạng — lệch phải mạnh khi df nhỏ, đối xứng hơn khi df tăng.

8.4

Số đếm Kỳ vọng trong Bảng Hai chiều

Chương trình

Hiểu biết bền vững (VAR-8): Phân phối chi-square có thể được sử dụng để mô hình hóa sự biến thiên.

Mục tiêu học tập VAR-8.H: Calculate expected counts for two-way tables of categorical data. [Skill 3.A]

VAR-8.H.1 Số lượng kỳ vọng trong một ô cụ thể của bảng hai chiều dữ liệu phân loại có thể được tính bằng công thức:
- Phương trình: $expected\ count = \dfrac{(row\ total)(column\ total)}{table\ total}$.

Nguồn: Mô tả Khóa học và Bài thi College Board AP

Đối với bảng hai chiều, số đếm kỳ vọng trong một ô (dưới "không có liên kết") là

$$E=\frac{(\text{row total})\times(\text{column total})}{\text{grand total}}.$$

Đây là số đếm bạn sẽ thấy nếu biến hàng và cột không liên quan đến nhau.

Ví dụ tính toán. Trong một bảng hai chiều, tổng hàng của một ô là $40$, tổng cột của nó là $50$, và tổng đại số là $200$. Số đếm kỳ vọng của nó là $E=\dfrac{40\times50}{200}=10$. Lặp lại cho từng ô sẽ cho bảng kỳ vọng để so sánh với bảng quan sát.

Một bảng tính tổ chức tần suất phân loại trước khi kiểm tra chi-bình phương — Bảng tính tổ chức số liệu phân loại trước khi kiểm định chi-squared

8.5

Homogeneity or Independence?

Chương trình

Hiểu biết bền vững (VAR-8): Phân phối chi-square có thể được sử dụng để mô hình hóa sự biến thiên.

Mục tiêu học tập VAR-8.I: Xác định giả thuyết không và giả thuyết thay thế cho kiểm định chi-squared về tính đồng nhất hoặc độc lập. [Kỹ năng 1.F]

VAR-8.I.1 Các giả thuyết phù hợp cho kiểm định chi-squared về tính đồng nhất là:

$H_0$: Không có sự khác biệt trong phân phối của một biến phân loại giữa các quần thể hoặc điều trị.

$H_a$: Có sự khác biệt trong phân phối của một biến phân loại giữa các quần thể hoặc điều trị.
VAR-8.I.2 Các giả thuyết phù hợp cho kiểm định chi-squared về tính độc lập là:

$H_0$: Không có mối liên hệ nào giữa hai biến phân loại trong một quần thể xác định, hoặc hai biến phân loại là độc lập với nhau.

$H_a$: Hai biến phân loại trong một quần thể có mối liên hệ hoặc phụ thuộc vào nhau.

Mục tiêu học tập VAR-8.J: Xác định phương pháp kiểm tra phù hợp để so sánh phân phối trong bảng số liệu chéo của dữ liệu phân loại. [Kỹ năng 1.E]

VAR-8.J.1 Khi so sánh phân phối để xác định xem tỷ lệ trong từng danh mục đối với dữ liệu phân loại thu thập từ các quần thể khác nhau có giống nhau hay không, phép kiểm tra phù hợp là kiểm định chi-squared về tính đồng nhất.
VAR-8.J.2 Để xác định xem các biến hàng và cột trong bảng số liệu chéo của dữ liệu phân loại có thể có mối liên hệ trong quần thể được lấy mẫu hay không, phép kiểm tra phù hợp là kiểm định chi-squared về tính độc lập.

Mục tiêu học tập VAR-8.K: Kiểm chứng các điều kiện để đưa ra suy luận thống kê khi kiểm định phân phối chi-squared về tính độc lập hoặc tính đồng nhất. [Kỹ năng 4.C]

VAR-8.K.1 Để thực hiện suy luận thống kê cho kiểm định chi-squared đối với bảng số liệu chéo (tính đồng nhất hoặc tính độc lập), chúng ta phải kiểm chứng những điều sau:
- a. Để kiểm tra tính độc lập:
  - i. Đối với kiểm định độc lập: Dữ liệu nên được thu thập bằng cách sử dụng mẫu ngẫu nhiên đơn giản.
  - ii. Đối với kiểm định đồng nhất: Dữ liệu nên được thu thập bằng cách sử dụng mẫu phân tầng ngẫu nhiên hoặc thí nghiệm gán ngẫu nhiên.
  - iii. Khi lấy mẫu không hoàn lại, hãy kiểm tra rằng $n \leq 10\%N$.
- b. Các kiểm định chi-squared về tính độc lập và tính đồng nhất trở nên chính xác hơn khi có nhiều quan sát hơn, do đó cần sử dụng các giá trị đếm lớn (hình dạng).
  - i. Một phép kiểm tra thận trọng cho các số lượng lớn là tất cả các số lượng kỳ vọng đều lớn hơn 5.

Nguồn: Mô tả Khóa học và Bài thi College Board AP

Hai kiểm định sử dụng cùng $\chi^2$ toán học nhưng trả lời các câu hỏi khác nhau:

Test for homogeneity: các phân phối của một biến danh mục có giống nhau across several populations or groups (separate samples/treatments)?
Test for independence: hai biến danh mục có liên quan within a single population (one sample, two variables measured)?

Thiết kế (nhiều mẫu vs một mẫu) quyết định việc sử dụng tên và giả thuyết nào.

Từ vựng Luyện tập

English	Tiếng Việt
Test for homogeneity/test fɔː ˈhɒməʊdʒneɪti/	Kiểm tra tính đồng nhất
Test for independence/test fɔː ˌɪndɪˈpendəns/	Kiểm tra tính độc lập

8.6

Thực hiện Test for Homogeneity or Independence

Chương trình

Enduring Understanding	Learning Objective	Essential Knowledge
VAR-8 The chi-square distribution may be used to model variation.	VAR-8.L Calculate the appropriate statistic for a chi-square test for homogeneity or independence. [Skill 3.E]	VAR-8.L.1 The appropriate test statistic for a chi-square test for homogeneity or independence is the chi-square statistic: Equation: $\chi^2 = \sum \dfrac{(Observed\ count - Expected\ count)^2}{Expected\ count}$, with degrees of freedom equal to: $(number\ of\ rows - 1)(number\ of\ columns - 1)$.
	VAR-8.M Determine the $p$-value for a chi-square significance test for independence or homogeneity. [Skill 3.E]	VAR-8.M.1 The $p$-value for a chi-square test for independence or homogeneity for a number of degrees of freedom is found using the appropriate table or technology. VAR-8.M.2 For a test of independence or homogeneity for a two-way table, the $p$-value is the proportion of values in a chi-square distribution with appropriate degrees of freedom that are equal to or larger than the test statistic.
DAT-3 Significance testing allows us to make decisions about hypotheses within a particular context.	DAT-3.K Interpret the $p$-value for the chi-square test for homogeneity or independence. [Skill 4.B]	DAT-3.K.1 An interpretation of the $p$-value for the chi-square test for homogeneity or independence is the probability, given the null hypothesis and probability model are true, of obtaining a test statistic as, or more, extreme than the observed value.
	DAT-3.L Justify a claim about the population based on the results of a chi-square test for homogeneity or independence. [Skill 4.E]	DAT-3.L.1 A decision to either reject or fail to reject the null hypothesis for a chi-square test for homogeneity or independence is based on comparison of the $p$-value to the significance level, $\alpha$. DAT-3.L.2 The results of a chi-square test for homogeneity or independence can serve as the statistical reasoning to support the answer to a research question about the population that was sampled (independence) or the populations that were sampled (homogeneity).

Nguồn: Mô tả Khóa học và Bài thi College Board AP

Tính số đếm kỳ vọng, sau đó $\chi^2=\sum\dfrac{(O-E)^2}{E}$ qua tất cả các ô, với

$$df=(\text{rows}-1)(\text{columns}-1).$$

Điều kiện: dữ liệu ngẫu nhiên, tất cả số đếm kỳ vọng $\ge 5$, điều kiện 10%. Tìm giá trị $p$, so sánh với $\alpha$, và kết luận trong ngữ cảnh – bằng chứng về sự khác biệt giữa các nhóm (homogeneity) hoặc về mối liên hệ (independence).

8.7

Chọn Quy trình Danh mục Đúng

Chương trình

Chủ đề này nhằm tập trung vào kỹ năng chọn quy trình suy luận phù hợp khi học sinh đã có sẵn một loạt các lựa chọn. Học sinh nên được tạo cơ hội thực hành khi nào và làm thế nào để áp dụng tất cả các mục tiêu học tập liên quan đến suy luận cho dữ liệu phân loại.

Nguồn: Mô tả Khóa học và Bài thi College Board AP

Quyết định dựa trên thiết lập: một biến phân loại so với phân phối được cho là $\Rightarrow$ tốt độ phù hợp; một mẫu được phân loại chéo bởi hai biến $\Rightarrow$ độc lập; nhiều mẫu/nhóm được so sánh $\Rightarrow$ tương đồng. So sánh đúng hai tỷ lệ có thể sử dụng cả kiểm tra hai tỷ lệ $z$ hay kiểm tra chi-squared, nhưng chỉ dành cho giả thuyết thay thế hai đuôi, nơi chúng khớp nhau chính xác ($\chi^2=z^2$). Kiểm tra chi-squared luôn là hai đuôi, nên không thể đưa ra kết luận có hướng: nếu $H_a$ là một đuôi (ví dụ $p_1>p_2$), hãy dùng kiểm tra $z$.

Khám phá

Đây là kiểm định chi-bình phương nào?

Cả ba kiểm định đều sử dụng cùng $\chi^2$ tính toán, vì vậy điểm số thuộc về việc đặt tên đúng cái. Thiết kế quyết định — bao nhiêu mẫu đã được lấy, và bao nhiêu biến số đã được đo trên mỗi đơn vị.

8.7

Mẹo làm bài thi

Sử dụng $\chi^2=\sum\tfrac{(O-E)^2}{E}$ cho dữ liệu phân loại; luôn chia cho tần suất dự kiến.
Chọn đúng kiểm tra: tốt độ phù hợp (một biến), độc lập, hoặc tương đồng (bảng hai chiều).
Tính tần suất dự kiến là $\tfrac{\text{row total}\times\text{column total}}{\text{grand total}}$ và kiểm tra mỗi cái đều ≥ $\ge5$.
Một $\chi^2$ lớn (p-value nhỏ) có nghĩa là tần suất quan sát khác với tần suất dự kiến hơn mức ngẫu nhiên.
Nêu đúng bậc tự do (số hạng mục $-1$, hoặc $(r-1)(c-1)$).

Bài học tương tác về chủ đề này

Làm theo từng bước, kèm theo bài tập kiểm tra ngay lập tức.

Nhiều chủ đề hơn trong AP Thống kê