Inferência para Dados Categóricos: Qui-Quadrado

Estatística do AP · Tópico 8

Videoaula para este tópico Abrir a página do vídeo

8.1

Meus Resultados São Inesperados?

Programa

Compreensão Permanente (VAR-1): Dado que a variação pode ser aleatória ou não, as conclusões são incertas.

Objetivo de Aprendizagem VAR-1.J: Identificar perguntas sugeridas pela variação entre contagens observadas e esperadas em dados categóricos. [Habilidade 1.A]

VAR-1.J.1 A variação entre o que encontramos e o que esperamos encontrar pode ser aleatória ou não.

Fonte: College Board AP Course and Exam Description

Quando os dados são contagens espalhadas por várias categorias, testamos se as contagens observadas diferem do que uma afirmativa prevê. A ferramenta é a estatística qui-quadrado 卡方 ($\chi^2$), que soma as lacunas padronizadas entre contagens observadas e esperadas:

$$\chi^2=\sum \frac{(\text{observed}-\text{expected})^2}{\text{expected}}.$$

Um $\chi^2$ grande significa que as contagens observadas estão longe das esperadas – evidência contra a afirmativa. A distribuição qui-quadrado é assimétrica à direita e depende de seus graus de liberdade 自由度.

8.2

Configurando um Bom Teste de Ajuste

Programa

Entendimento Duradouro (VAR-8): A distribuição qui-quadrada pode ser usada para modelar variações.

Objetivo de Aprendizagem VAR-8.A: Descrever distribuições qui-quadradas. [Habilidade 3.C]

VAR-8.A.1 As contagens esperadas de dados categóricos são contagens consistentes com a hipótese nula. Em geral, uma contagem esperada é um tamanho de amostra vezes uma probabilidade.

A estatística qui-quadrada mede a distância entre contagens observadas e esperadas em relação às contagens esperadas.

As distribuições qui-quadrada têm valores positivos e são assimétricas à direita. Dentro de uma família de curvas de densidade, a assimetria se torna menos pronunciada com o aumento dos graus de liberdade.

Objetivo de Aprendizagem VAR-8.B: Identificar as hipóteses nula e alternativa em um teste para a distribuição de proporções em um conjunto de dados categóricos. [Habilidade 1.F]

VAR-8.B.1 Para um teste qui-quadrado de ajuste de bondade, a hipótese nula especifica proporções nulas para cada categoria, e a hipótese alternativa é que pelo menos uma dessas proporções não seja conforme especificado na hipótese nula.

Objetivo de Aprendizagem VAR-8.C: Identificar um método de teste apropriado para a distribuição de proporções em um conjunto de dados categóricos. [Habilidade 1.E]

VAR-8.C.1 Ao considerar uma distribuição de proporções para uma variável categórica, o teste apropriado é o teste qui-quadrado de ajuste de bondade.

Objetivo de Aprendizagem VAR-8.D: Calcular contagens esperadas para o teste qui-quadrado de ajuste de bondade. [Habilidade 3.A]

VAR-8.D.1 As contagens esperadas para um teste qui-quadrado de ajuste de bondade são (tamanho da amostra)(proporção nula).

Objetivo de Aprendizagem VAR-8.E: Verificar as condições para fazer inferências estatísticas ao testar o ajuste de bondade para uma distribuição qui-quadrada. [Habilidade 4.C]

VAR-8.E.1 Para fazer inferências estatísticas para um teste qui-quadrado de ajuste de bondade, devemos verificar o seguinte:
- a. Para verificar a independência:
  - i. Os dados devem ser coletados usando uma amostra aleatória ou experimento randomizado.
  - ii. Ao amostrar sem reposição, verifique que $n \leq 10\%N$.
- b. O teste qui-quadrado de ajuste de bondade torna-se mais preciso com mais observações, portanto, grandes contagens devem ser usadas (forma).
  - i. Uma verificação conservadora para grandes contagens é que todas as contagens esperadas devem ser maiores que 5.

Fonte: College Board AP Course and Exam Description

O teste qui-quadrado (χ²)

Um teste de ajuste de distribuição (GOF) 拟合优度 verifica se uma variável categórica segue uma distribuição alegada (ex: "o dado é justo"). Hipóteses:

$$H_0:\text{the distribution is as claimed}\qquad H_a:\text{at least one proportion differs}.$$

Contagem esperada para cada categoria $=n\times(\text{claimed proportion})$. Condições: amostra aleatória, todas as contagens esperadas $\ge 5$ e a condição de 10%.

A distribuição qui-quadrado e sua região de rejeição na cauda direita — A distribuição qui-quadrado é assimétrica à direita. Uma estatística grande cai na cauda sombreada à direita além do valor crítico – é ali que você rejeita o modelo.

Vocabulário Treinar

Inglês	Chinês	Pinyin
chi-square/kaɪ skweə/	卡方	kǎ fāng
degrees of freedom/dɪˈɡriːz ɒv ˈfriːdəm/	自由度	zì yóu dù
goodness-of-fit (GOF)/ˈɡʊdnəs ɒv fɪt/	拟合优度	nǐ hé yōu dù
Test for homogeneity/test fɔː ˈhɒməʊdʒneɪti/	同质性	tóng zhì xìng
Test for independence/test fɔː ˌɪndɪˈpendəns/	独立性	dú lì xìng

8.3

Realizando um Teste de Ajuste

Programa

Entendimento Duradouro (VAR-8): A distribuição qui-quadrada pode ser usada para modelar variações.

Objetivo de Aprendizagem VAR-8.F: Calcular a estatística apropriada para o teste qui-quadrado de ajuste de bondade. [Habilidade 3.E]

VAR-8.F.1 A estatística de teste para o teste qui-quadrado de ajuste de bondade é
- Equação: $\chi^2 = \sum \dfrac{(Observed\ count - Expected\ count)^2}{Expected\ count}$, com $degrees\ of\ freedom = number\ of\ categories - 1$.
VAR-8.F.2 A distribuição da estatística de teste assumindo que a hipótese nula é verdadeira (distribuição nula) pode ser uma distribuição de randomização ou, quando um modelo de probabilidade é assumido como verdadeiro, uma distribuição teórica (qui-quadrada).

Objetivo de Aprendizagem VAR-8.G: Determinar o valor p $p$ para o teste qui-quadrado de ajuste de bondade. [Habilidade 3.E]

VAR-8.G.1 O valor p $p$ para um teste qui-quadrado de ajuste de bondade para um número de graus de liberdade é encontrado usando a tabela apropriada ou saída gerada por computador.

Compreensão Duradoura (DAT-3): Os testes de significância nos permitem tomar decisões sobre hipóteses dentro de um contexto particular.

Objetivo de Aprendizagem DAT-3.I: Interpretar o valor p $p$ para o teste qui-quadrado de ajuste de bondade. [Habilidade 4.B]

DAT-3.I.1 Uma interpretação do valor p $p$ para o teste qui-quadrado de ajuste de bondade é a probabilidade, dado que a hipótese nula e o modelo de probabilidade são verdadeiros, de obter uma estatística de teste tão ou mais extrema que o valor observado.

Objetivo de Aprendizagem DAT-3.J: Justificar uma afirmação sobre a população com base nos resultados de um teste qui-quadrado de ajuste de bondade. [Habilidade 4.E]

DAT-3.J.1 Uma decisão de rejeitar ou falhar em rejeitar a hipótese nula é baseada na comparação do valor p $p$ ao nível de significância, $\alpha$.
DAT-3.J.2 Os resultados de um teste qui-quadrado de ajuste de bondade podem servir como raciocínio estatístico para supportar a resposta a uma questão de pesquisa sobre a população que foi amostrada.

Fonte: College Board AP Course and Exam Description

Calcule $\chi^2=\sum\dfrac{(O-E)^2}{E}$ com $df=(\text{number of categories})-1$. Encontre o valor-$p$ da distribuição qui-quadrado (cauda superior), compare ao $\alpha$ e conclua no contexto. Um componente grande da soma aponta para a categoria que mais se desvia.

Qui-quadrado compara contagens observadas com as esperadas sob a hipótese nula

Exemplo resolvido. Um dado rolado $60$ vezes dá contagens $8,10,12,9,11,10$. Se for justo, cada contagem esperada é $60/6=10$, então

$$\chi^2=\frac{(8-10)^2}{10}+\frac{(10-10)^2}{10}+\frac{(12-10)^2}{10}+\frac{(9-10)^2}{10}+\frac{(11-10)^2}{10}+\frac{(10-10)^2}{10}=0.4+0+0.4+0.1+0.1+0=1.0,$$

com $df=6-1=5$. Escreva todas as categorias, incluindo as duas que correspondem exatamente às suas contagens esperadas e, portanto, adicionam $0$ – a soma percorre todas as seis categorias, e $df$ conta categorias, não apenas as que diferem. Este $\chi^2$ é pequeno (um valor-$p$ grande), então não rejeitamos $H_0$ – nenhuma evidência de que o dado seja injusto.

Explorar

Explorar a distribuição qui-quadrado e seu valor p

O valor p é a área na cauda direita além da sua estatística de teste, então um $\chi^2$ maior significa um valor p menor. Arraste $\chi^2$ para observar essa área encolher e arraste df para ver toda a família mudar de forma — fortemente assimétrica à direita em poucos df, mais simétrica à medida que df cresce.

8.4

Contagens Esperadas em Tabelas Bidimensionais

Programa

Entendimento Duradouro (VAR-8): A distribuição qui-quadrada pode ser usada para modelar variações.

Objetivo de Aprendizagem VAR-8.H: Calcular contagens esperadas para tabelas de dupla entrada de dados categóricos. [Habilidade 3.A]

VAR-8.H.1 A contagem esperada em uma célula específica de uma tabela de dupla entrada de dados categóricos pode ser calculada usando a fórmula:
- Equação: $expected\ count = \dfrac{(row\ total)(column\ total)}{table\ total}$.

Fonte: College Board AP Course and Exam Description

Para uma tabela bidimensional, a contagem esperada em uma célula (sob "nenhuma associação") é

$$E=\frac{(\text{row total})\times(\text{column total})}{\text{grand total}}.$$

Esta é a contagem que você veria se as variáveis de linha e coluna fossem não relacionadas.

Exemplo resolvido. Em uma tabela bidimensional, o total da linha de uma célula é $40$, seu total da coluna é $50$, e o total geral é $200$. Sua contagem esperada é $E=\dfrac{40\times50}{200}=10$. Repetir para cada célula dá a tabela esperada para comparar com a observada.

Uma planilha organiza contagens categóricas antes de um teste qui-quadrado

8.5

Homogeneidade ou Independência?

Programa

Entendimento Duradouro (VAR-8): A distribuição qui-quadrada pode ser usada para modelar variações.

Objetivo de Aprendizagem VAR-8.I: Identificar as hipóteses nula e alternativa para um teste qui-quadrado de homogeneidade ou independência. [Habilidade 1.F]

VAR-8.I.1 As hipóteses adequadas para um teste qui-quadrado de homogeneidade são:

$H_0$: Não há diferença nas distribuições de uma variável categórica entre populações ou tratamentos.

$H_a$: Há diferença nas distribuições de uma variável categórica entre populações ou tratamentos.
VAR-8.I.2 As hipóteses adequadas para um teste qui-quadrado de independência são:

$H_0$: Não há associação entre duas variáveis categóricas em uma dada população, ou as duas variáveis categóricas são independentes.

$H_a$: Duas variáveis categóricas em uma população estão associadas ou dependentes.

Objetivo de Aprendizagem VAR-8.J: Identificar um método de teste adequado para comparar distribuições em tabelas de dados categóricos de duas vias. [Habilidade 1.E]

VAR-8.J.1 Ao comparar distribuições para determinar se as proporções em cada categoria para dados categóricos coletados de diferentes populações são as mesmas, o teste adequado é o teste qui-quadrado de homogeneidade.
VAR-8.J.2 Para determinar se as variáveis de linha e coluna em uma tabela de duas vias de dados categóricos podem estar associadas na população da qual os dados foram amostrados, o teste adequado é o teste qui-quadrado de independência.

Objetivo de Aprendizagem VAR-8.K: Verificar as condições para fazer inferências estatísticas ao testar uma distribuição qui-quadrada de independência ou homogeneidade. [Habilidade 4.C]

VAR-8.K.1 Para fazer inferências estatísticas para um teste qui-quadrado para tabelas de duas vias (homogeneidade ou independência), devemos verificar o seguinte:
- a. Para verificar a independência:
  - i. Para um teste de independência: Os dados devem ser coletados usando uma amostra aleatória simples.
  - ii. Para um teste de homogeneidade: Os dados devem ser coletados usando uma amostragem estratificada aleatória ou experimento randomizado.
  - iii. Ao amostrar sem reposição, verifique que $n \leq 10\%N$.
- b. Os testes qui-quadrado de independência e homogeneidade tornam-se mais precisos com mais observações, portanto, contagens grandes devem ser usadas (forma).
  - i. Uma verificação conservadora para grandes contagens é que todas as contagens esperadas devem ser maiores que 5.

Fonte: College Board AP Course and Exam Description

Dois testes usam a mesma matemática de $\chi^2$ mas respondem a perguntas diferentes:

Teste de homogeneidade 同质性: as distribuições de uma variável categórica são as mesmas em várias populações ou grupos (amostras/tratamentos separados)?
Teste de independência 独立性: duas variáveis categóricas estão associadas dentro de uma única população (uma amostra, duas variáveis medidas)?

O delineamento (várias amostras vs. uma amostra) decide qual nome e hipóteses usar.

8.6

Realizando um Teste de Homogeneidade ou Independência

Programa

Entendimento Duradouro (VAR-8): A distribuição qui-quadrada pode ser usada para modelar variações.

Objetivo de Aprendizagem VAR-8.L: Calcular a estatística adequada para um teste qui-quadrado de homogeneidade ou independência. [Habilidade 3.E]

VAR-8.L.1 A estatística de teste adequada para um teste qui-quadrado de homogeneidade ou independência é a estatística qui-quadrada:
- Equação: $\chi^2 = \sum \dfrac{(Observed\ count - Expected\ count)^2}{Expected\ count}$, com graus de liberdade iguais a: $(number\ of\ rows - 1)(number\ of\ columns - 1)$.

Objetivo de Aprendizagem VAR-8.M: Determinar o valor-p $p$ para um teste de significância qui-quadrado para independência ou homogeneidade. [Habilidade 3.E]

VAR-8.M.1 O valor-p $p$ para um teste qui-quadrado para independência ou homogeneidade para um número de graus de liberdade é encontrado usando a tabela apropriada ou tecnologia.
VAR-8.M.2 Para um teste de independência ou homogeneidade para uma tabela de contingência bidimensional, o valor-p $p$ é a proporção de valores em uma distribuição qui-quadrado com graus de liberdade apropriados que são iguais ou maiores do que a estatística de teste.

Compreensão Duradoura (DAT-3): Os testes de significância nos permitem tomar decisões sobre hipóteses dentro de um contexto particular.

Objetivo de Aprendizagem DAT-3.K: Interpretar o valor-p $p$ para o teste qui-quadrado para homogeneidade ou independência. [Habilidade 4.B]

DAT-3.K.1 Uma interpretação do valor-p $p$ para o teste qui-quadrado para homogeneidade ou independência é a probabilidade, dado que a hipótese nula e o modelo probabilístico são verdadeiros, de obter uma estatística de teste tão extrema ou mais extrema do que o valor observado.

Objetivo de Aprendizagem DAT-3.L: Justificar uma afirmação sobre a população com base nos resultados de um teste qui-quadrado de homogeneidade ou independência. [Habilidade 4.E]

DAT-3.L.1 A decisão de rejeitar ou não rejeitar a hipótese nula para um teste qui-quadrado para homogeneidade ou independência baseia-se na comparação do valor-p $p$ com o nível de significância, $\alpha$.
DAT-3.L.2 Os resultados de um teste qui-quadrado de homogeneidade ou independência podem servir como raciocínio estatístico para apoiar a resposta a uma questão de pesquisa sobre a população que foi amostrada (independência) ou as populações que foram amostradas (homogeneidade).

Fonte: College Board AP Course and Exam Description

Calcule as contagens esperadas, depois $\chi^2=\sum\dfrac{(O-E)^2}{E}$ sobre todas as células, com

$$df=(\text{rows}-1)(\text{columns}-1).$$

Condições: dados aleatórios, todas as contagens esperadas $\ge 5$, condição de 10%. Encontre o valor-$p$, compare ao $\alpha$ e conclua no contexto – evidência de diferença entre grupos (homogeneidade) ou de associação (independência).

8.7

Escolhendo o Procedimento Categórico Correto

Programa

Este tópico destina-se a focar na habilidade de selecionar um procedimento de inferência adequado agora que os alunos têm uma gama de opções. Os alunos devem ter oportunidades de praticar quando e como aplicar todos os objetivos de aprendizagem relacionados à inferência para dados categóricos.

Fonte: College Board AP Course and Exam Description

Decida pelo delineamento: uma variável categórica contra uma distribuição alegada $\Rightarrow$ ajuste; uma amostra cruzada por duas variáveis $\Rightarrow$ independência; várias amostras/grupos comparados $\Rightarrow$ homogeneidade. Comparar apenas duas proporções pode usar um teste de duas proporções $z$ ou um teste qui-quadrado, mas apenas para uma alternativa bidirecional, onde eles concordam exatamente ($\chi^2=z^2$). Um teste qui-quadrado é sempre bidirecional, então não pode dar uma conclusão direcional: se $H_a$ for unidirecional (digamos $p_1>p_2$), use o teste de $z$.

Explorar

Qual teste qui-quadrado é este?

Todos os três testes usam a mesma aritmética $\chi^2$, então os pontos são conquistados ao nomear o correto. O desenho decide — quantas amostras foram coletadas e quantas variáveis foram medidas em cada unidade.

8.7

Dicas de prova

Use $\chi^2=\sum\tfrac{(O-E)^2}{E}$ para dados categóricos; sempre divida pela contagem esperada.
Escolha o teste certo: ajuste (uma variável), independência ou homogeneidade (tabela bidimensional).
Calcule as contagens esperadas como $\tfrac{\text{row total}\times\text{column total}}{\text{grand total}}$ e verifique se cada uma é $\ge5$.
Um $\chi^2$ grande (pequeno valor-p) significa que as contagens observadas diferem das esperadas mais do que o acaso permitiria.
Declare os graus de liberdade corretamente (categorias $-1$, ou $(r-1)(c-1)$).

Aulas interativas sobre este tópico

Passe por ele passo a passo, com exercícios de verificação instantânea.

Provas Anteriores

Mais tópicos em Estatística do AP