Testes qui-quadrado · AP Statistics

Capítulo 8 · Testes qui-quadrado

contagens versus valores esperados

Um teste qui-quadrado verifica se as contagens em categorias estão longe demais do que uma hipótese prevê para atribuir o desvio ao acaso.

Um fabricante de doces diz que seus pacotes são 24% blue, 20% orange, 16% green, 14% yellow, 13% red, 13% brown. Conta-se um pacote de 200 (barras pretas). Se a afirmação for verdadeira, o pacote deve ter cerca de 200 × 0.24 = 48 azuis, e assim por diante (fantasmas azuis).

Nenhum pacote coincide exatamente. As hastes vermelhas são as diferenças, observado − esperado. Cada diferença é elevada ao quadrado e dividida pela contagem esperada, e as parcelas se somam em um só número, a estatística qui-quadrado, χ² = 12.11.

χ² pequeno significa que as contagens ficam perto da afirmação; χ² grande, que não. Este capítulo pergunta quão grande é grande demais: para uma variável contra uma distribuição alegada (aderência) e para tabelas de dupla entrada (homogeneidade e independência).

8.1 · Meus resultados são inesperados?

o que o acaso sozinho produziria

Amostras aleatórias variam. Para avaliar um resultado, compare-o com os resultados que só o acaso produz quando a afirmação é verdadeira.

A figura enche 300 pacotes de 200 ao acaso, exatamente com a mistura alegada. Cada pacote simulado (à esquerda) erra um pouco as contagens esperadas, e seu χ² aparece como um ponto no gráfico de pontos.

Mesmo com a afirmação verdadeira, χ² nunca é 0 e costuma ficar em poucas unidades. Estes 300 valores têm média 4.99. Apenas 10 dos 300 (em vermelho) alcançam o 12.11 do pacote real: uma proporção de 0.033.

Essa é a lógica de todo teste: se a afirmação fosse verdadeira, com que frequência veríamos um resultado pelo menos tão extremo? Se raramente, o resultado é evidência estatisticamente significativa contra a afirmação. Se frequentemente, os dados não dão motivo para duvidar dela, o que não prova que seja verdadeira.

A curva cinza é a distribuição χ² para a qual os pontos tendem. Ela nos permite achar a probabilidade sem simular (8.3).

8.2 · Montando um teste de aderência

hipóteses, contagens esperadas, condições

Um teste qui-quadrado de aderência verifica se a distribuição de uma variável categórica coincide com uma distribuição alegada.

As hipóteses são sobre as proporções populacionais, nunca sobre as contagens da amostra:

H₀: p_azul = 0.24, p_laranja = 0.2, … , p_marrom = 0.13 (a distribuição alegada está correta).
H_a: pelo menos uma das proporções difere da afirmação.

H_a não diz que “todas diferem” e não indica direção.

As contagens esperadas são n × p_i, calculadas a partir de H₀:

cor	blue	orange	green	yellow	red	brown
p alegado	0.24	0.2	0.16	0.14	0.13	0.13
esperado	48	40	32	28	26	26

Elas somam n = 200 e não precisam ser números inteiros: não as arredonde.

Condições. Aleatoriedade: amostra aleatória (ou experimento aleatorizado). 10%: na amostragem sem reposição, n ≤ 10% da população (200 doces é bem menos que 10% de todos os doces do fabricante). Contagens grandes: toda contagem esperada é de pelo menos 5; aqui a menor é 26. Verifique as contagens esperadas, não as observadas.

8.3 · A estatística qui-quadrado

diferenças ao quadrado, ponderadas pelo esperado

A estatística χ² soma, sobre todas as categorias, a diferença ao quadrado entre observado e esperado, dividida pela contagem esperada.

\chi^2 = \sum \frac{(\text{observed} - \text{expected})^2}{\text{expected}}

cor	O	E	O − E	(O − E)²/E
blue	34	48	−14	4.08
orange	48	40	+8	1.60
green	41	32	+9	2.53
yellow	19	28	−9	2.89
red	27	26	+1	0.04
brown	31	26	+5	0.96
total	200	200	0	12.11

As diferenças sempre somam 0, então não podem ser somadas como estão: elevar ao quadrado faz cada uma contar. Dividir por E faz uma diferença pesar mais quando se esperava pouco: errar por 10 em 20 esperados importa mais que errar por 10 em 200.

Os graus de liberdade são o número de categorias menos um: df = 6 − 1 = 5. Conhecidas cinco contagens, a sexta fica determinada pelo total.

A maior contribuição mostra onde os dados e a afirmação mais discordam: blue, 4.08 dos 12.11, com 34 observados contra 48 esperados: menos doces blue que o alegado.

8.3 · O valor-p e a conclusão

quão longe na cauda

O valor-p é a área sob a curva χ² com o df do teste, a partir do χ² observado e além dele: valores grandes são evidência contra H₀, então o teste sempre olha a cauda direita.

p = P(\chi^2_{5} \ge 12.11) = 0.033

A simulação em 8.1 deu 0.033, resposta próxima.

Interpretação. Supondo que a distribuição alegada pelo fabricante esteja correta, há probabilidade 0.033 de obter um χ² de 12.11 ou maior só por acaso em uma amostra aleatória de 200 doces.

Conclusão. Como p = 0.033 < α = 0.05, rejeita-se H₀. Há evidência convincente de que a distribuição de cores dos doces deste fabricante difere da afirmação.

Com uma tabela em vez de tecnologia: o valor crítico para df = 5 e cauda de 0.05 é χ²* = 11.07 (azul). 12.11 > 11.07, então p < 0.05.

Se p fosse maior que α, a conclusão seria “sem evidência convincente de que a distribuição difere”: nunca “a afirmação está correta” e nunca “aceitar H₀”. Um teste χ² também não diz em que sentido a distribuição se desvia; para isso, olhe as maiores contribuições.

8.3 · As distribuições qui-quadrado

uma família, uma para cada gl

As distribuições χ² são uma família de curvas de densidade, uma para cada número de graus de liberdade.

Cada uma assume apenas valores de 0 ou mais, pois χ² é uma soma de quadrados. Cada uma é assimétrica à direita. Sua média é df e, para df ≥ 2, seu pico está em df − 2.

Conforme df cresce, a curva se desloca para a direita, se espalha e fica menos assimétrica (a curva vermelha passa de df = 1 a 12). Mais categorias significam mais parcelas na soma, então espera-se um χ² maior mesmo quando H₀ é verdadeira.

Assim, o mesmo χ² pode ser forte evidência com um df e nenhuma com outro. Os valores críticos superiores:

df	1	2	3	4	5	10
cauda 0.05	3.84	5.99	7.81	9.49	11.07	18.31
cauda 0.01	6.63	9.21	11.34	13.28	15.09	23.21

Uma checagem rápida: um χ² próximo de seu df é comum. O 12.11 dos doces é mais que o dobro de seu df de 5.

A distribuição χ² é apenas uma aproximação da verdadeira distribuição amostral da estatística. Ela é boa quando toda contagem esperada é de pelo menos 5: por isso a condição importa.

8.4 · Contagens esperadas em tabelas de dupla entrada

a partir das margens

Em uma tabela de dupla entrada, cada contagem esperada é o total da linha vezes o total da coluna, dividido pelo total da tabela.

\text{expected count} = \frac{\text{row total} \times \text{column total}}{\text{table total}}

Uma amostra aleatória de 400 adultos, cada um classificado por faixa etária e principal fonte de notícias. Contagens observadas, com as esperadas entre parênteses:

	online	TV	print	total
18–34	64 (48.2)	46 (49.6)	24 (36.2)	134
35–54	43 (47.5)	48 (48.8)	41 (35.6)	132
55+	37 (48.2)	54 (49.6)	43 (36.2)	134
total	144	148	108	400

Por que funciona. No total, 144 de 400 adultos (36%) se informam online. Se a faixa etária não fizesse diferença, a mesma proporção dos 134 adultos de 18–34 faria o mesmo: 134 × 144/400 = 48.24.

As contagens esperadas têm as mesmas marginais que as observadas. A figura calcula uma célula por vez: a tampa vermelha é a contagem esperada, e os blocos azuis são os dois totais de onde ela vem.

Mantenha as casas decimais. As contagens esperadas são médias de muitas amostras, não contagens que possam ser observadas.

8.5 · Homogeneidade ou independência?

o planejamento decide

A mesma tabela de dupla entrada pode vir de dois planejamentos, e o planejamento decide qual é o teste.

Homogeneidade (esquerda): amostras aleatórias separadas de várias populações (ou de grupos em um experimento), com uma variável categórica registrada. Aqui, uma amostra de cada faixa etária, e cada pessoa responde qual é sua fonte de notícias. Os totais das linhas foram definidos pelo planejamento.

H₀: a distribuição da fonte de notícias é a mesma nas três faixas etárias. H_a: a distribuição da fonte de notícias não é a mesma nas três.

Independência (direita): uma amostra aleatória de uma população, com duas variáveis categóricas registradas para cada indivíduo. Apenas o total da tabela foi fixado; quantos caem em cada faixa etária fica por conta do acaso.

H₀: não há associação entre faixa etária e fonte de notícias entre os adultos (elas são independentes). H_a: há uma associação (elas não são independentes).

	homogeneidade	independência
amostras	uma por população ou grupo	uma
variáveis	uma	duas
pergunta	mesma distribuição em cada uma?	há associação?

A aritmética é a mesma: contagens esperadas, χ², df e valor-p. Condições, para ambos: amostras aleatórias (ou atribuição aleatória); cada amostra com no máximo 10% de sua população; todas as contagens esperadas de pelo menos 5.

8.6 · Realizando um teste para uma tabela de dupla entrada

χ² e gl = (r − 1)(c − 1)

Para uma tabela de dupla entrada, χ² soma (O − E)²/E em todas as células, e df = (linhas − 1)(colunas − 1).

A amostra de fontes de notícias é uma amostra com duas variáveis: um teste de independência, com α = 0.05.

H₀: faixa etária e principal fonte de notícias são independentes entre os adultos. H_a: elas estão associadas.

Condições. Uma amostra aleatória; 400 é menos de 10% de todos os adultos; a menor contagem esperada é 35.6, pelo menos 5.

A contribuição de cada célula (colunas vermelhas):

	online	TV	print
18–34	5.15	0.26	4.10
35–54	0.43	0.01	0.81
55+	2.62	0.39	1.29

\chi^2 = 15.06 \qquad \text{df} = (3-1)(3-1) = 4

Por que (r − 1)(c − 1): com as margens fixas, depois de preencher um canto 2 × 2 da tabela, todas as outras células decorrem dos totais.

As maiores contribuições: 18–34, online (5.15: 64 observado, 48.2 esperado) e 18–34, print (4.10: 24 observado, 36.2 esperado). Os adultos mais jovens tendem ao online e se afastam do impresso.

8.6 · A conclusão, no contexto

evidência de associação, não de causa

O valor-p é a área além de χ² sob a curva com df = (r − 1)(c − 1), e a conclusão é sobre as populações, em contexto.

p = P(\chi^2_{4} \ge 15.06) = 0.0046

Conclusão. Como p = 0.0046 < α = 0.05, rejeitamos H₀. Há evidência convincente de uma associação entre faixa etária e principal fonte de notícias entre os adultos.

Pelo valor crítico: χ²* = 9.49 para df = 4, e 15.06 > 9.49.

Não é causa. Este é um estudo observacional: o teste encontra uma associação e não diz nada sobre a idade causar a escolha da fonte de notícias. Só um experimento aleatorizado, testado quanto à homogeneidade entre seus grupos de tratamento, pode mostrar causa.

Se as mesmas contagens viessem de três amostras separadas, a conclusão seria: evidência convincente de que a distribuição da fonte de notícias difere entre as três faixas etárias.

Erros comuns. Escrever hipóteses sobre a amostra; usar porcentagens no lugar de contagens; verificar as contagens observadas em vez das esperadas; df = rc − 1; concluir que H₀ é verdadeira quando p é grande.

8.7 · Selecting a procedure

z para proporções ou χ²

Para dados categóricos, a escolha depende de quantas amostras há, quantas variáveis e quantas categorias.

os dados	procedimento
uma amostra, uma variável de duas categorias, uma afirmação sobre p	teste z de uma amostra (ou intervalo) para p
duas amostras ou grupos, uma variável de duas categorias	z de duas amostras para p₁ − p₂
uma amostra, uma variável com várias categorias, contra uma afirmação	χ² de aderência, df = k − 1
várias amostras ou grupos, uma variável	χ² de homogeneidade, df = (r − 1)(c − 1)
uma amostra, duas variáveis	χ² de independência, df = (r − 1)(c − 1)

Os procedimentos z estimam: dão um intervalo de confiança e permitem uma H_a unilateral (“maior que”). Os testes χ² apenas testam, e sua H_a não tem direção.

Com dois grupos e duas categorias, o teste z de duas amostras com H_a bilateral e o teste χ² de homogeneidade dão o mesmo valor-p (χ² = z²).

Leia o planejamento primeiro: como a amostra foi colhida e o que foi registrado sobre cada indivíduo? A figura mostra a forma que cada planejamento deixa nos dados e escolhe um procedimento para cada pergunta.