Inferência para proporções · AP Statistics

Capítulo 6 · Inferência para proporções

intervalos e testes para p

Uma proporção amostral estima uma proporção populacional. A inferência diz o quanto podemos confiar nela.

Na figura, 50 amostras aleatórias de 500 adultos são tiradas de uma cidade em que uma proporção p = 0.60 apoia uma nova ciclovia. A figura conhece p; uma pesquisa real nunca conhece.

Cada amostra dá sua própria p̂ (um ponto) e um intervalo de confiança de 95% em torno dela (uma haste). A linha vertical é p. 47 dos 50 intervalos passam por ela; 3, em vermelho, erram.

Este capítulo constrói esses intervalos e explica o que “95% de confiança” significa e o que não significa. Depois inverte a pergunta: um teste de significância pergunta se uma amostra seria surpreendente caso um valor afirmado de p fosse verdadeiro, e que erros essa decisão pode cometer. Por fim, as mesmas duas ferramentas para a diferença entre duas proporções.

6.1 · Por que ser normal?

a distribuição amostral de p̂

As proporções amostrais variam de amostra para amostra. Quando a amostra é grande o bastante, sua distribuição é aproximadamente normal, e então um modelo normal indica quais resultados são incomuns.

Na figura, amostras aleatórias são tiradas de uma população com p = 0.1, e a p̂ de cada amostra cai em um histograma: amostras de 20 à esquerda, de 200 à direita. A curva vermelha é o modelo normal.

\mu_{\hat p} = p \qquad \sigma_{\hat p} = \sqrt{\frac{p(1-p)}{n}}

p̂ está centrada em p: é um estimador não viesado. Sua dispersão diminui conforme n cresce: σ é 0.067 para n = 20 e 0.021 para n = 200. 10 vezes a amostra, √10 vezes menos dispersão.

Contagens grandes. A forma é aproximadamente normal quando np ≥ 10 e n(1 − p) ≥ 10. Com n = 20, np = 2: o histograma é assimétrico à direita e encostado em 0, e a curva normal coloca 6.8% de sua área abaixo de 0, onde p̂ não pode chegar. Com n = 200, np = 20 e n(1 − p) = 180: a curva se ajusta.

A condição dos 10%. A fórmula de σ supõe observações independentes. Em amostragem sem reposição, isso vale de modo aproximado quando a amostra é no máximo 10% da população.

Exemplo. Com n = 200, qual a probabilidade de p̂ ≥ 0.15? z = (0.15 − 0.1)/0.0212 = 2.36, e P(Z ≥ 2.36) = 0.0092. Uma amostra tão acima de 0.1 seria muito incomum só por acaso.

6.2 · Construindo um intervalo de confiança

estatística ± (valor crítico)(erro padrão)

Um intervalo de confiança dá uma faixa de valores plausíveis para p: a p̂ da amostra, mais e menos uma margem de erro.

Uma amostra aleatória de 500 adultos de uma cidade: 290 apoiam uma nova ciclovia, então p̂ = 290/500 = 0.580. Um intervalo z para p com uma amostra:

\begin{aligned}\hat p &\pm z^*\sqrt{\frac{\hat p(1-\hat p)}{n}} \\ &= 0.580 \pm 1.960\sqrt{\frac{(0.58)(0.42)}{500}} \\ &= 0.580 \pm 0.043 = (0.537,\ 0.623)\end{aligned}

z* = 1.960 para 95%: os 95% centrais de uma normal padrão ficam entre −1.960 e 1.960. O erro padrão usa p̂ no lugar do p desconhecido. A margem de erro é z* × EP = 0.043.

condição	verificação
Aleatória	uma amostra aleatória de adultos
10%	500 ≤ 10% dos 820,000 adultos da cidade
Contagens grandes	np̂ = 290 e n(1 − p̂) = 210, ambos ≥ 10

Por que funciona. Em 95% das amostras, p̂ fica a até 1.96σ de p (a faixa azul). Sempre que isso acontece, o intervalo que se estende 1.96 EP para cada lado de p̂ volta a passar por p. Na figura, a amostra 6 cai fora da faixa, e seu intervalo erra.

Na prova, nomeie o procedimento, verifique as condições, faça as contas e enuncie o intervalo no contexto.

6.2 · Margem de erro e tamanho da amostra

escolhendo n antes de amostrar

A margem de erro diminui conforme n cresce, mas devagar: como 1/√n. Para planejar uma pesquisa, escolha primeiro a margem e depois resolva para n.

\begin{aligned}&z^*\sqrt{\frac{p^*(1-p^*)}{n}} \le \text{ME} \\ &n \ge \Big(\frac{z^*}{\text{ME}}\Big)^2 p^*(1-p^*)\end{aligned}

p* é um palpite para p. Sem nenhum, use p* = 0.5: isso faz p*(1 − p*) = 0.25, seu maior valor, e o n obtido basta seja qual for o valor de p.

Exemplo. Uma margem de no máximo 0.03 com 95% de confiança:

n \ge \Big(\frac{1.960}{0.03}\Big)^2(0.5)(0.5) = 1067.1

então n = 1068. Arredonde sempre para cima: 1067 daria uma margem um pouco maior que 0.03. Com a estimativa de um estudo piloto p* = 0.2, bastam 683 (a curva azul).

Reduzir a margem pela metade exige quatro vezes a amostra: n está sob uma raiz quadrada.

A margem de erro cobre apenas a variação casual da amostragem aleatória. Ela nada diz sobre viés de cobertura insuficiente, de não resposta ou de uma pergunta tendenciosa.

6.3 · Interpretando um intervalo de confiança

o que significa 95% de confiança, e o que não significa

O intervalo é uma afirmação sobre p. O nível de confiança é uma afirmação sobre o método que o produziu.

O intervalo. “Temos 95% de confiança de que o intervalo de 0.537 a 0.623 captura a verdadeira proporção de todos os adultos da cidade que apoiam a ciclovia.” Nomeie o parâmetro, no contexto.

O nível de confiança. “Se tomássemos muitas amostras aleatórias de 500 e construíssemos um intervalo de 95% com cada uma, cerca de 95% dos intervalos capturariam a verdadeira proporção.” Na figura, 47 de 50 capturam; os 3 vermelhos erram, e nada neles nos avisou.

Não: “há 95% de probabilidade de que p esteja entre 0.537 e 0.623.” p é fixo; este intervalo ou o captura ou não. Também não se trata de 95% dos adultos, nem de 95% das proporções amostrais.

Justificando uma afirmação. Todo valor dentro do intervalo é um valor plausível de p.

afirmação	a partir de (0.537, 0.623)
a maioria apoia, p > 0.5	convincente: todo valor plausível está acima de 0.5
p = 0.60	plausível: está dentro do intervalo
p ≥ 0.65	não plausível: o intervalo está abaixo desse valor

Plausível não é provado: o intervalo não mostra que p = 0.60, apenas que 0.60 não pode ser descartado.

6.3 · Nível de confiança e amplitude

mais confiança custa largura; mais dados a recuperam

Um nível de confiança maior exige um z* maior e, portanto, um intervalo mais largo. Uma amostra maior reduz o erro padrão e, assim, o intervalo.

nível	z*	margem de erro	intervalo
90%	1.645	0.036	(0.544, 0.616)
95%	1.960	0.043	(0.537, 0.623)
99%	2.576	0.057	(0.523, 0.637)
95%, n = 2,000	1.960	0.022	(0.558, 0.602)

Tudo a partir da mesma p̂ = 0.58. Na figura, o intervalo vermelho percorre os níveis de 80.0% a 99.5%; o azul tem quatro vezes a amostra e metade da margem de erro.

Um intervalo de 99% captura p com mais frequência, mas diz menos. Querer alta confiança e um intervalo estreito ao mesmo tempo exige uma amostra maior.

O nível de confiança é escolhido antes dos dados; não é a probabilidade de que um intervalo específico esteja certo. Nem o nível nem n mudam o centro do intervalo: p̂.

6.4 · Montando um teste

hipóteses e condições, com p₀

Um teste de significância verifica se uma amostra fornece evidência convincente contra uma afirmação sobre p.

Um fabricante de celulares diz que 25% dos seus aparelhos precisam de reparo em até dois anos. Um grupo de consumidores suspeita que seja mais. Em uma amostra aleatória de 400 aparelhos do fabricante, 118 precisaram de reparo: p̂ = 0.295.

H_0\!: p = 0.25 \qquad H_a\!: p > 0.25

em que p é a proporção de todos os aparelhos do fabricante que precisam de reparo em até dois anos. A hipótese nula H₀ é a afirmação “nenhuma diferença em relação a 0.25”; a hipótese alternativa H_a é aquilo para o qual o grupo espera encontrar evidência. As hipóteses falam do parâmetro p, nunca de p̂, e são definidas antes de se ver os dados.

H_a é unilateral (> ou <) quando a pergunta tem uma direção, e bilateral (≠) quando qualquer diferença importa.

condição	verificação
Aleatoriedade	uma amostra aleatória dos aparelhos do fabricante
10%	400 ≤ 10% de todos os seus aparelhos
Contagens grandes	np₀ = 100 e n(1 − p₀) = 300, ambos ≥ 10

A condição de contagens grandes usa p₀, e não p̂: o teste calcula o que aconteceria se H₀ fosse verdadeira. A figura desenha 200 amostras de 400 com p = 0.25; elas se acumulam em torno da curva normal com centro 0.25 e desvio padrão 0.0217.

z = \frac{\hat p - p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}} = \frac{0.295 - 0.25}{0.0217} = 2.08

6.5 · Interpretando valores-p

quão surpreendente seria, se H₀ fosse verdadeira

O valor p é a probabilidade, supondo que H₀ seja verdadeira, de obter uma estatística pelo menos tão extrema quanto a observada, na direção de H_a.

\text{p-value} = P(Z \ge 2.08) = 0.019

Na figura, 5 das 200 amostras sorteadas com p = 0.25 chegaram a 0.295 ou mais: uma fração 0.025, próxima de 0.019, do modelo normal.

Em contexto: “Supondo que 25% de todos os aparelhos do fabricante precisem de reparo, há uma probabilidade 0.019 de obter uma proporção amostral de 0.295 ou mais em uma amostra aleatória de 400 aparelhos, apenas por acaso.”

Um valor p pequeno significa que os dados seriam raros se H₀ fosse verdadeira: evidência contra H₀. Um valor p grande significa que os dados são do tipo que H₀ costuma produzir: nenhuma evidência contra ela.

Não é: a probabilidade de H₀ ser verdadeira, nem a probabilidade de o resultado ter ocorrido por acaso. O valor p é calculado supondo H₀.

Para um H_a bilateral, conte as duas caudas: o valor p é o dobro da área além de |z|.

6.6 · Concluindo um teste

compare o valor-p com α

Antes dos dados, escolha um nível de significância α. Se o valor p for menor que α, rejeite H₀; se não, não rejeite H₀.

Com α = 0.05: 0.019 < 0.05, então rejeite H₀. “Como o valor p de 0.019 é menor que α = 0.05, rejeitamos H₀. Temos evidência convincente de que mais de 25% de todos os aparelhos do fabricante precisam de reparo em até dois anos.”

Com α = 0.01: 0.019 > 0.01, então não rejeite H₀. “Não temos evidência convincente de que mais de 25% precisem de reparo.”

Nunca “aceite H₀”: não encontrar evidência contra uma afirmação não mostra que ela é verdadeira.

A mesma decisão com a estatística de teste: rejeite quando z estiver além do valor crítico, z* = 1.645 para α = 0.05 unilateral, 2.326 para 0.01. Na figura, α varia de 0.005 a 0.1; a região azul está além de z*, e a decisão muda quando passa por z = 2.08.

Um resultado com valor p abaixo de α é chamado estatisticamente significativo nesse nível. Significativo não é o mesmo que grande ou importante.

6.7 · Erros e poder

Erro do tipo I, erro do tipo II e o poder de detecção

Um teste pode errar de duas maneiras. Seu poder é a chance de acertar quando H₀ é falsa.

	H₀ verdadeira	H₀ falsa
rejeitar H₀	Erro do tipo I, probabilidade α	correto: poder
não rejeitar	correto	Erro do tipo II, probabilidade β

Em contexto: um erro do tipo I seria concluir que mais de 25% dos aparelhos precisam de reparo quando na verdade são 25%; o fabricante seria acusado injustamente. Um erro do tipo II seria deixar passar um excesso real; os donos continuariam pagando por reparos.

Suponha que a verdade seja p = 0.3. Com α = 0.05, o teste rejeita quando p̂ > 0.2856. Com n = 400:

\begin{aligned}\text{power} &= P(\hat p > 0.2856 \mid p = 0.30) \\ &= 0.735 \\ \beta &= 1 - \text{power} = 0.265\end{aligned}

n	100	200	400	800
poder	0.322	0.496	0.735	0.937

O poder aumenta com uma amostra maior (as curvas se estreitam, como na figura), com um α maior (com α = 0.1 e n = 400, 0.834) e com um p verdadeiro mais distante de p₀. Diminuir α reduz os erros do tipo I, mas aumenta β: os dois se compensam para um n fixo.

6.8 · Um intervalo para uma diferença

p̂₁ − p̂₂, a partir de duas amostras independentes

Para comparar duas proporções, estime a diferença entre elas: (p̂₁ − p̂₂) ± z* × SE.

Amostras aleatórias independentes de 400 adolescentes e 500 adultos: 248 adolescentes e 255 adultos dizem se informar principalmente pelas redes sociais. p̂₁ = 0.62, p̂₂ = 0.51, uma diferença de 0.11.

\begin{aligned}\text{SE} &= \sqrt{\frac{\hat p_1(1-\hat p_1)}{n_1} + \frac{\hat p_2(1-\hat p_2)}{n_2}} \\ &= \sqrt{0.000589 + 0.000500} \\ &= 0.0330\end{aligned}

\begin{aligned}(\hat p_1 - \hat p_2) &\pm z^*\,\text{SE} \\ &= 0.11 \pm 1.960(0.0330) \\ &= 0.11 \pm 0.065 \\ &= (0.045,\ 0.175)\end{aligned}

Somam-se as variâncias, não os erros padrão: a diferença entre duas estimativas independentes varia mais do que cada uma delas.

condição	verificação
Aleatoriedade	duas amostras aleatórias independentes (ou dois grupos de um experimento aleatorizado)
10%	cada amostra ≤ 10% da sua população
Contagens grandes	248, 152, 255, 245: os quatro ≥ 10

Diga qual é o grupo 1. A ordem define o sinal: adultos menos adolescentes daria (-0.175, -0.045).

6.9 · Justificando uma afirmação sobre uma diferença

0 é um valor plausível para p₁ − p₂?

Se 0 está fora do intervalo, os dados dão evidência convincente de que as duas proporções diferem. Se 0 está dentro, não dão.

No contexto: “Temos 95% de confiança de que o intervalo de 0.045 a 0.175 captura a verdadeira diferença (adolescentes menos adultos) nas proporções de pessoas que se informam principalmente pelas redes sociais.”

Todos os valores estão acima de 0, então há evidência convincente de que uma proporção maior de adolescentes do que de adultos faz isso: por algo entre 4.5 e 17.5 pontos percentuais.

Um estudo menor. Os mesmos p̂ de 100 adolescentes e 100 adultos dão (-0.027, 0.247) (azul). 0 está dentro: uma diferença de 0 é plausível, então esses dados não dão evidência convincente de diferença.

Isso não é evidência de que não há diferença: o intervalo também admite uma diferença de até 0.25. Uma amostra maior o estreita.

Um intervalo inteiramente negativo seria evidência de que p₁ < p₂. Um intervalo que contém 0 dá o mesmo veredito que um teste bilateral com α = 1 − C que não rejeita.

6.10 · Montando um teste com duas amostras

H₀: nenhuma diferença, e a proporção combinada

Um teste z para duas amostras verifica se a diferença entre duas proporções amostrais é maior do que o acaso produziria.

Em um experimento, 300 voluntários foram designados aleatoriamente: 150 receberam um lembrete por mensagem de texto e 150 não. 87 do grupo que recebeu o lembrete tomaram a vacina da gripe (0.58) e 66 dos demais (0.44).

\begin{aligned}H_0\!&: p_1 - p_2 = 0 \\ H_a\!&: p_1 - p_2 > 0\end{aligned}

em que p₁ e p₂ são as proporções verdadeiras de pessoas que tomariam a vacina da gripe com e sem lembrete.

Combinação. H₀ diz que as duas proporções são iguais, então o teste estima esse valor comum a partir dos dois grupos juntos: a proporção combinada. Na figura, os dois grupos se juntam e as vacinas se distribuem igualmente entre eles:

\hat p_c = \frac{X_1 + X_2}{n_1 + n_2} = \frac{87 + 66}{150 + 150} = 0.510

condição	verificação
Aleatoriedade	designação aleatória aos dois tratamentos
10%	não é necessária: não há amostragem de uma população
Contagens grandes	com p̂_c: 76.5, 73.5, 76.5, 73.5, todos ≥ 10

6.11 · Realizando um teste com duas amostras

z, o valor p e uma conclusão em contexto

A estatística de teste mede a diferença observada em erros-padrão, com o erro-padrão calculado a partir de p̂_c.

\begin{aligned}\text{SE} &= \sqrt{\hat p_c(1-\hat p_c)\Big(\frac{1}{n_1} + \frac{1}{n_2}\Big)} \\ &= \sqrt{(0.51)(0.49)\Big(\frac{1}{150} + \frac{1}{150}\Big)} \\ &= 0.0577\end{aligned}

\begin{aligned}z &= \frac{(\hat p_1 - \hat p_2) - 0}{\text{SE}} \\ &= \frac{0.58 - 0.44}{0.0577} = 2.43\end{aligned}

valor-p = P(Z ≥ 2.43) = 0.0076, a cauda vermelha na figura.

Conclusão. “Como o valor-p de 0.0076 é menor que α = 0.05, rejeitamos H₀. Temos evidências convincentes de que um lembrete por mensagem aumenta a proporção de pessoas como estes voluntários que tomam a vacina contra a gripe.”

A atribuição aleatória permite que a conclusão seja sobre causa. Os voluntários não eram uma amostra aleatória, então a conclusão vale apenas para pessoas como eles.

Combine as amostras no teste, porque H₀ diz que p₁ = p₂. Não combine no intervalo, que não faz essa suposição.