Condicionamento, inferência bayesiana e erro de amostragem
Introduzido| English | Significado |
|---|---|
| standard error/ˈstændəd ˈerə/ | erro padrão |
| sensitivity/ˌsensɪˈtɪvɪti/ | sensibilidade |
| specificity/ˌspesɪˈfɪsɪti/ | especificidade |
Um teste positivo, uma condição rara
- Um teste de modelo tem sensibilidade de 90% e especificidade de 95%; 2% da população têm a condição. Entre quem testou positivo, apenas cerca de 27% realmente têm a condição. Alta taxa de detecção responde a uma pergunta diferente da probabilidade de um resultado positivo ser correto.
- Rastreamos a população após condicionar, distinguindo a dispersão das observações do erro padrão da média. As taxas de teste abaixo são entradas matemáticas hipotéticas.
Condicionar altera o denominador
- Para eventos $A,B$ com $P(B)>0$, defina $P(A\mid B)=\dfrac{P(A\cap B)}{P(B)}$. O denominador restringe a atenção a $B$; o numerador mantém resultados que também satisfazem $A$. A fórmula elementar não define condicionamento em evento de probabilidade zero.
- Jogue um dado justo. Sejam $A=\{4,5,6\}$ e $B=\{2,4,6\}$. Então $P(A\cap B)=2/6$ e $P(B)=3/6$, resultando em $P(A\mid B)=2/3$. A probabilidade incondicional $P(A)=1/2$ usa todos os seis resultados.
$P(A \cap B) = 0.12$ e $P(B) = 0.3$. Find $P(A \mid B)$.
Dificuldade 2/5 · Moedas 140 + pequeno bônus na primeira conclusão hoje
P(A | B) = P(A ∩ B) / P(B) = 0.12 / 0.3 = 0.4.
Multiplicar ao longo de um caminho condicional
- Reorganizar a definição resulta em $P(A\cap B)=P(B)P(A\mid B)$. Para três eventos, comece com $P(A)$, depois multiplique por $P(B\mid A)$ e $P(C\mid A\cap B)$. Cada evento de condicionamento deve ter probabilidade positiva.
- Retire duas cartas sem reposição de um baralho padrão de 52 cartas. A probabilidade de dois ases é $\dfrac4{52}\cdot\dfrac3{51}=\dfrac1{221}$. Após um ás, restam apenas três ases entre 51 cartas. Multiplicar duas probabilidades inalteradas assumiria independência que não existe.
A first card drawn from a standard 52-card deck is an ace and is not replaced. Find the probability the second is an ace, to three decimal places.
Dificuldade 2/5 · Moedas 140 + pequeno bônus na primeira conclusão hoje
Three aces remain among 51 cards, so the conditional probability is 3/51=1/17≈0.059.
A independência é uma identidade exata
- Eventos são independentes quando $P(A\cap B)=P(A)P(B)$. Se $P(B)>0$, isso equivale a $P(A\mid B)=P(A)$. A definição de produto ainda funciona se qualquer evento tiver probabilidade zero.
- Com $P(A)=0.4$, $P(B)=0.5$ e $P(A\cap B)=0.3$, a probabilidade condicional é $0.6$, portanto os eventos são dependentes. Em contraste, as marginais $0.5$ e $0.4$ com interseção $0.2$ satisfazem a independência exatamente.
If $P(A) = 0.5$, $P(B) = 0.4$ e $P(A \cap B) = 0.2$, then $A$ e $B$ are independent.
Dificuldade 1/5 · Moedas 100 + pequeno bônus na primeira conclusão hoje
True. A and B are independent exactly when P(A ∩ B) = P(A)P(B), and 0.5 × 0.4 = 0.2.
Disjuntos não significam independentes
- Eventos disjuntos têm $A\cap B=\varnothing$. Se ambos tiverem probabilidade positiva, não podem ser independentes: a interseção tem probabilidade zero, mas o produto é positivo. Em um dado justo, "ímpar" e "par" são disjuntos e dependentes.
- A independência de cada par não garante independência mútua. Para dois lançamentos independentes de moedas justas, seja $A$ o primeiro lançamento dar cara, $B$ o segundo lançar cara e $C$ os lançamentos concordarem. Cada par tem probabilidade de interseção $1/4$. O triplo também tem probabilidade $1/4$, enquanto a independência mútua exigiria $1/8$.
Two disjoint events, each with positive probability, can be independent.
Dificuldade 1/5 · Moedas 100 + pequeno bônus na primeira conclusão hoje
Their intersection has probability zero but the product of their probabilities is positive.
For a fair die, let $A=\{4,5,6\}$ e $B=\{2,4,6\}$. Find the intersection and both conditional probabilities. Are the events independent or disjoint?
Verifique o grupo de condicionamento, premissas e aritmética em relação ao modelo.
Some ao longo de uma partição completa
- Se os eventos $B_1,\ldots,B_k$ forem disjuntos, cobrirem o espaço amostral e cada um tiver probabilidade positiva, então $P(A)=\sum_i P(B_i)P(A\mid B_i)$. Cada termo é uma rota disjunta para dentro de $A$; nenhum resultado é omitido ou contado duas vezes.
- A factory gets 60% of parts from line 1 and 40% from line 2. Their defect rates are 1% and 3%. The overall defect probability is $0.6(0.01)+0.4(0.03)=0.018$, not the unweighted average $0.02$.
Nomeie cuidadosamente as taxas do teste
- Seja $D$ que a condição está presente e $+$ que o resultado é positivo. A sensibilidade é $P(+\mid D)$; a especificidade é $P(-\mid\bar D)$. A taxa de falso-positivo é $P(+\mid\bar D)=1-\text{specificity}$.
- A probabilidade preditiva positiva é $P(D\mid +)$, que condiciona em um grupo diferente. Nem a sensibilidade nem a especificidade sozinhas fornecem essa probabilidade; a taxa base $P(D)$ também importa.
Construa todas as quatro células
- Em uma população modelo de 10,000, a taxa base de 2% resulta em 200 com a condição e 9,800 sem ela. A sensibilidade de 90% gera 180 verdadeiros positivos e 20 falsos negativos. A especificidade de 95% resulta em 9,310 verdadeiros negativos e 490 falsos positivos.
- Existem $180+490=670$ resultados positivos e $20+9310=9330$ resultados negativos. Assim, $P(D\mid +)=180/670\approx26.9\%$. A taxa de detecção de 90% é $180/200$, usando um denominador diferente.
The given group changes the denominator
$P(A\mid B)=n(A\cap B)/n(B),\quad n(B)>0$
Use the lesson’s table to compare a conditional probability, its reverse and a whole-cohort probability. The highlighted group is the denominator.
Bayes inverte a condicionalidade
- Escreva $u=P(D)P(+\mid D)$ e $v=P(\bar D)P(+\mid\bar D)$. A probabilidade total fornece $P(+)=u+v$. Se for positivo, o teorema de Bayes dá $P(D\mid +)=\dfrac{u}{u+v}$.
- Para taxa base de 10%, sensibilidade de 80% e especificidade de 90%, as duas rotas positivas são $u=0.10(0.80)=0.08$ e $v=0.90(0.10)=0.09$. A posterior é $0.08/0.17=8/17\approx0.471$, e não a sensibilidade $0.8$.
De qual probabilidade se trata?
Nomeie a probabilidade condicional descrita pela afirmação.
Prevalence 10%, sensitivity 80%, specificity 90%. Find $P(D \mid +)$ to three decimal places.
Dificuldade 2/5 · Moedas 140 + pequeno bônus na primeira conclusão hoje
The positive routes are 0.10×0.80=0.08 and 0.90×0.10=0.09, so the posterior is 0.08/(0.08+0.09)=8/17≈0.471.
Altere a taxa base, mantenha o teste
- Mantenha a sensibilidade 90% e a especificidade 95%, mas aumente a taxa base de 2% para 20%. Por 10,000 pessoas, os resultados positivos tornam-se 1,800 verdadeiros positivos e 400 falsos positivos. Agora $P(D\mid +)=1800/2200\approx81.8\%$.
- As duas taxas condicionais do teste permaneceram fixas; a mistura de pessoas mudou. Inversamente, com a taxa base em 2%, aumentar a especificidade para 99% reduz os falsos positivos para 98 e resulta em $180/278\approx64.7\%$.
In a hypothetical batch, 4% of parts are defective. A checker flags 95% of defective parts and 2% of nondefective parts. Build a table for 10,000 parts and find the probability a flagged part is defective.
Verifique o grupo de condicionamento, premissas e aritmética em relação ao modelo.
Resultados negativos e resultados repetidos
- No modelo original de 2%, $P(D\mid -)=20/9330\approx0.00214$. Seu complementar é $P(\bar D\mid -)$, não $P(D\mid +)$: ambas as probabilidades em um complementar devem condicionar ao mesmo evento.
- Repetir um teste não eleva automaticamente ao quadrado sua taxa de erro. Elevar a taxa de falso positivo ao quadrado exige independência dos dois resultados condicional à ausência da condição; multiplicar sensibilidades também exige independência condicional dada sua presença. Fontes de erro compartilhadas podem violar essas suposições.
In the original hypothetical 2% model, 20 of the 9,330 negative results have the condition. Find the probability of the condition given a negative result, to six decimal places.
Dificuldade 2/5 · Moedas 140 + pequeno bônus na primeira conclusão hoje
The negative result defines the denominator: 20/9330≈0.002144. This is not the false-negative rate 20/200.
When can two test false-positive rates of 0.05 be multiplied to obtain a joint false-positive rate of 0.0025?
Dificuldade 1/5 · Moedas 100 + pequeno bônus na primeira conclusão hoje
The multiplication is within the group without the condition, so independence must hold conditional on absence, with each conditional rate 0.05. Merely using the same test or a new day does not establish it.
Uma média possui sua própria distribuição
- Antes da amostragem, as observações $X_1,\ldots,X_n$ e sua média $\bar X$ são variáveis aleatórias. Repetir o procedimento de amostragem gera uma distribuição amostral das médias possíveis. Seu desvio padrão é o erro padrão da média.
- Se toda observação tem média $\mu$, a linearidade fornece $E(\bar X)=\mu$; a independência não é necessária para esta expectativa. Uma média amostral realizada $\bar x$ é um único valor, não toda a distribuição amostral.
Derive o erro padrão
- Seja $\bar X=\frac1n\sum_iX_i$. Suponha que as observações sejam independentes e cada uma tenha variância finita $\sigma^2$. Sua soma tem variância $n\sigma^2$; a média divide isso por $n^2$. Logo $\operatorname{Var}(\bar X)=\sigma^2/n$, e extrair a raiz quadrada resulta em $\operatorname{SE}(\bar X)=\dfrac{\sigma}{\sqrt n}$.
- Observações independentes e idênticas com variância finita satisfazem essas suposições, mas a normalidade não é necessária para a identidade da variância. Para variâncias independentes desiguais, use sua soma dividida por $n^2$ antes de tirar a raiz quadrada.
Dispersão de observações versus dispersão da média
- Com $\sigma=12$, a média de 36 observações independentes tem EP $2$, e a média de 144 tem EP $1$. As observações individuais ainda têm desvio padrão $12$. Uma amostra maior estabiliza a média, em vez de tornar cada observação menos variável.
- Se $\sigma$ for desconhecido, estime o EP por $s/\sqrt n$, onde $s$ é o desvio padrão amostral. Para $s=18$ e $n=81$, a estimativa é $2$. É uma estimativa baseada em dados, não um valor populacional conhecido.
Individual spread and sample-mean spread
$\mathrm{SD}(\bar X)=\sigma/\sqrt n$
Changing n changes the standard error, not the population standard deviation. Normal probabilities require an explicit distribution model.
Each of 100 independent observations has standard deviation $\sigma=20$. What is the standard error of their mean?
Dificuldade 2/5 · Moedas 140 + pequeno bônus na primeira conclusão hoje
The standard error of the mean is σ/√n = 20/√100 = 20/10 = 2.
For an iid sample of size $81$ with sample standard deviation $s=18$, estimate the standard error of the sample mean.
Dificuldade 2/5 · Moedas 140 + pequeno bônus na primeira conclusão hoje
Use s/√n=18/9=2. This estimates the unknown population SE.
Planeje o tamanho da amostra
- Mantendo a variância das observações e as suposições de amostragem fixas, multiplicar $n$ por $k$ multiplica o EP por $1/\sqrt k$. Quadruplicar a amostra reduz o EP pela metade; reduzir o EP a um terço requer nove vezes mais observações.
- Para alcançar um EP no máximo de $e>0$ quando $\sigma$ for conhecido, exija $n\ge(\sigma/e)^2$ e arredonde para cima até um inteiro. Com $\sigma=10$ e EP alvo $3$, isso resulta em $n\ge100/9$, logo o mínimo é $12$, não $11$.
Holding the common observation variance fixed for independent observations, multiplying the sample size by 4 changes the mean standard error by a factor of
Dificuldade 1/5 · Moedas 100 + pequeno bônus na primeira conclusão hoje
√4 = 2 in the denominator.
Independent observations have common standard deviation $\sigma=10$. What is the smallest integer sample size giving mean SE at most $3$?
Dificuldade 2/5 · Moedas 140 + pequeno bônus na primeira conclusão hoje
n must be at least (10/3)²=100/9≈11.111; round up to 12. At n=11 the SE is still larger than 3.
Two independent observations have the same mean $\mu$ and variances $9$ e $16$. Find the mean and standard error of their average. Explain why a common-$\sigma$ shortcut is inappropriate.
Verifique o grupo de condicionamento, premissas e aritmética em relação ao modelo.
Dispersão exata não implica normalidade exata
- Observações normais independentes produzem uma média amostral normal em qualquer tamanho de amostra. Para observações iid com variância positiva finita, o teorema central do limite fornece uma média padronizada aproximadamente normal conforme $n$ cresce; isso não torna as observações normais.
- A média de $n$ observações de Bernoulli independentes pode assumir apenas $n+1$ valores, logo não é exatamente normal. A fórmula do EP ainda se aplica. Não existe tamanho de amostra universal que garanta uma aproximação normal precisa para toda população.
The mean of any finite iid sample with finite variance has an exactly normal distribution.
Dificuldade 1/5 · Moedas 100 + pequeno bônus na primeira conclusão hoje
For Bernoulli observations a finite sample mean is discrete. The standard error identity can be exact while a normal approximation is only approximate.
Dependência e viés exigem verificações separadas
- Para observações dependentes, a variância inclui termos de covariância. Para duas observações com variância $\sigma^2$ e covariância $c$, a média tem variância $(\sigma^2+c)/2$. Se a segunda repetir exatamente a mesma leitura aleatória, $c=\sigma^2$: a média delas não reduz a variância.
- O PE pequeno mede a dispersão amostral, não o viés. Um sensor que sempre adiciona $3$ a leituras sem viés gera uma média com viés de $3$, independente do tamanho da amostra. Mais leituras repetidas não eliminam esse desvio sistemático nem corrigem uma amostra não representativa.
Qual quantidade muda?
Variabilidade das observações, variabilidade da amostragem e viés.
Suppose $X_i=\mu+3+Z+\varepsilon_i$, where $Z$ has mean zero and variance 4, the $\varepsilon_i$ are independent with mean zero and variance 9, and $Z$ is independent of every error. Find the mean and variance of $\bar X$ and describe what increasing $n$ can fix.
Verifique o grupo de condicionamento, premissas e aritmética em relação ao modelo.
Resumo
- sensibilidade: Probabilidade de resultado positivo dada a presença da condição.
- especificidade: Probabilidade de resultado negativo dada a ausência da condição.
- erro padrão: Desvio padrão da distribuição de amostragem de um estatístico. Para uma média de amostra independente com variância comum, é $\sigma/\sqrt n$; $s/\sqrt n$ o estima quando $\sigma$ é desconhecido. Verifique dependência, suposições de aproximação e viés separadamente.