Condicionamiento, inferencia bayesiana y error de muestreo
Introducido| English | Significado |
|---|---|
| standard error/ˈstændəd ˈerə/ | Error estándar |
| sensitivity/ˌsensɪˈtɪvɪti/ | Sensibilidad |
| specificity/ˌspesɪˈfɪsɪti/ | Especificidad |
Prueba positiva, condición rara
- Una prueba de modelo tiene 90% de sensibilidad y 95% de especificidad; 2% de una población tienen la condición. Entre quienes dan positivo, solo alrededor de 27% la tienen. Una alta tasa de detección responde a una pregunta diferente que la probabilidad de que un positivo sea correcto.
- Rastreamos la población tras condicionar, distinguiendo luego la dispersión de observaciones del error estándar de su media. Las tasas de prueba abajo son entradas matemáticas hipotéticas.
Condicionar cambia el denominador
- Para eventos $A,B$ con $P(B)>0$, defina $P(A\mid B)=\dfrac{P(A\cap B)}{P(B)}$. El denominador restringe la atención a $B$; el numerador mantiene resultados que también satisfacen $A$. La fórmula elemental no define condicionar sobre un evento de probabilidad cero.
- Lance un dado justo. Sea $A=\{4,5,6\}$ y $B=\{2,4,6\}$. Entonces $P(A\cap B)=2/6$ y $P(B)=3/6$, dando $P(A\mid B)=2/3$. La probabilidad incondicional $P(A)=1/2$ usa los seis resultados posibles.
$P(A \cap B) = 0.12$ y $P(B) = 0.3$. Find $P(A \mid B)$.
Dificultad 2/5 · 140 monedas + un pequeño bono en el primer intento de hoy
P(A | B) = P(A ∩ B) / P(B) = 0.12 / 0.3 = 0.4.
Multiplicar a lo largo de una ruta condicional
- Reordenando la definición da $P(A\cap B)=P(B)P(A\mid B)$. Para tres eventos, comience con $P(A)$, luego multiplique por $P(B\mid A)$ y $P(C\mid A\cap B)$. Cada evento de condicionamiento debe tener probabilidad positiva.
- Saque dos cartas sin reemplazo de una baraja estándar de 52 cartas. La probabilidad de dos ases es $\dfrac4{52}\cdot\dfrac3{51}=\dfrac1{221}$. Después de un as, quedan solo tres ases entre 51 cartas. Multiplicar dos probabilidades invariables asumiría independencia que no existe.
A first card drawn from a standard 52-card deck is an ace and is not replaced. Find the probability the second is an ace, to three decimal places.
Dificultad 2/5 · 140 monedas + un pequeño bono en el primer intento de hoy
Three aces remain among 51 cards, so the conditional probability is 3/51=1/17≈0.059.
Independencia es una identidad exacta
- Los eventos son independientes cuando $P(A\cap B)=P(A)P(B)$. Si $P(B)>0$, esto es equivalente a $P(A\mid B)=P(A)$. La definición de producto aún funciona sievento alguno tiene probabilidad cero.
- Con $P(A)=0.4$, $P(B)=0.5$ y $P(A\cap B)=0.3$, la probabilidad condicional es $0.6$, por lo que los eventos son dependientes. En contraste, los marginales $0.5$ y $0.4$ con intersección $0.2$ satisfacen la independencia exactamente.
If $P(A) = 0.5$, $P(B) = 0.4$ y $P(A \cap B) = 0.2$, then $A$ y $B$ are independent.
Dificultad 1/5 · 100 monedas + un pequeño bono en el primer intento de hoy
True. A and B are independent exactly when P(A ∩ B) = P(A)P(B), and 0.5 × 0.4 = 0.2.
Disjuntos no significa independiente
- Eventos disjuntos tienen $A\cap B=\varnothing$. Si ambos tienen probabilidad positiva, no pueden ser independientes: la intersección tiene probabilidad cero pero el producto es positivo. En un dado justo, “impar” y “par” son disjuntos y dependientes.
- Independence of every pair need not give mutual independence. For two fair independent coin tosses, let $A$ mean first toss heads, $B$ mean second toss heads, and $C$ mean the tosses agree. Every pair has intersection probability $1/4$. The triple also has probability $1/4$, whereas mutual independence would require $1/8$.
Two disjoint events, each with positive probability, can be independent.
Dificultad 1/5 · 100 monedas + un pequeño bono en el primer intento de hoy
Their intersection has probability zero but the product of their probabilities is positive.
For a fair die, let $A=\{4,5,6\}$ y $B=\{2,4,6\}$. Find the intersection and both conditional probabilities. Are the events independent or disjoint?
Verificar el grupo de condición, los supuestos y la aritmética contra el modelo.
Sumar a través de una partición completa
- Si los eventos $B_1,\ldots,B_k$ son disjuntos, cubren el espacio muestral y cada uno tiene probabilidad positiva, entonces $P(A)=\sum_i P(B_i)P(A\mid B_i)$. Cada término es una ruta disjunta hacia $A$; ningún resultado se omite ni se cuenta dos veces.
- Una fábrica recibe 60% de las piezas de la línea 1 y 40% de la línea 2. Sus tasas de defecto son 1% y 3%. La probabilidad global de defecto es $0.6(0.01)+0.4(0.03)=0.018$, no el promedio sin ponderación $0.02$.
Nombrar con cuidado las tasas de prueba
- Sea $D$ que la condición esté presente y $+$ un resultado positivo. La sensibilidad es $P(+\mid D)$; la especificidad es $P(-\mid\bar D)$. La tasa de falso positivo es $P(+\mid\bar D)=1-\text{specificity}$.
- La probabilidad predictiva positiva es $P(D\mid +)$, lo cual condiciona sobre un grupo diferente. Ni la sensibilidad ni la especificidad por sí solas proporcionan esta probabilidad; la tasa base $P(D)$ también importa.
Construir las cuatro celdas
- En una población modelo de 10,000, la tasa base del 2% da 200 con la condición y 9,800 sin ella. La sensibilidad del 90% da 180 verdaderos positivos y 20 falsos negativos. La especificidad del 95% da 9,310 verdaderos negativos y 490 falsos positivos.
- There are $180+490=670$ positive results and $20+9310=9330$ negative results. Thus $P(D\mid +)=180/670\approx26.9\%$. The 90% detection rate is $180/200$, using a different denominator.
The given group changes the denominator
$P(A\mid B)=n(A\cap B)/n(B),\quad n(B)>0$
Use the lesson’s table to compare a conditional probability, its reverse and a whole-cohort probability. The highlighted group is the denominator.
Bayes invierte la condicionalización
- Escriba $u=P(D)P(+\mid D)$ y $v=P(\bar D)P(+\mid\bar D)$. La probabilidad total da $P(+)=u+v$. Si esto es positivo, el teorema de Bayes da $P(D\mid +)=\dfrac{u}{u+v}$.
- Para una tasa base del 10%, sensibilidad del 80% y especificidad del 90%, las dos rutas positivas son $u=0.10(0.80)=0.08$ y $v=0.90(0.10)=0.09$. El valor posterior es $0.08/0.17=8/17\approx0.471$, en lugar de la sensibilidad $0.8$.
¿A qué probabilidad corresponde?
Nombren la probabilidad condicional que describe la afirmación.
Prevalence 10%, sensitivity 80%, specificity 90%. Find $P(D \mid +)$ to three decimal places.
Dificultad 2/5 · 140 monedas + un pequeño bono en el primer intento de hoy
The positive routes are 0.10×0.80=0.08 and 0.90×0.10=0.09, so the posterior is 0.08/(0.08+0.09)=8/17≈0.471.
Cambiar la tasa base, mantener la prueba
- Mantenga la sensibilidad del 90% y la especificidad del 95%, pero aumente la tasa base del 2% al 20%. Por cada 10,000 personas, los conteos positivos se convierten en 1,800 verdaderos positivos y 400 falsos positivos. Ahora $P(D\mid +)=1800/2200\approx81.8\%$.
- Las dos tasas condicionales de la prueba permanecieron fijas; la mezcla de personas cambió. Por el contrario, con la tasa base en el 2%, aumentar la especificidad al 99% reduce los falsos positivos a 98 y da $180/278\approx64.7\%$.
In a hypothetical batch, 4% of parts are defective. A checker flags 95% of defective parts and 2% of nondefective parts. Build a table for 10,000 parts and find the probability a flagged part is defective.
Verificar el grupo de condición, los supuestos y la aritmética contra el modelo.
Resultados negativos y resultados repetidos
- En el modelo original del 2%, $P(D\mid -)=20/9330\approx0.00214$. Su complemento es $P(\bar D\mid -)$, no $P(D\mid +)$: ambas probabilidades en un complemento deben condicionar sobre el mismo evento.
- Repetir una prueba no eleva automáticamente al cuadrado su tasa de error. Elevar al cuadrado la tasa de falso positivo requiere independencia de los dos resultados condicionalmente a la ausencia de la condición; multiplicar sensibilidades igualmente requiere independencia condicional dada su presencia. Fuentes de error compartidas pueden violar estas suposiciones.
In the original hypothetical 2% model, 20 of the 9,330 negative results have the condition. Find the probability of the condition given a negative result, to six decimal places.
Dificultad 2/5 · 140 monedas + un pequeño bono en el primer intento de hoy
The negative result defines the denominator: 20/9330≈0.002144. This is not the false-negative rate 20/200.
When can two test false-positive rates of 0.05 be multiplied to obtain a joint false-positive rate of 0.0025?
Dificultad 1/5 · 100 monedas + un pequeño bono en el primer intento de hoy
The multiplication is within the group without the condition, so independence must hold conditional on absence, with each conditional rate 0.05. Merely using the same test or a new day does not establish it.
La media tiene su propia distribución
- Antes de la muestra, las observaciones $X_1,\ldots,X_n$ y su media $\bar X$ son variables aleatorias. Repetir el procedimiento de muestreo produce una distribución muestral de medias posibles. Su desviación estándar es el error estándar de la media.
- Si cada observación tiene media $\mu$, la linealidad implica $E(\bar X)=\mu$; no se requiere independencia para esta esperanza. Una media muestral realizada $\bar x$ es un solo valor, no toda la distribución muestral.
Derivar el error estándar
- Sea $\bar X=\frac1n\sum_iX_i$. Suponga que las observaciones son independientes y cada una tiene varianza finita $\sigma^2$. Su suma tiene varianza $n\sigma^2$; promediar divide esto entre $n^2$. Por lo tanto, $\operatorname{Var}(\bar X)=\sigma^2/n$, y al tomar la raíz cuadrada se obtiene $\operatorname{SE}(\bar X)=\dfrac{\sigma}{\sqrt n}$.
- Las observaciones independientes e idénticamente distribuidas con varianza finita cumplen estas suposiciones, pero la normalidad no es necesaria para la identidad de la varianza. Para varianzas independientes desiguales, use su suma dividida por $n^2$ antes de tomar la raíz cuadrada.
Dispersión de las observaciones frente a dispersión de la media
- Con $\sigma=12$, la media de 36 observaciones independientes tiene SE $2$, y la media de 144 tiene SE $1$. Las observaciones individuales todavía tienen desviación estándar $12$. Una muestra más grande estabiliza la media, en lugar de hacer que cada observación sea menos variable.
- Si $\sigma$ es desconocido, estime el SE mediante $s/\sqrt n$, donde $s$ es la desviación estándar muestral. Para $s=18$ y $n=81$, la estimación es $2$. Es una estimación basada en datos, no un valor poblacional conocido.
Individual spread and sample-mean spread
$\mathrm{SD}(\bar X)=\sigma/\sqrt n$
Changing n changes the standard error, not the population standard deviation. Normal probabilities require an explicit distribution model.
Each of 100 independent observations has standard deviation $\sigma=20$. What is the standard error of their mean?
Dificultad 2/5 · 140 monedas + un pequeño bono en el primer intento de hoy
The standard error of the mean is σ/√n = 20/√100 = 20/10 = 2.
For an iid sample of size $81$ with sample standard deviation $s=18$, estimate the standard error of the sample mean.
Dificultad 2/5 · 140 monedas + un pequeño bono en el primer intento de hoy
Use s/√n=18/9=2. This estimates the unknown population SE.
Planificar el tamaño de la muestra
- Manteniendo fija la varianza de las observaciones y las suposiciones de muestreo, multiplicar $n$ por $k$ multiplica el SE por $1/\sqrt k$. Cuadruplicar la muestra reduce a la mitad el SE; reducir el SE a una tercera parte requiere nueve veces más observaciones.
- Para lograr un SE como máximo de $e>0$ cuando $\sigma$ es conocido, requiera $n\ge(\sigma/e)^2$ y redondee hacia arriba a un entero. Con $\sigma=10$ y un SE objetivo de $3$, esto da $n\ge100/9$, por lo que el mínimo es $12$, no $11$.
Holding the common observation variance fixed for independent observations, multiplying the sample size by 4 changes the mean standard error by a factor of
Dificultad 1/5 · 100 monedas + un pequeño bono en el primer intento de hoy
√4 = 2 in the denominator.
Independent observations have common standard deviation $\sigma=10$. What is the smallest integer sample size giving mean SE at most $3$?
Dificultad 2/5 · 140 monedas + un pequeño bono en el primer intento de hoy
n must be at least (10/3)²=100/9≈11.111; round up to 12. At n=11 the SE is still larger than 3.
Two independent observations have the same mean $\mu$ and variances $9$ y $16$. Find the mean and standard error of their average. Explain why a common-$\sigma$ shortcut is inappropriate.
Verificar el grupo de condición, los supuestos y la aritmética contra el modelo.
La dispersión exacta no es normalidad exacta
- Las observaciones normales independientes producen una media muestral normal en cualquier tamaño de muestra. Para observaciones iid con varianza positiva finita, el teorema central del límite proporciona una media estandarizada aproximadamente normal cuando $n$ crece; esto no hace que las observaciones sean normales.
- Una media de $n$ observaciones de Bernoulli independientes solo puede tomar $n+1$ valores, por lo que no es exactamente normal. La fórmula del SE sigue siendo válida. No existe un tamaño de muestra universal que garantice una aproximación normal precisa para todas las poblaciones.
The mean of any finite iid sample with finite variance has an exactly normal distribution.
Dificultad 1/5 · 100 monedas + un pequeño bono en el primer intento de hoy
For Bernoulli observations a finite sample mean is discrete. The standard error identity can be exact while a normal approximation is only approximate.
La dependencia y el sesgo requieren verificaciones separadas
- Para observaciones dependientes, la varianza incluye términos de covarianza. Para dos observaciones con varianza $\sigma^2$ y covarianza $c$, la media tiene varianza $(\sigma^2+c)/2$. Si la segunda repite exactamente la misma lectura aleatoria, $c=\sigma^2$: promediarlas no reduce la varianza.
- Un pequeño SE mide la dispersión muestral, no el sesgo. Un sensor que siempre suma $3$ a lecturas sin sesgo produce una media con sesgo de $3$, independientemente de lo grande que sea la muestra. Más lecturas repetidas no eliminan ese desplazamiento sistemático ni reparan una muestra no representativa.
¿Qué cantidad cambia?
Separar dispersión de observación, dispersión muestral y sesgo.
Suppose $X_i=\mu+3+Z+\varepsilon_i$, where $Z$ has mean zero and variance 4, the $\varepsilon_i$ are independent with mean zero and variance 9, and $Z$ is independent of every error. Find the mean and variance of $\bar X$ and describe what increasing $n$ can fix.
Verificar el grupo de condición, los supuestos y la aritmética contra el modelo.
Resumen
- sensibilidad: La probabilidad de un resultado positivo dada la presencia de la condición.
- especificidad: La probabilidad de un resultado negativo dado que la condición está ausente.
- error estándar: La desviación estándar de la distribución muestral de una estadística. Para una media muestral con varianza común independiente es $\sigma/\sqrt n$; $s/\sqrt n$ la estima cuando $\sigma$ es desconocida. Verifique la dependencia, las supuestos de aproximación y el sesgo por separado.