Conditionnement, inférence bayésienne et erreur d'échantillonnage
Introduit| English | Sens |
|---|---|
| standard error/ˈstændəd ˈerə/ | erreur standard |
| sensitivity/ˌsensɪˈtɪvɪti/ | sensibilité |
| specificity/ˌspesɪˈfɪsɪti/ | spécificité |
Un test positif, une condition rare
- Un test est sensible à 90% et spécifique à 95% ; 2% d'une population ont la condition. Parmi les personnes testant positives, seulement environ 27% l'ont réellement. Un taux de détection élevé répond à une question différente de celle concernant la probabilité qu'un résultat positif soit correct.
- Nous suivrons la population après conditionnement, puis distinguerons la dispersion des observations de l'erreur type de leur moyenne. Les taux de test ci-dessous sont des entrées mathématiques hypothétiques.
La condition change le dénominateur
- Pour des événements $A,B$ avec $P(B)>0$, définir $P(A\mid B)=\dfrac{P(A\cap B)}{P(B)}$. Le dénominateur restreint l'attention à $B$ ; le numérateur conserve les issues qui satisfont aussi $A$. La formule élémentaire ne définit pas la condition sur un événement de probabilité nulle.
- Lancer un dé équilibré. Soient $A=\{4,5,6\}$ et $B=\{2,4,6\}$. Alors $P(A\cap B)=2/6$ et $P(B)=3/6$, donnant $P(A\mid B)=2/3$. La probabilité inconditionnelle $P(A)=1/2$ utilise toutes les six issues.
$P(A \cap B) = 0.12$ et $P(B) = 0.3$. Find $P(A \mid B)$.
Difficulté 2/5 · 140 pièces + un petit bonus lors de la première réussite aujourd'hui
P(A | B) = P(A ∩ B) / P(B) = 0.12 / 0.3 = 0.4.
Multiplier le long d'un chemin conditionnel
- Réarranger la définition donne $P(A\cap B)=P(B)P(A\mid B)$. Pour trois événements, commencer par $P(A)$, puis multiplier par $P(B\mid A)$ et $P(C\mid A\cap B)$. Chaque événement conditionnel doit avoir une probabilité positive.
- Tirer deux cartes sans remise d'un jeu standard de 52 cartes. La probabilité d'obtenir deux as est $\dfrac4{52}\cdot\dfrac3{51}=\dfrac1{221}$. Après un as, seuls trois as restent parmi 51 cartes. Multiplier deux probabilités inchangées supposerait une indépendance absente.
A first card drawn from a standard 52-card deck is an ace and is not replaced. Find the probability the second is an ace, to three decimal places.
Difficulté 2/5 · 140 pièces + un petit bonus lors de la première réussite aujourd'hui
Three aces remain among 51 cards, so the conditional probability is 3/51=1/17≈0.059.
L'indépendance est une identité exacte
- Des événements sont indépendants si $P(A\cap B)=P(A)P(B)$. Si $P(B)>0$, cela équivaut à $P(A\mid B)=P(A)$. La définition par produit reste valide si l'un des événements a une probabilité nulle.
- Avec $P(A)=0.4$, $P(B)=0.5$ et $P(A\cap B)=0.3$, la probabilité conditionnelle est $0.6$, donc les événements sont dépendants. À l'inverse, les marginales $0.5$ et $0.4$ avec intersection $0.2$ satisfont exactement l'indépendance.
If $P(A) = 0.5$, $P(B) = 0.4$ et $P(A \cap B) = 0.2$, then $A$ et $B$ are independent.
Difficulté 1/5 · 100 pièces + un petit bonus lors de la première réussite aujourd'hui
True. A and B are independent exactly when P(A ∩ B) = P(A)P(B), and 0.5 × 0.4 = 0.2.
Disjoints ne signifie pas indépendant
- Les événements disjoints ont $A\cap B=\varnothing$. S'ils ont tous deux une probabilité positive, ils ne peuvent être indépendants : l'intersection a une probabilité nulle mais le produit est positif. Sur un dé équilibré, « impair » et « pair » sont disjoints et dépendants.
- L'indépendance de chaque paire ne garantit pas l'indépendance mutuelle. Pour deux lancers de pièce indépendants et équitables, posons $A$ pour premier lancer pile, $B$ pour second lancer pile, et $C$ pour concordance des lancers. Chaque paire a une probabilité d'intersection de $1/4$. Le triplet a aussi une probabilité de $1/4$, alors que l'indépendance mutuelle exigerait $1/8$.
Two disjoint events, each with positive probability, can be independent.
Difficulté 1/5 · 100 pièces + un petit bonus lors de la première réussite aujourd'hui
Their intersection has probability zero but the product of their probabilities is positive.
For a fair die, let $A=\{4,5,6\}$ et $B=\{2,4,6\}$. Find the intersection and both conditional probabilities. Are the events independent or disjoint?
Vérifiez le groupe de conditionnement, les hypothèses et l'arithmétique par rapport au modèle.
Additionner sur une partition complète
- Si les événements $B_1,\ldots,B_k$ sont disjoints, couvrent l'espace des échantillons et ont chacun une probabilité positive, alors $P(A)=\sum_i P(B_i)P(A\mid B_i)$. Chaque terme représente une voie disjointe vers $A$ ; aucun résultat n'est omis ou compté deux fois.
- Une usine reçoit 60% de pièces de la ligne 1 et 40% de la ligne 2. Ses taux de défaut sont respectivement 1% et 3%. La probabilité globale de défaut est $0.6(0.01)+0.4(0.03)=0.018$, et non la moyenne non pondérée $0.02$.
Nommer soigneusement les taux de test
- Posons $D$ pour indiquer la présence de la condition et $+$ pour un résultat positif. La sensibilité est $P(+\mid D)$ ; la spécificité est $P(-\mid\bar D)$. Le taux de faux positifs est $P(+\mid\bar D)=1-\text{specificity}$.
- La probabilité prédictive positive est $P(D\mid +)$, ce qui conditionne sur un groupe différent. Ni la sensibilité ni la spécificité seule ne donne cette probabilité ; le taux de base $P(D)$ compte également.
Construire les quatre cases
- Dans une population modèle de 10,000, le taux de base de 2% donne 200 avec la condition et 9,800 sans elle. La sensibilité de 90% donne 180 vrais positifs et 20 faux négatifs. La spécificité de 95% donne 9,310 vrais négatifs et 490 faux positifs.
- Il y a $180+490=670$ résultats positifs et $20+9310=9330$ résultats négatifs. Ainsi $P(D\mid +)=180/670\approx26.9\%$. Le taux de détection de 90% est $180/200$, en utilisant un dénominateur différent.
The given group changes the denominator
$P(A\mid B)=n(A\cap B)/n(B),\quad n(B)>0$
Use the lesson’s table to compare a conditional probability, its reverse and a whole-cohort probability. The highlighted group is the denominator.
Bayes inverse la condition
- Écrire $u=P(D)P(+\mid D)$ et $v=P(\bar D)P(+\mid\bar D)$. La probabilité totale donne $P(+)=u+v$. Si celle-ci est positive, le théorème de Bayes donne $P(D\mid +)=\dfrac{u}{u+v}$.
- Pour un taux de base de 10%, une sensibilité de 80% et une spécificité de 90%, les deux voies positives sont $u=0.10(0.80)=0.08$ et $v=0.90(0.10)=0.09$. La postérieure est $0.08/0.17=8/17\approx0.471$, plutôt que la sensibilité $0.8$.
De quelle s'agit-il ?
Nommez la probabilité conditionnelle que décrit une énoncé.
Prevalence 10%, sensitivity 80%, specificity 90%. Find $P(D \mid +)$ to three decimal places.
Difficulté 2/5 · 140 pièces + un petit bonus lors de la première réussite aujourd'hui
The positive routes are 0.10×0.80=0.08 and 0.90×0.10=0.09, so the posterior is 0.08/(0.08+0.09)=8/17≈0.471.
Changer le taux de base, garder le test
- Garder la sensibilité de 90% et la spécificité de 95%, mais augmenter le taux de base de 2% à 20%. Par 10,000 personnes, les comptes positifs deviennent 1,800 vrais positifs et 400 faux positifs. Maintenant $P(D\mid +)=1800/2200\approx81.8\%$.
- Les deux taux conditionnels du test sont restés fixes ; la composition de la population a changé. Inversement, avec un taux de base de 2%, hausser la spécificité à 99% réduit les faux positifs à 98 et donne $180/278\approx64.7\%$.
In a hypothetical batch, 4% of parts are defective. A checker flags 95% of defective parts and 2% of nondefective parts. Build a table for 10,000 parts and find the probability a flagged part is defective.
Vérifiez le groupe de conditionnement, les hypothèses et l'arithmétique par rapport au modèle.
Résultats négatifs et résultats répétés
- Dans le modèle original de 2%, on a $P(D\mid -)=20/9330\approx0.00214$. Son complémentaire est $P(\bar D\mid -)$, et non $P(D\mid +)$ : les deux probabilités d'un complément doivent être conditionnées par le même événement.
- Répéter un test ne carré pas automatiquement son taux d'erreur. Carrer le taux de faux positifs exige l'indépendance des deux résultats conditionnellement à l'absence de la condition ; multiplier les sensibilités exige également une indépendance conditionnelle donnée sa présence. Des sources d'erreur partagées peuvent violer ces hypothèses.
In the original hypothetical 2% model, 20 of the 9,330 negative results have the condition. Find the probability of the condition given a negative result, to six decimal places.
Difficulté 2/5 · 140 pièces + un petit bonus lors de la première réussite aujourd'hui
The negative result defines the denominator: 20/9330≈0.002144. This is not the false-negative rate 20/200.
When can two test false-positive rates of 0.05 be multiplied to obtain a joint false-positive rate of 0.0025?
Difficulté 1/5 · 100 pièces + un petit bonus lors de la première réussite aujourd'hui
The multiplication is within the group without the condition, so independence must hold conditional on absence, with each conditional rate 0.05. Merely using the same test or a new day does not establish it.
Une moyenne possède sa propre distribution
- Avant tout échantillonnage, les observations $X_1,\ldots,X_n$ et leur moyenne $\bar X$ sont des variables aléatoires. Répéter la procédure d'échantillonnage donne une distribution d'échantillonnage des moyennes possibles. Son écart-type est l'erreur standard de la moyenne.
- Si chaque observation a pour espérance $\mu$, la linéarité donne $E(\bar X)=\mu$ ; l'indépendance n'est pas requise pour cette espérance. Une moyenne d'échantillon réalisée $\bar x$ est une seule valeur, et non toute la distribution d'échantillonnage.
Déduire l'erreur standard
- Posons $\bar X=\frac1n\sum_iX_i$. Supposons que les observations soient indépendantes et que chacune ait une variance finie $\sigma^2$. Leur somme a pour variance $n\sigma^2$ ; la moyenne divise cette valeur par $n^2$. Ainsi $\operatorname{Var}(\bar X)=\sigma^2/n$, et en prenant la racine carrée, on obtient $\operatorname{SE}(\bar X)=\dfrac{\sigma}{\sqrt n}$.
- Les observations indépendantes et identiquement distribuées (iid) avec variance finie satisfont ces hypothèses, mais la normalité n'est pas nécessaire pour l'identité de la variance. Pour des variances indépendantes inégales, utilisez leur somme divisée par $n^2$ avant de prendre la racine carrée.
Dispersion des observations versus dispersion des moyennes
- Avec $\sigma=12$, la moyenne de 36 observations indépendantes a une erreur standard (SE) de $2$, et la moyenne de 144 a une SE de $1$. Les observations individuelles ont toujours un écart-type de $12$. Un échantillon plus grand stabilise la moyenne, plutôt que de rendre chaque observation moins variable.
- Si $\sigma$ est inconnue, estimer la SE par $s/\sqrt n$, où $s$ est l'écart-type de l'échantillon. Pour $s=18$ et $n=81$, l'estimation est $2$. Il s'agit d'une estimation basée sur les données, et non d'une valeur connue de la population.
Individual spread and sample-mean spread
$\mathrm{SD}(\bar X)=\sigma/\sqrt n$
Changing n changes the standard error, not the population standard deviation. Normal probabilities require an explicit distribution model.
Each of 100 independent observations has standard deviation $\sigma=20$. What is the standard error of their mean?
Difficulté 2/5 · 140 pièces + un petit bonus lors de la première réussite aujourd'hui
The standard error of the mean is σ/√n = 20/√100 = 20/10 = 2.
For an iid sample of size $81$ with sample standard deviation $s=18$, estimate the standard error of the sample mean.
Difficulté 2/5 · 140 pièces + un petit bonus lors de la première réussite aujourd'hui
Use s/√n=18/9=2. This estimates the unknown population SE.
Planifier la taille de l'échantillon
- En maintenant fixes la variance des observations et les hypothèses d'échantillonnage, multiplier $n$ par $k$ multiplie la SE par $1/\sqrt k$. Quadrupler la taille de l'échantillon divise la SE par deux ; réduire la SE au tiers nécessite neuf fois plus d'observations.
- Pour atteindre une SE au plus égale à $e>0$ lorsque $\sigma$ est connue, exiger $n\ge(\sigma/e)^2$ et arrondir à l'entier supérieur. Avec $\sigma=10$ et une SE cible de $3$, cela donne $n\ge100/9$, donc le minimum est $12$, et non $11$.
Holding the common observation variance fixed for independent observations, multiplying the sample size by 4 changes the mean standard error by a factor of
Difficulté 1/5 · 100 pièces + un petit bonus lors de la première réussite aujourd'hui
√4 = 2 in the denominator.
Independent observations have common standard deviation $\sigma=10$. What is the smallest integer sample size giving mean SE at most $3$?
Difficulté 2/5 · 140 pièces + un petit bonus lors de la première réussite aujourd'hui
n must be at least (10/3)²=100/9≈11.111; round up to 12. At n=11 the SE is still larger than 3.
Two independent observations have the same mean $\mu$ and variances $9$ et $16$. Find the mean and standard error of their average. Explain why a common-$\sigma$ shortcut is inappropriate.
Vérifiez le groupe de conditionnement, les hypothèses et l'arithmétique par rapport au modèle.
La dispersion exacte n'est pas une normalité exacte
- Des observations normales indépendantes donnent une moyenne d'échantillon normale à toute taille d'échantillon. Pour des observations iid à variance positive finie, le théorème central limite donne instead une moyenne centrée réduite approximativement normale lorsque $n$ croît ; cela ne rend pas les observations elles-mêmes normales.
- Une moyenne de $n$ observations de Bernoulli indépendantes ne peut prendre que $n+1$ valeurs, elle n'est donc pas exactement normale. La formule de la SE reste valide. Aucune taille d'échantillon universelle ne garantit une approximation normale précise pour toute population.
The mean of any finite iid sample with finite variance has an exactly normal distribution.
Difficulté 1/5 · 100 pièces + un petit bonus lors de la première réussite aujourd'hui
For Bernoulli observations a finite sample mean is discrete. The standard error identity can be exact while a normal approximation is only approximate.
Dépendance et biais nécessitent des vérifications distinctes
- Pour des observations dépendantes, la variance inclut les termes de covariance. Pour deux observations de variance $\sigma^2$ et de covariance $c$, la moyenne a une variance $(\sigma^2+c)/2$. Si la seconde répète exactement la même lecture aléatoire, $c=\sigma^2$ : leur moyennage ne réduit pas la variance.
- Une faible ER mesure l'échantillonnage, pas le biais. Un capteur ajoutant toujours $3$ à des lectures sans biais produit une moyenne biaisée de $3$, quelle que soit la taille de l'échantillon. Plus de lectures répétées n'éliminent pas cet écart systématique ni ne corrigent un échantillon non représentatif.
Quelle quantité change ?
Séparer l'écart d'observation, l'échantillonnage et le biais.
Suppose $X_i=\mu+3+Z+\varepsilon_i$, where $Z$ has mean zero and variance 4, the $\varepsilon_i$ are independent with mean zero and variance 9, and $Z$ is independent of every error. Find the mean and variance of $\bar X$ and describe what increasing $n$ can fix.
Vérifiez le groupe de conditionnement, les hypothèses et l'arithmétique par rapport au modèle.
Résumé
- Sensibilité : probabilité d'un résultat positif sachant que la condition est présente.
- Spécificité : probabilité d'un résultat négatif sachant que la condition est absente.
- Erreur standard : écart-type de la distribution d'échantillonnage d'une statistique. Pour la moyenne d'un échantillon indépendant à variance commune, elle est $\sigma/\sqrt n$ ; $s/\sqrt n$ l'estime lorsque $\sigma$ est inconnu. Vérifiez séparément la dépendance, les hypothèses d'approximation et le biais.