T.8 · Условие устойчивости, байесовский вывод и ошибка выборки

Подготовка к GRE для бакалавров. Локальные цели в рамках пересмотренного диапазона ETS; это оригинальное обучение, а не официальный тест или предиктор баллов.

Предварительные требования: таблицы вероятностей, математическое ожидание, дисперсия и независимая выборка.

• Различать условную, совместную и вероятности независимых событий
• Вычислять апостериорные вероятности по полной таблице базовых частот
• Использовать дисперсию и объём выборки для определения стандартной ошибки среднего

апостериорная вероятность: Вероятность, обусловленная наблюдаемыми данными после учёта априорных долей.

стандартная ошибка: Стандартное отклонение статистики при повторных выборках.

При P(B)>0, P(A|B)=P(A∩B)/P(B): ограничиваем совокупность множеством B перед вычислением доли A. Независимость означает P(A∩B)=P(A)P(B), или P(A|B)=P(A) при ненулевом знаменателе. Невзаимоисключающие события с положительными вероятностями не могут быть независимыми, так как их совместная вероятность равна нулю. Выборка без возвращения обычно изменяет последующие вероятности; фиксированный знаменатель для последовательных выборок описывал бы другой эксперимент.

Строим совместные вероятности, умножая долю категории на соответствующую условную вероятность. Если D — состояние, а + — положительный результат, то P(D∩+)=P(D)P(+|D). Общая вероятность положительного результата равна P(D)P(+|D)+P(не D)P(+|не D), поскольку эти случаи несовместны и покрывают все положительные результаты. Формула Байеса делит первое совместное вероятностное значение на эту сумму. Чувствительность — P(+|D), специфичность — P(−|не D); ложноположительная частота равна единице минус специфичность.

Для гипотетического теста с распространённостью 2%, чувствительностью 90% и специфичностью 95% для наглядности возьмём совокупность 10,000. Из 200 человек с состоянием 180 дают положительный результат. Из 9,800 без него 490 дают положительный результат. Следовательно, среди 180 из 670 положительных результатов состояние имеет 18/67, примерно 26.9%. Инвертирование условия дало бы 90%, отвечая на другой вопрос. Это математическая модель, а не рекомендация по клиническим решениям.

Для независимых одинаково распределённых наблюдений с конечной дисперсией σ², среднее выборочное имеет математическое ожидание μ и дисперсию σ²/n; его стандартная ошибка равна σ/√n. Это разброс повторных средних, а не отдельных наблюдений. Увеличение n в четыре раза уменьшает стандартную ошибку вдвое, а не вчетверо. Данные нормального распределения дают точно нормальное среднее; иначе нужна аппроксимация центральной предельной теоремы при достаточных условиях и объёме выборки. Корреляция делает неверным простое вычисление дисперсии для независимых величин.

Пусть P(A)=0.4, P(B)=0.5 и P(A∩B)=0.3. Тогда P(A|B)=0.6, следовательно, A и B не являются независимыми, так как 0.3≠0.4·0.5. Если переменная имеет стандартное отклонение 12, то независимая выборка размера 36 имеет стандартную ошибку среднего 2. Увеличение размера выборки до 144 дает значение 1; при этом стандартное отклонение отдельных наблюдений остается равным 12.

Не путайте P(+|D) с P(D|+). Включайте ложноположительные результаты в знаменатель апостериорной вероятности. Стандартное отклонение отдельных наблюдений и стандартная ошибка их среднего имеют разную зависимость от размера выборки.

В заданной модели 10% устройств имеют дефект. Тест положителен для 80% дефектных и 5% исправных устройств. Найдите вероятность дефекта при положительном результате, используя 1000 ожидаемых устройств.

Разобранное решение

Ожидаемое количество дефектных — 100, исправных — 900. Положительные результаты составляют $100(0.8)=80$ и $900(0.05)=45$ соответственно. В группированной выборке содержится 125 положительных, следовательно,

Отрицательные результаты 20 и 855 проверяют обе итоговые строки. Чувствительность 0.8 равна $P(+\mid D)$, а не запрошенному обращённому условию. Это иллюстративные параметры модели, а не заявленные показатели измерений.

Независимые наблюдения имеют дисперсию 25. Найдите стандартную ошибку их среднего для n=100. Если же каждая различная пара имеет ковариацию 1, найдите дисперсию среднего. Уменьшится ли стандартная ошибка вдвое при увеличении n вчетверо во второй модели?

Проверка после выполнения

Независимость даёт $\operatorname{Var}(\overline X)=25/n$ и при 100 стандартная ошибка $5/10=0.5$. При ковариации равной единице,

При 100 это 1.24. Стандартная ошибка стремится к единице при росте n, а не к нулю; четвёрное увеличение n не обязательно вдвое уменьшает её. Слагаемые с ковариацией можно отбросить только при обоснованной некоррелированности, где независимость является достаточным условием.