В чём проблема множественных сравнений и как её решать?
СтатистикаУровень: БазаA/B testing and experimentation
В чём проблема множественных сравнений и как её решать?
Подсказки
- Определите случайную величину, выборку и оцениваемый параметр.
- Укажите необходимые допущения; чем оценка отличается от её неопределённости?
Ответ
Чем больше одновременно проверяется гипотез, тем выше вероятность случайной «победы». Для 20 независимых тестов с α=0,05 вероятность хотя бы одного ложного отклонения равна 1−0,95²⁰ ≈ 64%. Поправка Бонферрони использует α/m и контролирует вероятность хотя бы одной ошибки семейства. Процедура Бенджамини — Хохберга при соответствующих предпосылках контролирует другую величину: ожидаемую долю ложных находок среди отклонённых гипотез.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros