Чем отличаются частотный и байесовский подходы к A/B-тестам?
СтатистикаУровень: БазаA/B testing and experimentation
Чем отличаются частотный и байесовский подходы к A/B-тестам?
Подсказки
- Назовите события и условие, при котором рассчитывается вероятность.
- Различайте P(A|B) и P(B|A); проверьте базовую частоту события.
Ответ
Частотный подход рассматривает эффект как фиксированную неизвестную величину; p-value описывает совместимость данных с нулевой гипотезой, а доверительный интервал имеет гарантию покрытия в повторных экспериментах. Байесовский подход объединяет априорное распределение с правдоподобием и получает апостериорное распределение эффекта, из которого можно вычислять вероятность превосходства варианта. Выбор априорного распределения и правила остановки важен: байесовский расчёт не означает автоматический контроль частотной вероятности ложной победы.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros