К содержанию
Quantoros

Чем отличаются частотный и байесовский подходы к A/B-тестам?

СтатистикаУровень: БазаA/B testing and experimentation

Чем отличаются частотный и байесовский подходы к A/B-тестам?

Подсказки
  • Назовите события и условие, при котором рассчитывается вероятность.
  • Различайте P(A|B) и P(B|A); проверьте базовую частоту события.

Ответ

Частотный подход рассматривает эффект как фиксированную неизвестную величину; p-value описывает совместимость данных с нулевой гипотезой, а доверительный интервал имеет гарантию покрытия в повторных экспериментах. Байесовский подход объединяет априорное распределение с правдоподобием и получает апостериорное распределение эффекта, из которого можно вычислять вероятность превосходства варианта. Выбор априорного распределения и правила остановки важен: байесовский расчёт не означает автоматический контроль частотной вероятности ложной победы.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы