К содержанию
Quantoros

Как провести A/B-тест, если нельзя рандомизировать отдельных пользователей?

СтатистикаУровень: ПрактикаA/B testing and experimentation

Как провести A/B-тест, если нельзя рандомизировать отдельных пользователей?

Подсказки
  • Сформулируйте нулевую гипотезу, единицу наблюдения и статистику теста.
  • Разделите размер эффекта, неопределённость и вероятность данных при нулевой гипотезе.

Ответ

Выберите единицу рандомизации, которая уменьшает смешение вариантов: магазин, город или регион. При анализе учитывайте корреляцию внутри кластеров, например кластерно-устойчивыми стандартными ошибками или иерархической моделью; считать всех пользователей независимыми нельзя. Если случайное назначение вообще невозможно, можно рассмотреть разность разностей с сопоставимой контрольной группой, явно проверяя предпосылки такого квазиэксперимента.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы