Как провести A/B-тест, если нельзя рандомизировать отдельных пользователей?
СтатистикаУровень: ПрактикаA/B testing and experimentation
Как провести A/B-тест, если нельзя рандомизировать отдельных пользователей?
Подсказки
- Сформулируйте нулевую гипотезу, единицу наблюдения и статистику теста.
- Разделите размер эффекта, неопределённость и вероятность данных при нулевой гипотезе.
Ответ
Выберите единицу рандомизации, которая уменьшает смешение вариантов: магазин, город или регион. При анализе учитывайте корреляцию внутри кластеров, например кластерно-устойчивыми стандартными ошибками или иерархической моделью; считать всех пользователей независимыми нельзя. Если случайное назначение вообще невозможно, можно рассмотреть разность разностей с сопоставимой контрольной группой, явно проверяя предпосылки такого квазиэксперимента.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros