Что такое защитная метрика и зачем она нужна вместе с основной?
СтатистикаУровень: БазаA/B testing and experimentation
Что такое защитная метрика и зачем она нужна вместе с основной?
Подсказки
- Определите случайную величину, выборку и оцениваемый параметр.
- Укажите необходимые допущения; чем оценка отличается от её неопределённости?
Ответ
Защитная метрика выявляет нежелательный ущерб, который основная метрика может скрыть. Например, кликабельность выросла, но страница стала медленнее, возвратов стало больше или снизилась выручка. До запуска задают допустимые границы ухудшения и правило принятия решения: победа по основной метрике сама по себе не оправдывает вред по важным ограничениям.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros