Как проводить A/B-тесты LLM-приложений?
ML System DesignУровень: ПрактикаDeployment & Serving
Как проводить A/B-тесты LLM-приложений?
Подсказки
- Сформулируйте нулевую гипотезу, единицу наблюдения и статистику теста.
- Разделите размер эффекта, неопределённость и вероятность данных при нулевой гипотезе.
Ответ
Заранее задайте основную метрику успешного решения и защитные показатели качества, стоимости и задержки. Случайно закрепите пользователей или сессии за версиями, сохранив идентификаторы модели, промпта и индекса. Рассчитайте выборку по базовому уровню, минимальному эффекту и мощности; универсальных «двух недель и 10 тысяч запросов» нет. Субъективные отзывы дополняйте слепой проверкой ответов, а наблюдение за результатами проводите по выбранному статистическому дизайну.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros