Почему нет одной универсальной оценки ответа LLM и как выбрать метрику?
LLM & AIУровень: ПрактикаEvaluation
Почему нет одной универсальной оценки ответа LLM и как выбрать метрику?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
Ответ может быть правильным, но неполным, неудобным или слишком медленным. Для перевода полезны сравнения с эталонами, для кода — исполнение тестов, для диалога — рубрика полезности и человеческая проверка, для RAG — поддержка источниками. Выберите основные и защитные метрики по цели пользователя. Одна текстовая похожесть не измеряет все эти свойства.
Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros