К содержанию
Quantoros

Что такое BLEU и когда его стоит использовать?

LLM & AIУровень: БазаAutomated Metrics

Что такое BLEU и когда его стоит использовать?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

BLEU объединяет модифицированную precision n-грамм с штрафом за чрезмерную краткость: BLEU=BP·exp(Σₙwₙlog pₙ). Метрика возникла для оценки перевода относительно эталонов и удобна для сопоставимого корпусного измерения. Она чувствительна к формулировкам, токенизации и числу эталонов. Для открытых диалогов или фактической правильности BLEU недостаточен: хороший перефразированный ответ может иметь мало совпадений.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы