Что такое BERTScore?
LLM & AIУровень: ПрактикаAutomated Metrics
Что такое BERTScore?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
BERTScore получает контекстные представления токенов кандидата и эталона и сопоставляет их по максимальному косинусному сходству. Усреднение лучших совпадений в обе стороны даёт аналоги precision и recall, затем F1; возможны IDF-веса. Это лучше учитывает перефразировки, чем буквальное перекрытие n-грамм. Но модель представлений, язык и настройка влияют на результат, а высокий балл не доказывает фактическую правильность.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros