К содержанию
Quantoros

Как оценивать дообученную модель?

LLM & AIУровень: ПрактикаEvaluation & Production

Как оценивать дообученную модель?

Подсказки
  • Какие параметры изменяются и какие остаются замороженными?
  • Разделите память весов, градиентов, состояний оптимизатора и активаций.

Ответ

Сравните её с хорошо настроенной исходной моделью на независимых данных целевой задачи. Используйте подходящие метрики: точность классификации, проверяемость решения, соблюдение формата и человеческую оценку открытых ответов. BLEU и ROUGE не заменяют проверку фактов. Дополнительно проверяйте сохранение общих навыков, безопасность, стоимость и задержку, чтобы улучшение узкой задачи не скрывало регрессии.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы