К содержанию
Quantoros

Что делать, если дообученная модель повторяет фактические ошибки обучающих данных?

LLM & AIУровень: ПрактикаTroubleshooting Scenarios

Что делать, если дообученная модель повторяет фактические ошибки обучающих данных?

Подсказки
  • Какие параметры изменяются и какие остаются замороженными?
  • Разделите память весов, градиентов, состояний оптимизатора и активаций.

Ответ

Проведите стратифицированный аудит примеров и выявите темы, источники и шаблоны систематических ошибок. Исправьте или удалите неверные ответы и добавьте проверку фактов до обучения. Для изменяемых сведений используйте проверяемые внешние источники и научите модель воздерживаться при недостатке оснований. После переобучения проверьте независимый набор, включая старые ошибки; исправление нескольких примеров не доказывает исправление всего распределения.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы