Что такое катастрофическое забывание и как его уменьшить?
LLM & AIУровень: ПрактикаAlignment Training
Что такое катастрофическое забывание и как его уменьшить?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
При адаптации к узкой задаче модель может ухудшить ранее освоенные навыки. Помогают смесь старых и новых данных, ограничение обновлений, регуляризация, осторожная скорость обучения и ранняя остановка по нескольким наборам. LoRA сохраняет исходные веса отдельно, поэтому адаптер можно отключить, но при включённом адаптере забывание всё равно возможно. Проверяйте и целевую задачу, и общие способности; ни один метод не гарантирует полного сохранения качества.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros