К содержанию
Quantoros

Как выбрать между LoRA и полным дообучением?

LLM & AIУровень: ПрактикаEvaluation & Production

Как выбрать между LoRA и полным дообучением?

Подсказки
  • Какие параметры изменяются и какие остаются замороженными?
  • Разделите память весов, градиентов, состояний оптимизатора и активаций.

Ответ

LoRA удобна при ограниченной памяти, необходимости хранить несколько адаптеров и достаточных базовых способностях модели. Полное дообучение даёт больше свободы обновления, но требует больше ресурсов и тщательного контроля. Ни количество GPU, ни фиксированный порог примеров сами по себе не определяют выбор. Сравните варианты на задаче по качеству, забыванию, памяти и обслуживанию; LoRA не гарантирует сохранение навыков при включённом адаптере.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы