К содержанию
Quantoros

Что в QLoRA хранится в четырёх битах и что обучается?

LLM & AIУровень: ПрактикаFine-tuning & Alignment

Что в QLoRA хранится в четырёх битах и что обучается?

Подсказки
  • Какие параметры изменяются и какие остаются замороженными?
  • Разделите память весов, градиентов, состояний оптимизатора и активаций.

Ответ

Предобученные базовые веса заморожены и хранятся в квантованной форме, в исходной работе — NF4. Обучаются низкоранговые адаптеры, а для вычислений базовые веса деквантуются в рабочую точность, например BF16. Двойное квантование уменьшает накладные расходы констант, paged optimizers помогают при пиках памяти. Активации, адаптеры, оптимизатор и временные буферы всё равно требуют памяти: весь процесс не сводится к четырём битам на параметр.

Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы