Что в QLoRA хранится в четырёх битах и что обучается?
LLM & AIУровень: ПрактикаFine-tuning & Alignment
Что в QLoRA хранится в четырёх битах и что обучается?
Подсказки
- Какие параметры изменяются и какие остаются замороженными?
- Разделите память весов, градиентов, состояний оптимизатора и активаций.
Ответ
Предобученные базовые веса заморожены и хранятся в квантованной форме, в исходной работе — NF4. Обучаются низкоранговые адаптеры, а для вычислений базовые веса деквантуются в рабочую точность, например BF16. Двойное квантование уменьшает накладные расходы констант, paged optimizers помогают при пиках памяти. Активации, адаптеры, оптимизатор и временные буферы всё равно требуют памяти: весь процесс не сводится к четырём битам на параметр.
Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · ответ: редакция Quantoros · перевод: Quantoros