Что такое QLoRA?
LLM & AIУровень: ПрактикаPEFT Methods
Что такое QLoRA?
Подсказки
- Какие параметры изменяются и какие остаются замороженными?
- Разделите память весов, градиентов, состояний оптимизатора и активаций.
Ответ
QLoRA обучает низкоранговые адаптеры поверх замороженной основы, сохранённой в 4-битном формате. В исходной работе используются NF4, двойное квантование констант и paged optimizers для управления пиками памяти. При вычислениях веса деквантуются в рабочий тип, поэтому 4 бита хранения не означают все операции в 4 битах. Реальная память включает активации, адаптеры, градиенты и оптимизатор и зависит от длины контекста и batch; одного размера весов недостаточно для оценки.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros