К содержанию
Quantoros

Что такое QLoRA?

LLM & AIУровень: ПрактикаPEFT Methods

Что такое QLoRA?

Подсказки
  • Какие параметры изменяются и какие остаются замороженными?
  • Разделите память весов, градиентов, состояний оптимизатора и активаций.

Ответ

QLoRA обучает низкоранговые адаптеры поверх замороженной основы, сохранённой в 4-битном формате. В исходной работе используются NF4, двойное квантование констант и paged optimizers для управления пиками памяти. При вычислениях веса деквантуются в рабочий тип, поэтому 4 бита хранения не означают все операции в 4 битах. Реальная память включает активации, адаптеры, градиенты и оптимизатор и зависит от длины контекста и batch; одного размера весов недостаточно для оценки.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы