К содержанию
Quantoros

Что такое LoRA и как она работает?

LLM & AIУровень: БазаPEFT Methods

Что такое LoRA и как она работает?

Подсказки
  • Какие параметры изменяются и какие остаются замороженными?
  • Разделите память весов, градиентов, состояний оптимизатора и активаций.

Ответ

LoRA замораживает исходную матрицу W∈R^(d×k) и обучает низкоранговую поправку: W′=W+(α/r)BA, где B∈R^(d×r), A∈R^(r×k), r значительно меньше d и k. Вместо dk обучается r(d+k) параметров. При d=k=4096 и r=16 это 131072 против 16777216 параметров. В подходящих условиях поправку можно слить с весами. Ранг, масштаб, целевые слои и dropout подбирают по валидации, а не по универсальному рецепту.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы