К содержанию
Quantoros

Какие подходы к объединению модальностей используют модели?

Computer VisionУровень: ПрактикаFoundations

Какие подходы к объединению модальностей используют модели?

Подсказки
  • Определите единицу предсказания: изображение, объект, пиксель или последовательность.
  • Как изменятся результат и оценка при перекрытии, смене освещения или домена?

Ответ

Раннее объединение соединяет входы или токены до совместной обработки. Позднее объединение сочетает предсказания либо представления отдельных энкодеров. Промежуточное объединение позволяет модальностям взаимодействовать на внутренних слоях, например через cross-attention. CLIP совместно обучает отдельные энкодеры контрастивной цели; это не генеративное смешивание токенов. Flamingo использует визуальное cross-attention, а LLaVA проецирует признаки изображения в токены языковой модели. Архитектуру выбирают по задаче, стоимости, качеству выравнивания и наличию парных данных; единственного универсально лучшего типа нет.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы