К содержанию
Quantoros

Что такое Vision Transformer (ViT)?

Computer VisionУровень: ПрактикаVision-Language Models

Что такое Vision Transformer (ViT)?

Подсказки
  • Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
  • Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.

Ответ

ViT разбивает изображение на патчи, превращает каждый патч линейной проекцией в токен, добавляет позиционную информацию и обрабатывает последовательность Transformer-энкодером. Например, изображение 224×224 с патчами 16×16 даёт 14×14=196 патчей. Для классификации используют CLS-токен или другое агрегирование. Self-attention позволяет связывать удалённые области; количество токенов влияет на вычислительную стоимость. При большом объёме данных ViT хорошо масштабируется, но это не универсальное превосходство над CNN: результат зависит от данных, обучения, архитектуры и ограничений.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы