Что такое Vision Transformer (ViT)?
Computer VisionУровень: ПрактикаVision-Language Models
Что такое Vision Transformer (ViT)?
Подсказки
- Проследите размеры Q, K и V и какие позиции могут взаимодействовать.
- Отдельно проверьте маску, нормировку весов и отличие обучения от авторегрессивного инференса.
Ответ
ViT разбивает изображение на патчи, превращает каждый патч линейной проекцией в токен, добавляет позиционную информацию и обрабатывает последовательность Transformer-энкодером. Например, изображение 224×224 с патчами 16×16 даёт 14×14=196 патчей. Для классификации используют CLS-токен или другое агрегирование. Self-attention позволяет связывать удалённые области; количество токенов влияет на вычислительную стоимость. При большом объёме данных ViT хорошо масштабируется, но это не универсальное превосходство над CNN: результат зависит от данных, обучения, архитектуры и ограничений.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros