К содержанию
Quantoros

Что такое устойчивость LLM к состязательным атакам?

LLM & AIУровень: ПрактикаAdversarial Robustness

Что такое устойчивость LLM к состязательным атакам?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Это способность системы сохранять требуемое поведение при намеренно подобранных входах. Атаки включают обход защит через инструкции и примеры, косвенные prompt injection в документах, состязательные суффиксы и попытки заставить инструменты выполнить недопустимое действие. Защита сочетает тестирование атаками, обучение на сложных примерах, разделение доверенных инструкций и внешних данных, минимальные права инструментов и проверки перед действиями. Детектор входа или системный промпт не дают полной защиты. Оценивают не только отказ модели, но и фактические последствия для данных и внешних систем.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы