К содержанию
Quantoros

Что такое prompt injection и какие бывают виды?

LLM & AIУровень: БазаSecurity & Adversarial

Что такое prompt injection и какие бывают виды?

Подсказки
  • Уточните угрозу: ошибочный факт, недоверенная инструкция или небезопасное действие?
  • Разделите проверки входа, ограничение полномочий и проверку результата; подумайте о ложных срабатываниях.

Ответ

Prompt injection — попытка заставить модель принять недоверенный текст за управляющие инструкции. Прямая атака содержится в пользовательском сообщении; косвенная — в прочитанной странице, документе, письме или результате инструмента. Особенно опасно, если текст пытается вызвать действия, раскрыть данные или изменить правила системы. Содержание источника остаётся данными даже тогда, когда в нём имитируются системные сообщения.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы