Что такое prompt injection и какие бывают виды?
LLM & AIУровень: БазаSecurity & Adversarial
Что такое prompt injection и какие бывают виды?
Подсказки
- Уточните угрозу: ошибочный факт, недоверенная инструкция или небезопасное действие?
- Разделите проверки входа, ограничение полномочий и проверку результата; подумайте о ложных срабатываниях.
Ответ
Prompt injection — попытка заставить модель принять недоверенный текст за управляющие инструкции. Прямая атака содержится в пользовательском сообщении; косвенная — в прочитанной странице, документе, письме или результате инструмента. Особенно опасно, если текст пытается вызвать действия, раскрыть данные или изменить правила системы. Содержание источника остаётся данными даже тогда, когда в нём имитируются системные сообщения.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros