Как защищаться от prompt injection?
LLM & AIУровень: ПрактикаSecurity & Adversarial
Как защищаться от prompt injection?
Подсказки
- Уточните угрозу: ошибочный факт, недоверенная инструкция или небезопасное действие?
- Разделите проверки входа, ограничение полномочий и проверку результата; подумайте о ложных срабатываниях.
Ответ
Используйте несколько уровней: обозначайте границы недоверенного контента, проверяйте входы и выходы, ограничивайте доступ модели к данным и инструментам. Внешний код должен обеспечивать права доступа и валидацию параметров, а значимые действия — требовать подходящего подтверждения. Фильтры фраз и разделители полезны, но не являются надёжной изоляцией. Секреты не передавайте в доступный модели контекст без необходимости; проводите тесты атак и ограничивайте последствия сбоя.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros