К содержанию
Quantoros

Как защищаться от prompt injection?

LLM & AIУровень: ПрактикаSecurity & Adversarial

Как защищаться от prompt injection?

Подсказки
  • Уточните угрозу: ошибочный факт, недоверенная инструкция или небезопасное действие?
  • Разделите проверки входа, ограничение полномочий и проверку результата; подумайте о ложных срабатываниях.

Ответ

Используйте несколько уровней: обозначайте границы недоверенного контента, проверяйте входы и выходы, ограничивайте доступ модели к данным и инструментам. Внешний код должен обеспечивать права доступа и валидацию параметров, а значимые действия — требовать подходящего подтверждения. Фильтры фраз и разделители полезны, но не являются надёжной изоляцией. Секреты не передавайте в доступный модели контекст без необходимости; проводите тесты атак и ограничивайте последствия сбоя.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы