К содержанию
Quantoros

Как предотвратить необратимые вредные действия агента?

LLM & AIУровень: ПрактикаSafety & Reliability

Как предотвратить необратимые вредные действия агента?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Выдавайте минимально необходимые права и отделяйте чтение от записи. Внешний исполнитель проверяет точную цель, параметры и разрешение; значимые необратимые операции требуют соответствующего подтверждения и предварительного просмотра. Используйте изоляцию, ограничение сети и ресурсов, журнал действий, резервные копии и откат там, где возможен. Даже операция чтения может раскрыть данные, поэтому «не меняет состояние» не означает «всегда разрешена».

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы