Как предотвратить необратимые вредные действия агента?
LLM & AIУровень: ПрактикаSafety & Reliability
Как предотвратить необратимые вредные действия агента?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
Выдавайте минимально необходимые права и отделяйте чтение от записи. Внешний исполнитель проверяет точную цель, параметры и разрешение; значимые необратимые операции требуют соответствующего подтверждения и предварительного просмотра. Используйте изоляцию, ограничение сети и ресурсов, журнал действий, резервные копии и откат там, где возможен. Даже операция чтения может раскрыть данные, поэтому «не меняет состояние» не означает «всегда разрешена».
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros