Безопасность ИИ-агентов в компании
Безопасность агента начинается до выбора модели. Нужно определить, какие данные он видит, какие действия выполняет и в каких ситуациях обязан остановиться.
- Доступ
- только необходимый
- Действия
- критичные — с подтверждением
- Контроль
- журнал и возможность остановки
Дайте минимум прав для одной задачи
Агенту не нужен доступ ко всей системе, если он работает с одним типом документов или записей.
Данные
Откройте только нужные папки, поля и временной период.
Инструменты
Разделите чтение, создание черновика и необратимые действия.
Секреты
Храните ключи вне инструкции и не показывайте их модели или пользователю.
Поставьте подтверждение перед точкой риска
Человек должен увидеть, что именно произойдёт, и подтвердить действие до его выполнения.
- Отправка письма или публикация материала.
- Изменение записи в рабочей системе.
- Оплата, удаление или выдача доступа.
- Решение, влияющее на сотрудника или клиента.
Считайте внешние данные недоверенными
Документ, сайт или письмо могут содержать текст, который пытается изменить поведение агента. Отделяйте такие данные от системной инструкции и ограничивайте последствия.
- Не позволяйте найденному тексту переписывать правила агента.
- Проверяйте аргументы инструментов перед выполнением.
- Фиксируйте вызовы и ответы в журнале.
- Добавьте аварийную остановку и владельца инцидента.
Что важно знать
Можно ли передавать агенту персональные данные?
Только после проверки правового основания, правил компании, условий выбранного сервиса и необходимого уровня защиты. По умолчанию минимизируйте данные.
Что такое принцип минимальных привилегий?
Каждый агент и инструмент получает только те права, которые нужны для конкретной операции, и не больше.
Достаточно ли запрета в инструкции?
Нет. Критичные ограничения нужно закреплять техническими правами, проверками и подтверждением человека.
Перейдите от инструкции к практике
Зарегистрируйтесь бесплатно — после входа мы сразу откроем первый практический урок. Оплата для старта не нужна.