Безопасность ИИ-агента начинается с ограничений, а не с кнопки «Подтвердить»
ИИ-агент, которому дали доступ к CRM, почте и платёжным документам, — это не «умная кнопка», а новая учётная запись с правами. И ведёт она себя не как сотрудник: ошибается уверенно, повторяет попытки и не устаёт. Разбираем три вещи, которые реально снижают риск: минимальные права и лимиты, инструменты с проверяемыми границами и журнал действий, по которому можно восстановить, что произошло. И почему «человек подтверждает» без правил превращается в формальность.
Коротко
- 79% компаний внедряют ИИ-агентов, но только 11% считают себя готовыми к их безопасности — разрыв между внедрением и защитой.
- Один агент без лимита расходов потратил $6531 за сутки — это не гипотетический риск, а описанный инцидент.
- Подтверждение человеком работает только там, где заранее определено, что именно подтверждается, кем и по какому правилу.
- Журнал действий должен фиксировать не только результат, но и запрос, инструмент, параметры и причину отказа.
- Изоляция учётных данных и границы входных данных — базовые меры, без которых остальные настройки бессмысленны.
Почему безопасность ИИ-агента — это про права, а не про модель
Когда компания внедряет ИИ-агента, обсуждение обычно крутится вокруг модели: какая умнее, какая лучше понимает запросы. Но инциденты происходят не из-за «глупой модели», а из-за того, что агенту дали больше прав, чем нужно для задачи. Агент с доступом ко всей почте, всем счетам и всем контактам — это риск, который не лечится сменой модели. Лечится он рамками: что агенту разрешено, какие инструменты ему доступны и что записывается в журнал.
По данным обзора статистики безопасности ИИ-агентов, разрыв между внедрением (79%) и готовностью к внедрению (11%) — определяющая проблема 2026 года. Это значит, что большинство компаний уже используют агентов или собираются, но не имеют выстроенного контура защиты. Ниже — практический разбор того, как этот контур устроить, не превращая проект в многомесячную стройку.
Минимальные права: что агент должен уметь, а что — нет
Принцип наименьших прав для ИИ-агента звучит просто: дайте ему ровно те доступы, которые нужны для конкретной задачи, и ни одного лишнего. На практике это означает, что агент для сортировки почты не должен иметь права отправлять письма от имени руководителя, а агент для подготовки сводок — не должен иметь права менять данные в CRM. Каждый лишний доступ — это канал, через который ошибка или внешнее воздействие превращается в инцидент.
Рекомендации по безопасности агентов от Microsoft и практические гайды сходятся в одном: изоляция учётных данных и границы входных данных — базовые меры. Это значит, что агент работает под отдельной учётной записью, а не под учёткой сотрудника, и что входные данные (письма, сообщения, документы) не могут напрямую менять его поведение без проверки. Без этого остальные настройки — лимиты, подтверждения, журналы — работают на дырявом фундаменте.
- Отдельная учётная запись для агента: не учётка руководителя и не общий ящик отдела.
- Права только на те объекты, которые нужны для задачи: чтение писем — да, отправка от имени руководителя — нет.
- Запрет на изменение данных без явного правила: агент готовит черновик, а не правит запись в CRM.
- Ограничение на количество действий в единицу времени: чтобы ошибка не превратилась в массовую рассылку.
- Лимит расходов на внешние сервисы: чтобы агент не «сжёг» бюджет на платные запросы.
Инструменты агента: где заканчивается свобода
Инструмент — это то, чем агент действует: отправка письма, запись в CRM, создание задачи, запрос к базе. Безопасность начинается с того, что каждый инструмент имеет проверяемые границы. Например, инструмент «отправить письмо» может быть ограничен списком получателей, шаблоном и обязательным подтверждением для внешних адресов. Инструмент «создать задачу» может быть ограничен проектом и типом задачи. Чем уже границы инструмента, тем меньше ущерб от ошибки.
Отдельная проблема — prompt-инъекции, когда внешний текст (письмо, сообщение, документ) пытается управлять агентом. Практические меры здесь — не «научить модель игнорировать плохие инструкции», а ограничить влияние входных данных: агент не должен выполнять действия, которые инициированы содержимым письма, без отдельного правила. Если агент читает письмо и создаёт задачу — это одно. Если он читает письмо и переводит деньги — это совсем другое, и такое поведение должно быть запрещено на уровне инструментов.
Безопасность агента — это не вопрос доверия к модели. Это вопрос того, какие действия модель физически может совершить и что об этом останется в журнале.
Лимиты: почему «без ограничений» — это дорого
Один из описанных инцидентов: агент без лимита расходов потратил $6531 за сутки. Это не значит, что любой агент потратит столько же. Это значит, что отсутствие лимита превращает ошибку в счёт. Лимиты бывают разные: количество действий в час, количество отправленных писем, сумма расходов на внешние сервисы, количество созданных записей. Задача лимита — не наказать агента, а остановить каскад, пока он не стал дорогим.
Лимиты должны быть привязаны к задаче. Для агента, который готовит ежедневную сводку, достаточно одного запуска в день и ограниченного числа запросов к базе. Для агента, который отвечает на входящие сообщения, нужен лимит на количество ответов и запрет на массовые рассылки. Если лимит сработал — это не сбой, а сигнал: агент попытался выйти за рамки, и это нужно разобрать.
Журнал действий: что логировать, чтобы разобрать инцидент
Журнал действий ИИ-агента — это не лог ошибок и не отладочный вывод. Это запись того, что агент сделал, на основании чего и с каким результатом. Без журнала разбор инцидента превращается в гадание: непонятно, что именно пришло на вход, какой инструмент был вызван, какие параметры переданы и почему действие было разрешено или запрещено.
Минимальный набор полей журнала: время, идентификатор агента, входной запрос или событие, вызванный инструмент, параметры вызова, результат (успех или отказ), причина отказа. Если агент работает с внешними данными, полезно фиксировать источник этих данных. Если действие требует подтверждения человеком — кто подтвердил и когда. Такой журнал позволяет восстановить цепочку и понять, где именно сработала или не сработала защита.
| Поле | Зачем нужно | Пример |
|---|---|---|
| Время и идентификатор агента | Связать действие с конкретным запуском | 2026-07-06 10:14, агент «почтовый помощник» |
| Входное событие | Понять, что запустило действие | Новое письмо от внешнего адреса |
| Инструмент и параметры | Восстановить, что именно было вызвано | «создать задачу», проект X, срок 2 дня |
| Результат | Отличить выполненное действие от отказа | Успех / отказ по лимиту |
| Причина отказа | Понять, какая защита сработала | Превышен лимит действий в час |
| Подтверждение человеком | Зафиксировать, кто и когда подтвердил | Подтвердил руководитель, 10:16 |
Почему «человек подтверждает» не спасает без правил
Подтверждение человеком — популярная мера, и она действительно полезна. Но только если заранее определено, что именно подтверждается, кем и по какому правилу. Если агент присылает «Подтвердить?» на каждое действие, человек через неделю начинает подтверждать не глядя. Это не защита, а имитация защиты. Если правило не определено — непонятно, что считать опасным действием, а что рутиной.
Работающая схема выглядит иначе. Есть список действий, которые всегда требуют подтверждения: отправка письма внешнему адресату, изменение суммы, удаление записи, доступ к новому источнику данных. Есть список действий, которые выполняются без подтверждения, но с лимитом. И есть список действий, которые запрещены полностью. Подтверждение в такой схеме — не кнопка «на всякий случай», а конкретный шаг для конкретного класса действий.
- Определите классы действий: безопасные (с лимитом), требующие подтверждения, запрещённые.
- Для каждого класса зафиксируйте правило: кто подтверждает, в каком канале, сколько действует подтверждение.
- Настройте журнал так, чтобы подтверждение и отказ были видны в общей цепочке действий.
- Разбирайте срабатывания лимитов и отказы: это не шум, а материал для настройки правил.
- Пересматривайте правила при изменении задач агента: то, что было безопасно вчера, может стать рискованным сегодня.
Как это выглядит на практике: контур из четырёх уровней
Практический контур безопасности ИИ-агента собирается из четырёх уровней. Первый — права: отдельная учётная запись и минимальный набор доступов. Второй — инструменты: у каждого действия есть проверяемые границы, а влиянием входных данных управляют правила. Третий — лимиты: количество действий, расходы, частота запусков. Четвёртый — журнал: запись входа, инструмента, параметров, результата и причины отказа. Эти уровни не заменяют друг друга, а работают вместе.
Начать можно с одного процесса, где агент уже используется или планируется. Например, обработка входящих заявок или сортировка почты. Для этого процесса опишите права, инструменты, лимиты и поля журнала. Затем прогоните несколько сценариев: что будет, если агент получит письмо с подозрительной инструкцией, что будет при превышении лимита, что будет при отказе инструмента. Если на каждый вопрос есть ответ в правилах и запись в журнале — контур работает.
Если вы только выбираете, с чего начать автоматизацию с ИИ-агентом, посмотрите на наш подход и примеры проектов. А если нужно обсудить конкретный процесс и рамки для агента — свяжитесь с нами.
Хотите разобрать, какие права и лимиты нужны вашему ИИ-агенту? Напишите нам — начнём с одного процесса и конкретных правил.
Получить диагностикуИсточники
- Безопасность ИИ-агентов: угрозы и практики защиты — Взяты общие практики защиты и рекомендации OWASP 2026; оговорка: материал обзорный, не содержит сплошной статистики по рынку.
- Лучшие практики безопасности ИИ-агентов | Melaya — Взяты принципы минимальных прав, изоляции учётных данных, границ входных данных и журналирования; оговорка: это практический гайд, а не исследование выборки.
- Безопасность ИИ-агентов в 2026: лимиты, доступы, контроль — Взяты пример инцидента с агентом, потратившим $6531 за сутки без лимита, и практики лимитов; оговорка: единичный описанный случай, не статистика.
- Статистика безопасности агентов ИИ: цифры, которые должны не — Взяты цифры 79% внедрения и 11% готовности к безопасности; оговорка: агрегированные показатели по выборке компаний, а не сплошное исследование.