Что ИИ-агент не должен делать сам: где ставить запрет и как его остановить

Почему запрет в промпте не работает

В списке главных рисков приложений на языковых моделях (OWASP Top 10 for LLM Applications, редакция 2025) это вынесено в отдельную категорию — «избыточные полномочия», LLM06: уязвимость, позволяющая выполнить разрушительное действие в ответ на неожиданный, двусмысленный или намеренно подстроенный вывод модели. Причины названы прямо — лишние функции, лишние права и лишняя автономия.

Пример оттуда же: ассистенту дали читать личные письма, а вместе с нужным плагином он получил и возможность отправлять. Дальше достаточно письма со спрятанной инструкцией — и агент пересылает данные из ящика наружу. Ограничение в подсказке не спасает: у подключения есть право только на чтение, а кнопки отправки нет.

Пять категорий запретов

Работа над подключением начинается с одного списка: что агент не делает сам. Пять категорий закрывают почти всё, что дорого стоит при ошибке.

Деньги: где ошибка необратима

Пример, который уже разобран судом, — дело Moffatt против Air Canada. В ноябре 2022 года клиент спрашивал на сайте про льготный тариф на похороны и получил от чат-бота ответ: купите билет по полной цене, а затем в течение 90 дней подайте заявку на возврат разницы. Билет стоил 1630 канадских долларов, а в возврате компания отказала, сославшись на другой раздел сайта, где сказано, что тариф оформляют только заранее.

Спор дошёл до Трибунала по гражданским спорам Британской Колумбии (решение Moffatt v. Air Canada, 2024 BCCRT 149 от 14 февраля 2024 года). Авиакомпания доказывала, что чат-бот — «отдельная юридическая сущность, отвечающая за свои действия». Член трибунала Кристофер Риверс назвал довод «примечательным» и отклонил: бот — часть сайта, отвечает компания. Взыскано 812 канадских долларов разницы, плюс издержки и проценты. Сумма мелкая, вывод — нет: сказанное от лица компании становится обязательством.

Отсюда правило: всё, что создаёт обязательство — цена, скидка, срок, обещание возврата, платёж, — проходит через человека. Агент сверяет запрос с прайсом, считает варианты, готовит документ и реквизиты. Кнопку нажимает человек: обязательство возникает от имени компании, а не от имени модели.

Как действие проходит проверку

Запрет удобно представить как конвейер: действие не тонет в инструкциях, а проходит проверки и на одной из них останавливается. Порядок ниже — то, к чему мы приводим подключения агентов.

Ключевая проверка — та, которой чаще всего нет: запрет, живущий в системной подсказке, обходится перепиской, а правило, проверяемое в системе перед вызовом действия, — нет. Дальше идут пороги (сумма, категория адресата, объём выгрузки) и человек, которому нужен не «ок» без контекста, а сам текст, причина показа и вариант «отправить иначе».

Черновик и отправка — разные операции

Самое дешёвое ограничение — развести подготовку и отправку. В том же разделе OWASP рекомендация сформулирована прямо: для действий с высокой ценой ошибки требовать подтверждения человеком и встраивать его в саму операцию, а не ставить рядом. Пример оттуда — публикация в соцсетях от имени пользователя: одобрение встроено в функцию публикации, а не висит отдельным напоминанием, которое легко обойти.

Смысл в том, что подтверждение не должно становиться рефлексом. В статье 14 регламента ЕС об ИИ («Наблюдение человеком») отдельно требуется, чтобы наблюдатель понимал ограничения системы и знал о склонности доверять её выводам больше, чем следует, — автоматической предвзятости. Если человек каждую минуту нажимает «согласен» на однотипный черновик, он перестаёт читать — и контроль остаётся на бумаге.

Там же описан набор, который стоит скопировать и без отношения к регламенту: человек должен уметь не использовать систему в конкретном случае, отменить или переиграть её вывод и остановить работу — вплоть до «стоп-кнопки», приводящей систему в безопасное состояние. Норма статьи 14 для систем высокого риска вступает в силу 2 декабря 2027 года (перечень III) и 2 августа 2028 года (перечень I); к российским компаниям она напрямую не применяется, но направление задаёт.

Данные: что агент не должен читать и куда не должен отправлять

Агент, подключённый к почте, диску и переписке, — это ещё и канал утечки. Оценка Cyberhaven (отчёт 2026 года по телеметрии собственного продукта у своих клиентов): 39,7% взаимодействий сотрудников с ИИ-инструментами содержат чувствительные данные, в среднем раз в три дня на сотрудника, а 32,3% обращений к ChatGPT идут через личные аккаунты — мимо корпоративных журналов и настроек доступа. Это данные вендора систем защиты, а не опрос рынка: выборка — его клиенты, поэтому цифры показывают порядок величин, а не норму.

Из этих чисел следуют три запрета. Агент видит только те папки и таблицы, которые нужны его задаче, — не «весь диск», потому что так проще настроить. Ключи, пароли и доступы не лежат ни в его инструкции, ни в базе знаний, к которой он обращается. Список внешних адресов задаётся заранее, а не выбирается моделью по ходу дела. Разделение прав мы разбирали отдельно — в материале про безопасность данных при автоматизации.

Как оформить запрет технически

Действия стоит разложить по четырём режимам: запрещено технически, только с подтверждением человека, допустимо с уведомлением и журналом, свободно. Раскладывать удобно по двум вопросам — как дорого стоит ошибка и как часто действие повторяется.

Техническая часть короче, чем кажется, и почти не зависит от модели. Список мер из OWASP: минимум функций (агент читает письма — значит читает, без отправки), минимум прав (отдельная учётная запись, только нужные таблицы, только чтение), узкие функции вместо универсальных, авторизация в самой системе, а не в подсказке, права под конкретного сотрудника вместо общего доступа. Журналирование и ограничение частоты обращений ущерб не предотвращают, но уменьшают — их ставят в дополнение к правилам.

Эскалация: как агент останавливается и зовёт человека

Запрет — половина системы; вторая половина — момент, когда агент останавливается сам. Триггеры описывают заранее и проверяют в системе:

• Сумма, скидка или объём выгрузки выше лимита.
• Новый внешний адресат, вложение с данными, отправка за пределы компании.
• Тема с юридическим весом: претензия, возврат, спор, упоминание проверок и суда.
• Данных не хватает или указания противоречат друг другу — агент не выбирает наугад.
• Две неудачные попытки или пустой ответ внешней системы: дальше только человек.
• Молчание человека дольше срока: задача возвращается в очередь с пометкой, а не уходит «на всякий случай».

Отдельное правило — о человеке на другом конце: у клиента должен оставаться путь дойти до живого сотрудника. Ориентир из той же статьи 14: там, где система действует на основании идентификации человека, действие допустимо только после отдельной проверки и подтверждения не менее чем двумя специалистами. Для переписки с клиентом это избыточно, но идея полезна: у самых дорогих действий порог «двух подписей» описывают заранее.

Что записать в чек-лист перед запуском

Список из семи пунктов покрывает почти все «неожиданности» первого месяца:

1. Перечень запретов — письменно, с примерами действий, а не словами «не навреди».
2. Режим каждого действия: запрещено технически, подтверждение, уведомление или свободно.
3. Лимиты: сумма, круг адресатов, объём выгрузки, частота обращений.
4. Технические ограничения: отдельный аккаунт агента, права только на чтение, авторизация в системе.
5. Журнал: что сделал, по какому правилу, что решил человек — и кто его читает.
6. Триггеры эскалации и срок реакции; что происходит, если человек не ответил.
7. Право выключить агента и порядок разбора инцидента — с именем ответственного.

Список занимает страницу, а обсуждение — час, и он же экономит недели: почти все проблемы первого месяца — действия, которые сделали без согласования, потому что нигде не было записано, что их нельзя. Как мы разбираем процесс, видно в разделе подход; связки собираем на базе ИИ-ассистентов и интеграций с почтой, CRM и мессенджерами, а контроль и журнал ложатся в отчёт руководителя. Разборы похожих проектов — в кейсах; хотите пройти такую разметку по своему процессу — напишите через страницу контактов.