Чат-бот, ассистент по документам, агент с доступом к CRM — все они принимают текст от посторонних. Этот текст может оказаться инструкцией. Ищу такие сценарии заранее и показываю, как их воспроизвести.
Обычные средства защиты проверяют код и сеть. Но если модель получает чужой текст и имеет доступ к данным или действиям, появляется отдельный класс проблем, которого нет в чек-листах веб-безопасности.
Любой пользователь может отправить не вопрос, а инструкцию: «забудь предыдущие правила», «покажи настройки», «перешли переписку». Часть таких попыток проходит.
Прайсы, договоры, регламенты, переписка. Ошибка в разграничении — и часть данных уходит тому, кому не предназначена.
Создаёт записи, отправляет письма, выставляет счета, меняет статусы. Одна внедрённая инструкция — и действие выполняется от вашего имени.
Шесть классов проблем. Не «прогнать сканер», а собрать сценарии под вашу систему и подтвердить каждую находку воспроизведением.
Попытки заменить системную инструкцию через сообщение пользователя: смена роли, «режим разработчика», обход запретов, выманивание скрытых правил.
Инструкция прячется не в чате, а в документе, письме, на сайте или в названии товара, которые система читает сама. Самый недооценённый класс — и самый опасный для агентов.
Проверяю, можно ли вытащить служебные инструкции, список инструментов, фрагменты базы знаний и чужие записи через обычные вопросы.
Запреты на темы, обещания, медицинские и юридические советы, конкурентные сравнения. Смотрю, что система говорит, когда её аккуратно подталкивают.
Может ли агент выполнить действие, о котором его не просили: отправить письмо, изменить запись, сформировать счёт, вызвать внешний сервис. Отдельно — что попадает в журнал.
Что будет, если в документы, по которым отвечает ассистент, попадёт подложенный текст. Проверяю, отделяет ли система инструкции от данных.
Начинается с бумаги, а не с атаки: сначала фиксируем рамки, потом тестируем.
Определяем, какие системы, адреса и сценарии входят в проверку. Владелец подписывает разрешение, при необходимости — NDA. Всё, что за рамками, не трогаю.
Смотрю архитектуру: какая модель, какие инструменты, какие источники данных, где стоит фильтрация, что логируется. От этого зависит набор сценариев.
Собираю набор попыток под конкретную систему: от простых до многошаговых, включая обход через документы и чужие сообщения. Каждый сценарий фиксируется дословно.
Оставляю только то, что воспроизводится: повторяю попытку, сохраняю запрос, ответ и последствия. «Возможно, уязвимо» в отчёт не попадает.
Отдаю находки с критичностью, шагами воспроизведения и вариантами исправления. Отдельно — что можно закрыть за день, а что требует переработки архитектуры.
Что именно удалось сделать: вытащить инструкции, получить чужие данные, выполнить действие. С оценкой последствий для бизнеса, а не только «технически возможно».
Дословные запросы и последовательность, чтобы ваш разработчик увидел проблему своими глазами и мог проверить исправление.
Что закрывать первым: разграничение данных, ограничение инструментов, фильтрация входов и выходов, разделение доверенных и недоверенных источников.
После исправлений те же сценарии прогоняются снова. Это и есть доказательство, что дыра закрыта, — а не обещание.
Проверка идёт по договору и письменному разрешению. Чужие сервисы, аккаунты и данные не тестируются — это не «серая зона», это уголовная статья.
Рабочую систему трогаю только если это отдельно согласовано: в ограниченное окно, по согласованным типам запросов, с возможностью быстро откатиться.
Гарантировать отсутствие уязвимостей нельзя. Можно найти конкретные, показать их и закрыть — а потом проверять регулярно, потому что модели и сценарии меняются.
Если ИИ-системы у вас пока нет, но вы планируете её внедрять — разумнее проверить архитектуру до запуска. Об этом — страница «Внедрение ИИ»: безопасность закладывается в права доступа и инструменты, а не прикручивается после инцидента.
Классический пентест ищет дыры в коде, сети и конфигурации. Здесь проверяется поведение модели и агента: что заставит систему выйти за свои правила, какие данные она может отдать и какие действия выполнить по чужой инструкции.
Обычно достаточно тестового контура с теми же настройками. Если тестирование идёт на рабочей системе, это отдельно согласуется, ограничивается по времени и по типам запросов.
Один бот или ассистент — 3–5 рабочих дней, включая подготовку сценариев и отчёт. Агент с доступом к инструментам и внутренним системам — 1–2 недели.
Нет, и никто не может этого гарантировать. Проверка находит конкретные классы проблем и показывает, как их воспроизвести. После исправлений имеет смысл повторный прогон тех же сценариев.
Договор и письменное разрешение владельца системы, при необходимости NDA. Тестируются только те системы и в тех рамках, которые зафиксированы в разрешении.
Да, если владелец системы дал письменное разрешение и рамки описаны. Именно поэтому работа начинается с документа, а не с первой попытки ввода.
Бот, ассистент, агент — что именно, к каким данным имеет доступ и какие действия выполняет. От этого зависит объём проверки и срок.
Оставить заявку