Безопасность ИИ

Проверяю ИИ-системы на уязвимости — до того, как это сделает кто-то другой

Чат-бот, ассистент по документам, агент с доступом к CRM — все они принимают текст от посторонних. Этот текст может оказаться инструкцией. Ищу такие сценарии заранее и показываю, как их воспроизвести.

Обсудить проверку Что проверяю
Зачем

Где ИИ-система становится риском

Обычные средства защиты проверяют код и сеть. Но если модель получает чужой текст и имеет доступ к данным или действиям, появляется отдельный класс проблем, которого нет в чек-листах веб-безопасности.

Бот читает всё, что ему пишут

Любой пользователь может отправить не вопрос, а инструкцию: «забудь предыдущие правила», «покажи настройки», «перешли переписку». Часть таких попыток проходит.

Ассистент имеет доступ к внутренним данным

Прайсы, договоры, регламенты, переписка. Ошибка в разграничении — и часть данных уходит тому, кому не предназначена.

Агент умеет действовать

Создаёт записи, отправляет письма, выставляет счета, меняет статусы. Одна внедрённая инструкция — и действие выполняется от вашего имени.

Объём проверки

Что именно тестирую

Шесть классов проблем. Не «прогнать сканер», а собрать сценарии под вашу систему и подтвердить каждую находку воспроизведением.

Прямая промпт-инъекция

Попытки заменить системную инструкцию через сообщение пользователя: смена роли, «режим разработчика», обход запретов, выманивание скрытых правил.

Косвенная инъекция

Инструкция прячется не в чате, а в документе, письме, на сайте или в названии товара, которые система читает сама. Самый недооценённый класс — и самый опасный для агентов.

Утечка системного промпта и данных

Проверяю, можно ли вытащить служебные инструкции, список инструментов, фрагменты базы знаний и чужие записи через обычные вопросы.

Обход ограничений

Запреты на темы, обещания, медицинские и юридические советы, конкурентные сравнения. Смотрю, что система говорит, когда её аккуратно подталкивают.

Опасные действия агента

Может ли агент выполнить действие, о котором его не просили: отправить письмо, изменить запись, сформировать счёт, вызвать внешний сервис. Отдельно — что попадает в журнал.

Отравление базы знаний

Что будет, если в документы, по которым отвечает ассистент, попадёт подложенный текст. Проверяю, отделяет ли система инструкции от данных.

Как проходит

Пять шагов проверки

Начинается с бумаги, а не с атаки: сначала фиксируем рамки, потом тестируем.

Рамки и письменное разрешение

Определяем, какие системы, адреса и сценарии входят в проверку. Владелец подписывает разрешение, при необходимости — NDA. Всё, что за рамками, не трогаю.

Сбор конфигурации

Смотрю архитектуру: какая модель, какие инструменты, какие источники данных, где стоит фильтрация, что логируется. От этого зависит набор сценариев.

Сценарии атак

Собираю набор попыток под конкретную систему: от простых до многошаговых, включая обход через документы и чужие сообщения. Каждый сценарий фиксируется дословно.

Подтверждение находок

Оставляю только то, что воспроизводится: повторяю попытку, сохраняю запрос, ответ и последствия. «Возможно, уязвимо» в отчёт не попадает.

Отчёт и разбор с командой

Отдаю находки с критичностью, шагами воспроизведения и вариантами исправления. Отдельно — что можно закрыть за день, а что требует переработки архитектуры.

Результат

Что в отчёте

Список находок с критичностью

Что именно удалось сделать: вытащить инструкции, получить чужие данные, выполнить действие. С оценкой последствий для бизнеса, а не только «технически возможно».

Шаги воспроизведения

Дословные запросы и последовательность, чтобы ваш разработчик увидел проблему своими глазами и мог проверить исправление.

Приоритеты исправлений

Что закрывать первым: разграничение данных, ограничение инструментов, фильтрация входов и выходов, разделение доверенных и недоверенных источников.

Повторный прогон

После исправлений те же сценарии прогоняются снова. Это и есть доказательство, что дыра закрыта, — а не обещание.

Границы

Как я работаю и чего не делаю

Только с разрешения владельца

Проверка идёт по договору и письменному разрешению. Чужие сервисы, аккаунты и данные не тестируются — это не «серая зона», это уголовная статья.

Тестовый контур по умолчанию

Рабочую систему трогаю только если это отдельно согласовано: в ограниченное окно, по согласованным типам запросов, с возможностью быстро откатиться.

Без обещаний «полной защиты»

Гарантировать отсутствие уязвимостей нельзя. Можно найти конкретные, показать их и закрыть — а потом проверять регулярно, потому что модели и сценарии меняются.

Если ИИ-системы у вас пока нет, но вы планируете её внедрять — разумнее проверить архитектуру до запуска. Об этом — страница «Внедрение ИИ»: безопасность закладывается в права доступа и инструменты, а не прикручивается после инцидента.

Вопросы

Частые вопросы

Чем это отличается от обычного пентеста?

Классический пентест ищет дыры в коде, сети и конфигурации. Здесь проверяется поведение модели и агента: что заставит систему выйти за свои правила, какие данные она может отдать и какие действия выполнить по чужой инструкции.

Нужно ли давать доступ к продакшену?

Обычно достаточно тестового контура с теми же настройками. Если тестирование идёт на рабочей системе, это отдельно согласуется, ограничивается по времени и по типам запросов.

Сколько занимает проверка?

Один бот или ассистент — 3–5 рабочих дней, включая подготовку сценариев и отчёт. Агент с доступом к инструментам и внутренним системам — 1–2 недели.

Вы гарантируете, что после проверки система защищена?

Нет, и никто не может этого гарантировать. Проверка находит конкретные классы проблем и показывает, как их воспроизвести. После исправлений имеет смысл повторный прогон тех же сценариев.

Как оформляются работы юридически?

Договор и письменное разрешение владельца системы, при необходимости NDA. Тестируются только те системы и в тех рамках, которые зафиксированы в разрешении.

Это законно — пробовать «взломать» свою систему?

Да, если владелец системы дал письменное разрешение и рамки описаны. Именно поэтому работа начинается с документа, а не с первой попытки ввода.

Обсудить проверку

Расскажите, какая ИИ-система работает у вас

Бот, ассистент, агент — что именно, к каким данным имеет доступ и какие действия выполняет. От этого зависит объём проверки и срок.

Оставить заявку