Утечка данных через чат-бота: четыре канала и порядок действий
Чат-бот в компании — это ещё один канал выноса данных, и он часто остаётся вне поля зрения службы безопасности: переписка идёт в мессенджере, ответы собираются из базы знаний, а логи хранятся у подрядчика. Утечка редко выглядит как взлом — чаще это ошибка настройки или лишний доступ. Ниже — четыре типовых канала, что именно в них ломается и в каком порядке закрывать, чтобы не потратить месяц на второстепенное.
Коротко
- Утечка через ИИ — это прежде всего копирование сотрудником данных в окно чата; так её и определяют в отраслевом глоссарии.
- Часть громких случаев — не атака, а ошибки в настройке облачного хранилища у разработчика ИИ-приложений.
- DLP-системы умеют анализировать содержимое браузерной формы чат-бота и реагировать на конфиденциальные данные независимо от сайта.
- Специалисты по информационной безопасности в большинстве оценивают риск утечки через ИИ как высокий или средний.
- Порядок закрытия: системный промпт и права доступа → база знаний → чужие записи → логи и сроки хранения.
Почему чат-бот стал отдельным каналом утечки
Раньше данные уходили через почту, флешки и мессенджеры. Теперь к этому добавился бот, который по своей природе должен получать текст от сотрудника или клиента и отдавать ответ. Всё, что попало в диалог, проходит через внешнюю инфраструктуру: модель, векторное хранилище, базу данных, систему логирования. Каждый из этих элементов — потенциальная точка, где данные оказываются в месте, о котором никто не договаривался.
В отраслевом глоссарии утечку данных через ИИ определяют предельно просто: это ситуация, когда сотрудник или частный пользователь копирует в окно чата информацию, которая не должна покидать компанию (gotburnout.io). То есть первый канал — не технический, а человеческий, и он работает даже при идеально настроенном боте.
Канал 1: системный промпт и права доступа
Системный промпт — это инструкция, которая задаёт боту роль, тон и границы. Внутри неё часто оказываются лишние вещи: перечень внутренних регламентов, названия отделов, имена ответственных, иногда фрагменты внутренних документов. Промпт хранится у подрядчика и передаётся в модель целиком при каждом запросе. Если бот умеет пересказывать свои инструкции по просьбе пользователя, содержимое промпта уходит наружу за один ход.
Вторая половина проблемы — права. Бот подключается к системам под сервисной учётной записью, и если у неё доступ шире, чем нужно для задачи, то любой сбой в логике ответа превращается в выдачу данных. Проверять нужно не «умеет ли бот отвечать», а «к каким данным у него есть техническая возможность обратиться».
- Убрать из промпта всё, что не нужно для ответа: внутренние документы, имена, структуру отделов.
- Запретить боту пересказывать инструкции и внутренние правила по запросу пользователя.
- Выдать сервисной учётной записи минимальные права: только чтение нужных таблиц, без выгрузок.
- Разделить ботов по контурам: клиентский бот не должен видеть внутренние данные вообще.
Канал 2: база знаний и фрагменты документов
Бот, который отвечает по документам компании, обычно работает так: документ нарезается на фрагменты, фрагменты кладутся в хранилище, на запрос подбираются ближайшие по смыслу. Проблема в том, что нарезка не различает уровни доступа. Если в базу попал документ с грифом или просто внутренний регламент с персональными данными, бот может выдать его фрагмент клиенту — не потому, что его взломали, а потому что фрагмент оказался близок к вопросу.
Отсюда практическое правило: база знаний для клиентского бота и база знаний для внутреннего — это два разных хранилища, а не одно с фильтром. Фильтр по метаданным работает, пока метаданные заполнены аккуратно, а на практике половина загруженных файлов приходит без разметки.
Каждая утечка данных — это цепочка событий, где мелкие ошибки и уязвимости складываются в серьёзную проблему.
Канал 3: чужие записи в истории диалога
Самый неприятный сценарий — когда пользователь видит не свои данные. Это случается, когда история диалога хранится в общем хранилище и подтягивается по неверному ключу: совпал идентификатор, потерялся параметр сессии, бот собрал контекст из соседней переписки. Внешне это выглядит как «бот перепутал», а по сути — выдача персональных данных другому человеку.
Здесь помогает не столько запрет, сколько разделение: контекст диалога должен собираться только по явному ключу сессии, а долговременная память о клиенте — храниться отдельно и с ограничением по сроку. Полезно прочитать материал о том, как устроена память ИИ-агента между сессиями: половина инцидентов с чужими записями растёт именно из небрежно спроектированной памяти.
Канал 4: логи, отладка и подрядчик
Логи — это тихий канал. В них попадают полные тексты запросов и ответов, а иногда и вложения. Логи пишутся для отладки, хранятся месяцами, доступ к ним есть у разработчика и у службы поддержки подрядчика. Формально это не утечка, фактически — копия переписки в чужом контуре.
Отдельный сюжет — ошибки в настройке облачного хранилища. Исследователи кибербезопасности нашли утечку данных у крупного разработчика приложений на основе ИИ, и причиной были именно ошибки в настройке облачного хранилища, а не взлом (Infowatch). То есть конфигурация хранилища — такой же объект проверки, как и код.
| Канал | Типовой сбой | Что закрыть в первую очередь |
|---|---|---|
| Системный промпт | Лишние данные в инструкции, пересказ правил | Вычистить промпт, запретить пересказ, сузить права учётной записи |
| База знаний | Фрагмент внутреннего документа в ответе клиенту | Разделить хранилища по контурам, разметить источники |
| Чужие записи | Контекст собран по неверному ключу | Ключ сессии, отдельная память, срок хранения |
| Логи | Полные тексты запросов у подрядчика | Маскирование, срок хранения, доступ по списку |
Что закрывать в первую очередь
Порядок определяется не размером риска, а стоимостью исправления. Системный промпт и права учётной записи правятся за день и не требуют переработки архитектуры — начинать нужно с них. База знаний требует разбора документов, это недели. Чужие записи — это уже переделка логики сессий и памяти. Логи — организационная работа: договориться с подрядчиком о маскировании и сроках.
- Вычистить системный промпт и запретить боту пересказывать инструкции.
- Сузить права сервисной учётной записи до чтения необходимого минимума.
- Развести базы знаний клиентского и внутреннего ботов, разметить источники.
- Проверить сборку контекста: ключ сессии, отсутствие склейки диалогов.
- Ввести маскирование в логах и ограничить срок их хранения.
- Поставить контроль на входе: что сотрудник вообще может отправить боту.
Что говорят исследования и где предел цифр
По данным исследований, большинство специалистов по информационной безопасности оценивают риск утечки через ИИ как высокий или средний (обзор УДВ-групп). Формулировка «большинство» здесь важнее конкретной доли: она говорит, что риск не считается экзотическим, но не даёт числа, на которое можно опереться в отчёте.
Отдельно стоит смотреть на средства контроля. DLP анализирует содержимое браузерной формы чат-бота и облачных ИИ-сервисов и реагирует на конфиденциальные данные независимо от того, какой конкретно сайт или приложение использовалось (РТ-Солар). Это важный сдвиг: контроль привязывается к типу данных, а не к адресу сервиса, поэтому новый бот не создаёт слепую зону автоматически.
Где остаётся человек
Полностью автоматический бот без человека в контуре допустим только там, где данные заведомо публичные: график работы, статус заявки по номеру, типовые инструкции. Как только в игру входят персональные данные, договоры или суммы, нужен барьер: либо бот не имеет доступа к источнику, либо ответ уходит на подтверждение сотруднику.
Практика показывает, что дешевле всего работает не запрет, а разделение потоков: клиентский бот отвечает по публичной базе, внутренний — по рабочим документам, а всё, что касается конкретного человека, идёт через сотрудника. Такой контур описан в материале о том, что ИИ-агент не должен делать сам, и он же логично ложится на журнал действий агента — без записи действий разбор инцидента превращается в пересказ воспоминаний.
Ещё одна опора — политика конфиденциальности платформы. Перед началом использования программы нужно внимательно ознакомиться с политикой конфиденциальности платформы и, если какой-либо из пунктов непонятен, обратиться к владельцу чат-бота (cliff.legal). Это звучит как формальность, но именно там написано, где хранятся логи и кто имеет к ним доступ.
Короткий чек-лист перед запуском
- Промпт прочитан целиком и не содержит внутренних документов и имён.
- Бот отказывается пересказывать свои инструкции.
- Сервисная учётная запись имеет доступ только к нужным таблицам.
- Клиентская и внутренняя базы знаний — разные хранилища.
- Контекст собирается по ключу сессии, склейка диалогов исключена.
- В логах маскируются персональные данные, срок хранения ограничен.
- Есть сотрудник, который подтверждает ответы по чувствительным темам.
Если нужно проверить уже работающего бота на эти четыре канала — начните с описания процесса и точек, где бот касается данных. Посмотрите, как мы это делаем: /approach.html и /services.html.
Получить диагностикуИсточники
- Утечка данных через чат-ботов: обзор и API — gotburnout.io — Определение утечки через ИИ как копирования данных сотрудником в окно чата. Отраслевой глоссарий, без количественной выборки.
- Утечка данных чат-ботов на основе искусственного интеллекта — Infowatch — Случай утечки у разработчика ИИ-приложений из-за ошибок в настройке облачного хранилища. Единичный инцидент, не статистика.
- Утечки данных через ИИ: риски и сценарии — РТ-Солар — Описание работы DLP с браузерной формой чат-бота и облачными ИИ-сервисами. Обзорная статья вендора, без замера на выборке.
- Утечка данных через ИИ: статистика и рекомендации — обзор УДВ-групп — Утверждение, что большинство специалистов по ИБ оценивают риск как высокий или средний. Точная доля и методика опроса в источнике не раскрыты.
- Как обезопасить себя от утечки персональных данных через чат-бот — cliff.legal — Рекомендация изучать политику конфиденциальности платформы и обращаться к владельцу бота. Юридический разбор, без числовых данных.