Утечка данных через чат-бота: четыре канала и порядок действий

Чат-бот в компании — это ещё один канал выноса данных, и он часто остаётся вне поля зрения службы безопасности: переписка идёт в мессенджере, ответы собираются из базы знаний, а логи хранятся у подрядчика. Утечка редко выглядит как взлом — чаще это ошибка настройки или лишний доступ. Ниже — четыре типовых канала, что именно в них ломается и в каком порядке закрывать, чтобы не потратить месяц на второстепенное.

Коротко

  • Утечка через ИИ — это прежде всего копирование сотрудником данных в окно чата; так её и определяют в отраслевом глоссарии.
  • Часть громких случаев — не атака, а ошибки в настройке облачного хранилища у разработчика ИИ-приложений.
  • DLP-системы умеют анализировать содержимое браузерной формы чат-бота и реагировать на конфиденциальные данные независимо от сайта.
  • Специалисты по информационной безопасности в большинстве оценивают риск утечки через ИИ как высокий или средний.
  • Порядок закрытия: системный промпт и права доступа → база знаний → чужие записи → логи и сроки хранения.

Почему чат-бот стал отдельным каналом утечки

Раньше данные уходили через почту, флешки и мессенджеры. Теперь к этому добавился бот, который по своей природе должен получать текст от сотрудника или клиента и отдавать ответ. Всё, что попало в диалог, проходит через внешнюю инфраструктуру: модель, векторное хранилище, базу данных, систему логирования. Каждый из этих элементов — потенциальная точка, где данные оказываются в месте, о котором никто не договаривался.

В отраслевом глоссарии утечку данных через ИИ определяют предельно просто: это ситуация, когда сотрудник или частный пользователь копирует в окно чата информацию, которая не должна покидать компанию (gotburnout.io). То есть первый канал — не технический, а человеческий, и он работает даже при идеально настроенном боте.

Практический признак: если сотрудник может вставить в диалог с ботом текст договора, выписку или список клиентов и бот это примет без возражений — канал открыт, независимо от того, что написано в политике.

Канал 1: системный промпт и права доступа

Системный промпт — это инструкция, которая задаёт боту роль, тон и границы. Внутри неё часто оказываются лишние вещи: перечень внутренних регламентов, названия отделов, имена ответственных, иногда фрагменты внутренних документов. Промпт хранится у подрядчика и передаётся в модель целиком при каждом запросе. Если бот умеет пересказывать свои инструкции по просьбе пользователя, содержимое промпта уходит наружу за один ход.

Вторая половина проблемы — права. Бот подключается к системам под сервисной учётной записью, и если у неё доступ шире, чем нужно для задачи, то любой сбой в логике ответа превращается в выдачу данных. Проверять нужно не «умеет ли бот отвечать», а «к каким данным у него есть техническая возможность обратиться».

  • Убрать из промпта всё, что не нужно для ответа: внутренние документы, имена, структуру отделов.
  • Запретить боту пересказывать инструкции и внутренние правила по запросу пользователя.
  • Выдать сервисной учётной записи минимальные права: только чтение нужных таблиц, без выгрузок.
  • Разделить ботов по контурам: клиентский бот не должен видеть внутренние данные вообще.
Четыре канала утечки и порядок закрытияОт самого дешёвого в исправлении к самому инерционному1Системный промптграницы и правадешевле всего2База знанийфрагменты документов3Чужие записиистория и контекст4Логи и хранениесроки и доступ5Контроль вконтуречеловек на проверкездесь чаще всего
Рисунок можно прокрутить вбок →
Схема построена на типовых каналах, описанных в обзорах по утечкам через ИИ; порядок — приоритет закрытия, а не частота инцидентов.

Канал 2: база знаний и фрагменты документов

Бот, который отвечает по документам компании, обычно работает так: документ нарезается на фрагменты, фрагменты кладутся в хранилище, на запрос подбираются ближайшие по смыслу. Проблема в том, что нарезка не различает уровни доступа. Если в базу попал документ с грифом или просто внутренний регламент с персональными данными, бот может выдать его фрагмент клиенту — не потому, что его взломали, а потому что фрагмент оказался близок к вопросу.

Отсюда практическое правило: база знаний для клиентского бота и база знаний для внутреннего — это два разных хранилища, а не одно с фильтром. Фильтр по метаданным работает, пока метаданные заполнены аккуратно, а на практике половина загруженных файлов приходит без разметки.

Каждая утечка данных — это цепочка событий, где мелкие ошибки и уязвимости складываются в серьёзную проблему.

Канал 3: чужие записи в истории диалога

Самый неприятный сценарий — когда пользователь видит не свои данные. Это случается, когда история диалога хранится в общем хранилище и подтягивается по неверному ключу: совпал идентификатор, потерялся параметр сессии, бот собрал контекст из соседней переписки. Внешне это выглядит как «бот перепутал», а по сути — выдача персональных данных другому человеку.

Здесь помогает не столько запрет, сколько разделение: контекст диалога должен собираться только по явному ключу сессии, а долговременная память о клиенте — храниться отдельно и с ограничением по сроку. Полезно прочитать материал о том, как устроена память ИИ-агента между сессиями: половина инцидентов с чужими записями растёт именно из небрежно спроектированной памяти.

Канал 4: логи, отладка и подрядчик

Логи — это тихий канал. В них попадают полные тексты запросов и ответов, а иногда и вложения. Логи пишутся для отладки, хранятся месяцами, доступ к ним есть у разработчика и у службы поддержки подрядчика. Формально это не утечка, фактически — копия переписки в чужом контуре.

Отдельный сюжет — ошибки в настройке облачного хранилища. Исследователи кибербезопасности нашли утечку данных у крупного разработчика приложений на основе ИИ, и причиной были именно ошибки в настройке облачного хранилища, а не взлом (Infowatch). То есть конфигурация хранилища — такой же объект проверки, как и код.

Что проверять по каждому каналу: сопоставление типового сбоя и минимальной меры. Составлено по описаниям каналов в обзорах по утечкам через ИИ, без количественных замеров.
КаналТиповой сбойЧто закрыть в первую очередь
Системный промптЛишние данные в инструкции, пересказ правилВычистить промпт, запретить пересказ, сузить права учётной записи
База знанийФрагмент внутреннего документа в ответе клиентуРазделить хранилища по контурам, разметить источники
Чужие записиКонтекст собран по неверному ключуКлюч сессии, отдельная память, срок хранения
ЛогиПолные тексты запросов у подрядчикаМаскирование, срок хранения, доступ по списку

Что закрывать в первую очередь

Порядок определяется не размером риска, а стоимостью исправления. Системный промпт и права учётной записи правятся за день и не требуют переработки архитектуры — начинать нужно с них. База знаний требует разбора документов, это недели. Чужие записи — это уже переделка логики сессий и памяти. Логи — организационная работа: договориться с подрядчиком о маскировании и сроках.

  1. Вычистить системный промпт и запретить боту пересказывать инструкции.
  2. Сузить права сервисной учётной записи до чтения необходимого минимума.
  3. Развести базы знаний клиентского и внутреннего ботов, разметить источники.
  4. Проверить сборку контекста: ключ сессии, отсутствие склейки диалогов.
  5. Ввести маскирование в логах и ограничить срок их хранения.
  6. Поставить контроль на входе: что сотрудник вообще может отправить боту.

Что говорят исследования и где предел цифр

По данным исследований, большинство специалистов по информационной безопасности оценивают риск утечки через ИИ как высокий или средний (обзор УДВ-групп). Формулировка «большинство» здесь важнее конкретной доли: она говорит, что риск не считается экзотическим, но не даёт числа, на которое можно опереться в отчёте.

Отдельно стоит смотреть на средства контроля. DLP анализирует содержимое браузерной формы чат-бота и облачных ИИ-сервисов и реагирует на конфиденциальные данные независимо от того, какой конкретно сайт или приложение использовалось (РТ-Солар). Это важный сдвиг: контроль привязывается к типу данных, а не к адресу сервиса, поэтому новый бот не создаёт слепую зону автоматически.

Оценка риска утечки через ИИ специалистами по ИБДоля специалистов, оценивающих риск как высокий или средний015304560оценка рискаВысокий или средний рискбольшинство
Рисунок можно прокрутить вбок →
Источник: обзор исследований УДВ-групп о чат-ботах как неучтённом канале утечек. Точная доля в источниках не приводится — на графике показан только порядок величины, а не измеренное значение.
Если в отчёте нужна цифра, а в источниках её нет — пишите «большинство» и указывайте источник оценки. Придуманная доля в презентации для службы безопасности обнулит доверие ко всему документу.

Где остаётся человек

Полностью автоматический бот без человека в контуре допустим только там, где данные заведомо публичные: график работы, статус заявки по номеру, типовые инструкции. Как только в игру входят персональные данные, договоры или суммы, нужен барьер: либо бот не имеет доступа к источнику, либо ответ уходит на подтверждение сотруднику.

Практика показывает, что дешевле всего работает не запрет, а разделение потоков: клиентский бот отвечает по публичной базе, внутренний — по рабочим документам, а всё, что касается конкретного человека, идёт через сотрудника. Такой контур описан в материале о том, что ИИ-агент не должен делать сам, и он же логично ложится на журнал действий агента — без записи действий разбор инцидента превращается в пересказ воспоминаний.

Ещё одна опора — политика конфиденциальности платформы. Перед началом использования программы нужно внимательно ознакомиться с политикой конфиденциальности платформы и, если какой-либо из пунктов непонятен, обратиться к владельцу чат-бота (cliff.legal). Это звучит как формальность, но именно там написано, где хранятся логи и кто имеет к ним доступ.

1шаг
Промпт и права учётной записи
2шаг
Разделение баз знаний
3шаг
Ключ сессии и память
4шаг
Логи, маскирование, сроки
Сводка по каналам: что проверять в первую очередь. Количественных замеров в источниках нет, поэтому вместо цифр — приоритет и тип меры.

Короткий чек-лист перед запуском

  • Промпт прочитан целиком и не содержит внутренних документов и имён.
  • Бот отказывается пересказывать свои инструкции.
  • Сервисная учётная запись имеет доступ только к нужным таблицам.
  • Клиентская и внутренняя базы знаний — разные хранилища.
  • Контекст собирается по ключу сессии, склейка диалогов исключена.
  • В логах маскируются персональные данные, срок хранения ограничен.
  • Есть сотрудник, который подтверждает ответы по чувствительным темам.

Если нужно проверить уже работающего бота на эти четыре канала — начните с описания процесса и точек, где бот касается данных. Посмотрите, как мы это делаем: /approach.html и /services.html.

Получить диагностику

Источники

  1. Утечка данных через чат-ботов: обзор и API — gotburnout.io — Определение утечки через ИИ как копирования данных сотрудником в окно чата. Отраслевой глоссарий, без количественной выборки.
  2. Утечка данных чат-ботов на основе искусственного интеллекта — Infowatch — Случай утечки у разработчика ИИ-приложений из-за ошибок в настройке облачного хранилища. Единичный инцидент, не статистика.
  3. Утечки данных через ИИ: риски и сценарии — РТ-Солар — Описание работы DLP с браузерной формой чат-бота и облачными ИИ-сервисами. Обзорная статья вендора, без замера на выборке.
  4. Утечка данных через ИИ: статистика и рекомендации — обзор УДВ-групп — Утверждение, что большинство специалистов по ИБ оценивают риск как высокий или средний. Точная доля и методика опроса в источнике не раскрыты.
  5. Как обезопасить себя от утечки персональных данных через чат-бот — cliff.legal — Рекомендация изучать политику конфиденциальности платформы и обращаться к владельцу бота. Юридический разбор, без числовых данных.

Читайте также

Что мы делаем

Заявка

Обсудим вашу задачу

Опишите процесс, который отнимает время, — вернёмся с планом автоматизации и оценкой.

Заявка получена

Мы свяжемся с вами с вопросами для диагностики. Обычно отвечаем в течение рабочего дня.

Не удалось отправить

Что-то пошло не так. Напишите нам в Telegram или на i@islenkov.ru.