Классификация заявок с помощью ИИ: как разложить поток по типам и не ошибиться

Зачем классифицировать заявки

Классификация заявок с помощью ИИ — это отнесение каждого входящего обращения к заранее описанной категории: новая заявка, запрос поддержки, претензия, счёт, спам, «не определить». Смысл не в красивой разметке, а в том, что категория определяет маршрут: кому уходит заявка, с каким приоритетом и в какой срок.

Разложить поток по типам имеет смысл, когда обращений становится много. Пока их десятки, человек справляется и без модели. На масштабе ручная сортировка упирается в два ограничения: время оператора и человеческий фактор. Показательный пример — проект интеллектуальной классификации и маршрутизации в ИТ-поддержке НЛМК (Habr, 2024): несколько десятков тысяч запросов в месяц, набор данных почти в миллион обращений за два года, значительная часть — короткие однотипные запросы.

Эффект здесь складывается из двух чисел: охват (сколько обращений ушло автоматически) и точность (какая их доля попала верно). По отдельности ни одно ничего не значит. Если автоматизировать всё подряд при низком пороге, охват будет высоким, но часть заявок уедет не туда; если поставить порог слишком высоко, почти всё вернётся человеку, и экономии не будет.

Классификация нужна не всегда. Если обращений немного и они однотипны, хватает правил: адрес получателя, тема письма, форма на сайте. Модель начинает окупаться там, где поток большой, формулировки разнообразны, а цену ошибки можно ограничить порогом уверенности и ручной проверкой. Это не «ИИ ради ИИ», а решение конкретной задачи — разложить большой поток по маршрутам.

Что значит классифицировать заявку: категории и правила

Классификация начинается не с модели, а со справочника. Категория бесполезна, если из неё не следует действие. «Важное» и «неважное» — плохие категории: по ним нельзя принять решение. Рабочая категория отвечает на вопрос «что дальше».

Три перехода требуют внимания. Первый: без единого формата обращения из разных каналов приходят по-разному, и классифицировать их сложнее. Второй: порог уверенности — это не техническая деталь, а решение бизнеса о допустимом риске. Третий: без обратной связи, где видно, кто и что исправил, модель не улучшается.

Отдельная работа — нормализация. Обращения из почты, формы и мессенджера приходят в разном виде: где-то есть тема письма, где-то только текст сообщения, где-то вложение. Прежде чем классифицировать, поток нужно привести к общему виду: собрать текст, историю переписки, имена и типы вложений. Чем аккуратнее этот шаг, тем меньше модели приходится догадываться.

Хороший справочник компактен. В том же проекте классификации около половины обращений удалось описать семью услугами, четырнадцатью категориями и пятнадцатью группами, тогда как остальные полсотни услуг дали тысячи редких комбинаций. Начинать стоит именно с частого ядра, а редкие случаи до поры оставлять человеку.

Разметка: как получить данные, на которых учится модель

Модель не знает ваших правил, пока ей не покажут примеры. Разметка — самая скучная и самая важная часть классификации. Общие принципы простые.

• Одна заявка — одна категория. Если в письме сразу несколько тем, выбирается главная по действию, а остальные выносятся в отдельные задачи.
• Спорные случаи решают заранее, а не на ходу: правила для пограничных формулировок важнее, чем для очевидных.
• «Не определить» — полноценная категория, а не мусор: она ловит то, что не описано, и защищает от случайного адресата.
• Разметку проверяют на согласованность: если двое разметчиков ставят разные категории одному письму, инструкция неполна.
• Тестовый набор откладывают заранее и не используют для обучения — иначе качество будет казаться лучше, чем есть.

Данные можно частично заменить правилами. В разборе текстовых обращений Т-Банка (Habr, 2025) разметку по бизнес-направлениям делали регулярными выражениями: точность такой разметки проверили вручную на выборке и получили в среднем около 92% по метрике Accuracy. Там же отмечено, что от 60 до 80% негативных обращений приходят без конкретизации причины — то есть «сырой» текст часто неполон, и это нормально.

Разметка не заканчивается на старте. Каждое исправление человека — это новый пример: специалист поменял категорию, значит, в правилах или в разметке есть пробел. Если исправления не собирать, модель будет ошибаться одинаково годами. Поэтому цикл «классификация → проверка → правка разметки» важнее, чем выбор конкретной модели.

Порог уверенности и маршрутизация

Модель почти всегда возвращает не только категорию, но и уверенность в ней. Это и есть рабочий инструмент управления риском. Уверенность ниже порога — обращение уходит на ручной разбор; выше — автоматически в нужный маршрут. Применимость такого подхода подтверждают и исследования: работа об AutoML для классификации тикетов (arXiv, 2024) показала, что модель с приемлемым качеством можно обучить даже без выделенного специалиста по ИИ.

Порог — это компромисс, который каждый выбирает сам. В упомянутом проекте ИТ-поддержки порог 0,8 отправлял на ручную проверку примерно 39% обращений. Кто-то решит начать со строгого порога и постепенно снижать его по мере роста доверия; кто-то — сразу с мягкого и больше проверять. Правило одно: сомневающееся обращение не должно исчезать и не должно получать случайного адресата.

Правило простое: чем выше цена ошибки, тем ниже допустимая автономность. Метку и внутреннюю задачу можно ставить смело — их легко исправить. Цену, срок и юридическую формулировку модель не отправляет сама.

Приоритет стоит держать отдельно от категории. Категория отвечает на вопрос «куда», приоритет — на вопрос «насколько срочно». Претензия и запрос справочной информации могут относиться к разным категориям, но обе требуют быстрой реакции, а типовой вопрос действующего клиента иногда спокойно ждёт в плановой очереди. Смешивать эти два измерения в одну метку — частая ошибка, из-за которой важное уезжает в общую очередь.

Как проверить качество классификации

Качество нельзя оценивать «на глаз» по первым письмам. Нужен набор метрик, считающихся по каждой категории отдельно: общая точность прячет категорию, где модель ошибается чаще всего, а именно она и создаёт поток неверных маршрутов.

Смотреть стоит не только на ошибки, но и на их характер. Ошибка «заявка ушла в поддержку вместо отдела продаж» стоит дороже, чем «претензия отсортирована как запрос поддержки»: в первом случае клиент ждёт ответа не от того человека. Поэтому для критичных категорий порог уверенности поднимают, а для безопасных — снижают.

Порядок внедрения классификации заявок

Классификация — не первый и не последний шаг автоматизации. Сначала единый список заявок и фиксация, потом классификация и маршрутизация, потом черновики ответов. Общая логика разобрана в статье автоматизация обработки заявок.

1. Шаг 1. Выписать категории, которые уже используются людьми в работе, и действие для каждой.
2. Шаг 2. Собрать выборку реальных обращений и разметить её по инструкции; спорные случаи зафиксировать в правилах.
3. Шаг 3. Отложить тестовый набор и проверить модель на нём по метрикам для каждой категории.
4. Шаг 4. Включить классификацию без автоотправки: модель ставит метку и маршрут, человек может исправить.
5. Шаг 5. Настроить порог уверенности и очередь ручного разбора для сомнительных обращений.
6. Шаг 6. Регулярно разбирать исправления человека и добавлять их в разметку или правила.

Объём работ зависит от числа категорий, каналов и качества данных; ориентиры по бюджету смотрите в разделе услуги, а примеры похожих задач — в разделе кейсы. Классификацию писем в общем ящике отдельно разбирает материал о почтовом ассистенте.

Частые ошибки

• Начинать с модели вместо справочника: без понятных категорий и действий классификация не даёт ничего.
• Брать абстрактные категории вроде «важное» и «срочное»: из них не следует маршрут.
• Оценивать качество общей точностью: она прячет проблемную категорию.
• Использовать тестовый набор для обучения: тогда качество будет казаться лучше реального.
• Отдавать на автоответ то, что требует решения: цена, срок, претензии и обещания — не для автоматики.
• Забывать про редкие категории: их лучше оставлять человеку, а не насильно распределять.

Разобрать ваш поток обращений и понять, какие категории и порог подходят именно вам, можно по контактам из раздела контакты. Полезно начать со связки классификации с единым окном заявок, чтобы все каналы попадали в одну очередь.