Эффект автоматизации: что замерить до старта и как сравнить «после»
Эффект автоматизации почти всегда обсуждают после внедрения — и почти всегда спорят о цифрах, которых никто не собирал до старта. Между тем измерение начинается не с отчёта, а с базовой линии: пяти цифр по 20–30 последним случаям. Ниже — что замерить «до», что считать «после» и почему прямой разницы между ними часто недостаточно, чтобы говорить об эффекте.
Коротко
- Половина организаций на стадии пилота и 36% тех, кто уже масштабирует автоматизацию, не считали срок окупаемости проектов (Deloitte, 441 руководитель из 29 стран, 2020 год).
- Зрелые описания процессов, стандарты и управление ими есть только у 38% организаций — без этого замерять нечего (там же).
- Отдача отличается кратно: 4,3% ROI у опытных против 0,2% у начинающих, окупаемость 1,2 года против 1,6 (ESI ThoughtLab для Deloitte, 1 200 компаний в 12 отраслях и 15 странах, март–апрель 2020).
- Простое сравнение «до и после» не отделяет эффект от тренда: в разборе с ростом акциза на сигареты немедленный скачок оказался в пределах погрешности (−0,20 п.п.), а эффект проявился в наклоне линии — −0,27 п.п. за квартал (Mathes и соавторы, 2024).
- Рабочий минимум — три замера до и три после, на практике больше; окна до и после делают одинаковой длины, а переходный период внедрения в сравнение не берут.
Эффект — это разница при том же объёме работы
Самая частая ошибка — считать эффектом ускорение одной операции. Агент разбирает входящую почту за секунды, менеджер отвечает быстрее, отчёт выглядит убедительно. Но если менеджер теперь перепроверяет разметку и всё равно открывает каждое письмо, работа не исчезла — она переехала. Эффект автоматизации — это исчезнувшие операции и исчезнувшие ошибки при том же объёме работы, а не более быстрое выполнение тех же шагов.
Поэтому до старта нужны ответы на три вопроса. Сколько ручных операций было на один случай и сколько останется. Сколько случаев возвращалось на доработку и что с этим станет. Сколько часов в неделю люди тратят на участок и куда освободившееся время денется — в тот же процесс, в другой участок или никуда. Третий вопрос самый неудобный: если время освободилось, а объём работы не вырос, экономия остаётся на бумаге. Как мы раскладываем такие задачи на операции, описано в разделе нашего подхода.
Что замерить до старта: пять цифр
Пяти цифр ниже хватает, чтобы потом не спорить о вкусах. Считать их нужно по 20–30 последним случаям, а не по среднему за год: среднее скрывает разброс, из-за которого и появляется ощущение «стало быстрее».
| Что замерить | Как считать | Зачем |
|---|---|---|
| Срок от поступления до результата | Разница между временем поступления и временем результата в календарных часах | Главная цифра для клиента и база для остальных: без неё эффект не с чем сравнить |
| Время до первого содержательного ответа | От поступления до первого ответа, в котором есть суть, а не «приняли в работу» | Меняется быстрее всех остальных и раньше всего заметна клиенту |
| Число ручных операций на случай | Сколько раз человек открывает, переписывает, переносит или проверяет один случай | Показывает, исчезла работа или переехала к проверяющему |
| Доля случаев без ручной правки | Случаи, прошедшие без правок, делим на все случаи за период | Качество автоматизации: быстрый ответ с переделками — не эффект |
| Доля возвратов на доработку | Случаи, вернувшиеся после передачи дальше, делим на все случаи | Скрытая переделка, из которой растёт срок после внедрения |
Где брать цифры, если хронометража нет
Хронометраж почти никто не ведёт, и это нормально. Нужные данные обычно уже лежат в системах — просто не собраны в одном месте.
- Почта и мессенджеры: время первого сообщения клиента и время первого ответа. Самая доступная цифра, она есть в любом ящике и в любой переписке.
- CRM и таблицы: даты смены статусов. Если статусы ставят вручную, точность падает, но порядок величины виден.
- Журнал агента или бота: когда пришло, когда ушло, что сделано. Этот же журнал потом пригодится для разбора спорных случаев.
- Телефония и календарь: длительность разговоров, время между звонком и заметкой по нему.
- Счета и акты: сколько человеко-часов ушло на участок, если работа оплачивается сдельно или подрядом.
Ограничение честное: системы хранят только то, что в них попало. Звонки, разговоры в коридоре и «я быстро глянул» в замер не попадут, поэтому базовая линия всегда занижает ручную работу. Об этом надо написать в отчёте, а не прятать — иначе первая же проверка обнулит доверие к остальным цифрам.
Цифры есть не у всех — и это видно в опросах
Опрос показывает, что проблема не в сложности расчёта, а в том, что до него не доходят. Половина организаций на стадии пилота и 36% тех, кто уже масштабирует автоматизацию, не считали срок окупаемости своих проектов. При этом 58% не считали, как изменятся роли и задачи сотрудников, а 13% внедрили больше 50 автоматизаций — против 8% годом ранее и 4% двумя годами ранее.
Последняя строка на рисунке объясняет остальные: без описания процесса замерять нечего. Если шаги живут в головах, у каждого исполнителя своя версия процесса, и «до» получается разным в зависимости от того, кого спросили. Карта процесса из нашей практики нужна не для красоты, а чтобы все считали один и тот же участок.
Почему «до и после» обманывает
Сравнить два числа — ещё не значит измерить эффект. Методическая литература по прерванным временным рядам разбирает это на конкретном примере. В исследовании роста акциза на сигареты в Пенсильвании было 23 замера до изменения и 29 после. Модель с трендом показала: немедленный скачок лежит в пределах погрешности (−0,20 п.п., интервал от −1,86 до +1,46), а эффект проявился в наклоне линии — −0,27 п.п. за квартал. Простое сравнение «до и после» на тех же данных дало −4,33 п.п.: цифра другая, и по ней нельзя отделить эффект от спада, который начался раньше вмешательства.
Для рабочего процесса это переводится так. Обычное сравнение берёт максимум два замера или одно усреднённое значение и не видит фоновый тренд: сезонность, рост или падение потока, естественный возврат к среднему после аварийного месяца. Минимально надёжная схема — не меньше трёх замеров до и трёх после, а на практике нужно больше. Окно до и после делают одинаковым, а если внедрение шло постепенно, между ними оставляют переходный период и в сравнение его не берут.
Порядок честного замера
Порядок простой, но проходить его надо целиком. Пропущенный первый шаг не восстанавливается: цифры «до» можно собрать задним числом только по журналам, если они велись, а воспоминания за прошлый месяц — не данные. Дата включения фиксируется заранее, иначе в «после» попадёт неделя, когда работали ещё по-старому.
Ещё одна проверка, которую легко сделать без статистики, — контрольная метрика. Возьмите показатель, который автоматизация менять не должна: число новых обращений, средний чек, доля клиентов из города. Если он сдвинулся на те же проценты, что и целевой, вы измеряете общий фон, а не эффект внедрения. Контроль не доказывает причинность, но отсекает самые частые самообманы.
Что писать в отчёте
Отчёт на одну страницу убеждает лучше презентации на сорок слайдов, если в нём есть три колонки: что было, что стало и что ещё изменилось за тот же период. В третьей колонке фиксируются запуск нового канала, смена тарифа, уход сотрудника, рост объёма: именно из-за них цифры «после» часто выглядят лучше, чем есть.
Разница между 4,3% и 0,2% — не про инструмент. Исследование связывает её с подготовкой: у тех, кто получил отдачу выше 5%, были налажены управление данными, отслеживание результатов, а также безопасность и порядок в правах доступа. Иными словами, считать эффект — часть работы, а не отчётная формальность в конце.
Практическое правило для формулировок: писать не «экономия 30%», а «операций на случай было 7, стало 4; срок был 26 часов, стал 9; доля случаев с ручной правкой была 18%, стала 6%». Такие строки проверяемы и не разваливаются на первом же вопросе «а откуда цифра». Где посмотреть примеры разборов — в кейсах.
- Период, за который сняты данные, и длина окна до и после.
- Что не попало в замер: звонки, устные договорённости, работа вне систем.
- Какие изменения шли параллельно и могли повлиять на цифру.
Без этих трёх оговорок отчёт читается как реклама, и первая же цифра, которую попросят объяснить, обнулит остальные. Если нужен второй взгляд на уже собранные цифры — напишите нам.
Если эффекта нет: три частые причины
- Объём вырос. Автоматизация ускорила разбор, поток увеличился, срок остался прежним. Это не провал, но экономии в часах не будет: считать надо пропускную способность, а не срок.
- Работа переехала. Операция исчезла у исполнителя и появилась у проверяющего. Пока проверка занимает столько же, эффект нулевой; уменьшать надо долю случаев, которые доходят до человека.
- Мерили не то. Срок сократился, а доля возвратов выросла: быстрее, но с переделками. Смотреть надо на пару «срок и качество», иначе ускорение оплачивается переделками.
Четвёртая причина встречается реже, но её стоит назвать: эффект есть, его просто не видно, потому что метрика считается в другом месте — в бухгалтерии, у подрядчика или в голове у руководителя. Тогда задача не в автоматизации, а в том, чтобы свести данные в один отчёт.
Короткий вывод
Измерить эффект автоматизации можно без аналитика и статистики: пять цифр по 20–30 случаям до старта, одинаковые окна до и после, контрольная метрика и отчёт с оговорками. Если базовой линии нет, честный вариант один — назвать проект пилотом и начать замер сейчас, а не доказывать эффект задним числом.
Проверим, что у вас уже есть для замера — и чего не хватает.
Получить диагностикуИсточники
- Deloitte Global Intelligent Automation Study Reveals Dramatic Acceleration in Adoption of Automation Technologies (пресс-релиз, PR Newswire) — пятый год опроса, 441 руководитель из 29 стран, декабрь 2020: 50% организаций на стадии пилота не оценивали срок окупаемости автоматизации, среди внедряющих и масштабирующих таких 36%; только 26% пилотирующих и 38% масштабирующих имеют корпоративную стратегию автоматизации; только 38% имеют зрелые описания процессов, стандарты и управление ими, 37% — подходящие ИТ-стандарты; 58% не рассчитывали, как изменятся роли и задачи сотрудников, при этом ожидают переобучения 34% персонала; 13% внедрили более 50 автоматизаций против 8% в 2019 и 4% в 2018 году; опрос проводит компания, продающая услуги автоматизации
- Deloitte Insights — ROI from AI: The importance of strong foundations (разбор исследования ESI ThoughtLab) — исследование ESI ThoughtLab при поддержке Deloitte: 1 200 компаний в 12 отраслях и 15 странах, март–апрель 2020; у опытных организаций средний ROI проектов 4,3% против 0,2% у начинающих, типовая окупаемость 1,2 года против 1,6; наибольшая отдача — обслуживание клиентов 74%, ИТ-операции 69%, планирование и принятие решений 66%; компании с ROI выше 5% имели внедрённые практики управления данными, отслеживания результатов, безопасности и прав доступа; данные самооценки руководителей, а не аудит
- Mathes T., Röding D., Stegbauer C., Laxy M., Pieper D. — Interrupted Time Series for Assessing the Causality of Intervention Effects (Dtsch Arztebl Int, 2024;121(24):800–804) — разбор метода прерванных временных рядов: сравнение «до и после» использует максимум два замера или одно усреднённое значение и не позволяет оценить фоновый тренд; для оценки тренда нужно не менее трёх замеров до и трёх после, на практике чаще больше; пример с ростом акциза на сигареты в Пенсильвании — 23 замера до и 29 после, изменение уровня −0,20 п.п. (95% ДИ от −1,86 до +1,46), изменение наклона −0,27 п.п. за квартал (от −0,36 до −0,18), при простом сравнении «до и после» на тех же данных −4,33 п.п. (от −5,90 до −2,75); при постепенном внедрении нужен переходный период; рекомендуются негативные контроли — показатели, которые не должны меняться