Измеримых эффектов внедрения ИИ немного: время цикла, доля решений без человека, конверсия, качество, стоимость обращения и скорость отчётности. Всё остальное — «стало удобнее» — в отчёт не идёт. Ниже: как снять замер до старта, за какой период сравнивать, какие ловушки прячутся в подсчёте и какие диапазоны мы видели в своих проектах.
Эффекты удобно разложить на три слоя. Операционный — процесс идёт быстрее и с меньшим участием людей: время цикла, доля автоматических решений, число обращений на сотрудника. Этот слой измеряется первым, потому что данные для него уже лежат в CRM, хелпдеске или документообороте.
Финансовый слой — то, что видно в отчёте о прибылях и убытках: снижение стоимости обращения, рост маржи от прироста конверсии, сокращение потерь и штрафов. Он вторичен по времени: сначала меняется операционная метрика, и только потом, через один-два месяца, она превращается или не превращается в деньги.
Третий слой — качественный: сотрудникам стало удобнее, руководителю спокойнее, документы аккуратнее. Эти эффекты реальны и часто определяют, приживётся ли система, но в защите бюджета они не работают. Мы фиксируем их отдельным списком и не смешиваем с цифрами.
Правило отбора простое: метрика годится в отчёт, если у неё есть источник данных, способ подсчёта и человек, который её считает. Если хотя бы одного элемента нет, метрика в пилот не идёт — вместо неё ищем ту, которую уже собирает какая-нибудь рабочая система.
Таблица отвечает на вопрос «что является измеримым эффектом внедрения ИИ». Диапазоны в последнем столбце — из наших проектов, они показывают порядок величины и не переносятся автоматически на другую отрасль.
| Эффект | Как измерить | Источник данных | Типовой диапазон |
|---|---|---|---|
| Время цикла процесса | Медиана времени от поступления задачи до её закрытия | CRM, хелпдеск, журнал документооборота | На разборе инцидентов доходило до ×6 |
| Доля решений без человека | Автоматически закрытые обращения / все обращения | Журнал системы и статусы в учётной системе | До 92% на типовых заявках бронирования |
| Время на типовое обращение | Среднее время обработки одного обращения до и после | Хелпдеск, тайм-трекинг, замер по выборке | −54% на внутренних обращениях в образовании |
| Конверсия в следующий этап | Доля квалифицированных лидов, дошедших до сделки | Воронка CRM за сопоставимый период | +38% в цифровом отделе продаж |
| Скорость управленческой отчётности | Часы от закрытия периода до готового отчёта | Календарь сборки, журнал BI-системы | ×10 при переходе с ручной сборки |
| Качество ответа или документа | Доля результатов, принятых экспертом без правок | Разметка выборки в 100–200 случаев | Смотрим долю грубых ошибок, а не среднее |
| Стоимость обращения | Полная стоимость часа × время обработки + эксплуатация | Бухгалтерия, тайм-трекинг, счёт за контур | Считается индивидуально, зависит от ставки |
| Полнота данных в системах | Доля карточек с заполненными обязательными полями | Выгрузка из CRM или учётной системы | Растёт как побочный эффект автозаполнения |
| Нагрузка на людей | Человеко-часы на процесс за месяц | Тайм-трекинг либо замер по выборке за две недели | База для расчёта окупаемости, а не эффект сам по себе |
Половина споров о результате возникает из-за того, что базу мерили наспех или задним числом. Порядок ниже занимает 2–4 недели и делается до старта пилота.
Первый замер после запуска делать бессмысленно. Системе нужен разгон: наполняется база знаний, отлавливаются краевые случаи, сотрудники привыкают к новому окну. На типовом сценарии это 4–8 недель, и в ROI-модели мы закладываем их отдельной строкой, а не задним числом объясняем ими слабый результат.
Основной контрольный срез берём на том же горизонте, что и базовый: снимали базу за восемь недель — сравниваем с восемью неделями работы после разгона. Разные по длине окна дают разную дисперсию, и сравнение перестаёт быть корректным даже при честном подсчёте.
Сезонность решается двумя способами. Либо сравниваем с тем же периодом прошлого года и отдельно вычитаем общий тренд, либо оставляем часть потока на ручной обработке как контрольную группу. Второй вариант точнее, но требует, чтобы поток делился на сопоставимые части — по регионам, филиалам или категориям обращений.
Дальше метрика не замирает. Через полгода мы пересматриваем модель: часть эффекта уходит в новую норму и перестаёт быть заметной, зато появляются вторичные эффекты, которых не было в исходной гипотезе. Пересчёт раз в квартал входит в подписку на развитие.
Семь способов получить красивую цифру, которая не выдержит вопроса финансового директора. Все встречались нам на реальных проектах.
Все цифры считал сам заказчик по своим данным, до и после, на сопоставимых периодах. Названия компаний не раскрываем.
Классификация инцидентов, маршрутизация по ответственным, подготовка решения и контроль сроков поверх данных торговых точек. Метрика — медиана времени от регистрации инцидента до закрытия.
Классификация обращения, черновик ответа со ссылкой на регламент, маршрутизация на ответственного. Нестандартные случаи уходят человеку с сохранением контекста.
Слой аналитики поверх учебных и операционных данных: автосборка отчётов, дашборды, комментарии к динамике показателей. Метрика — часы от закрытия периода до готового отчёта.
Разбор сообщений из всех каналов, проверка доступности, расчёт стоимости, подтверждение. Метрика — доля заявок, закрытых без участия человека.
Метрика, которую надо собирать руками к совещанию, умирает за два месяца. Поэтому каждый сценарий получает дашборд: объём работы системы, доля автоматических решений, качество по выборке, время цикла и сравнение с базовым замером. Данные тянутся из тех же источников, которые заполняли ROI-модель на диагностике.
Раз в неделю проводим сверку факта с моделью вместе с владельцем процесса. Смотрим не только на рост, но и на расхождения: где доля автоматизации ниже плана, какие типы обращений системно уходят человеку, что изменилось в потоке. Из этих расхождений собирается очередь доработок на следующий релиз.
Раз в квартал модель пересчитывается целиком: обновляются ставки, объёмы, состав процессов и эксплуатационные расходы. Это же место, где принимается решение о второй очереди — какие процессы идут следующими и на каких цифрах это обосновано.
Разбор конкретных проектов с метриками, стеком и ограничениями собран в разделе кейсов. Если нужна оценка по своему процессу, её считают на бесплатной диагностике — 30–40 минут разбора и ROI-модель в таблице, с которой может работать ваш финансист.
Измеримым считается эффект, у которого есть три вещи: источник данных, письменно зафиксированный способ подсчёта и человек, который его считает. Время цикла, доля автоматических решений, конверсия в следующий этап, часы на процесс, доля ответов без правок — всё это измеримо, потому что уже лежит в рабочих системах. Не измеримы формулировки вроде «сотрудникам стало удобнее» или «выросла прозрачность»: они реальны и влияют на приживаемость системы, но защищать ими бюджет невозможно. Мы фиксируем такие наблюдения отдельным списком и не смешиваем с цифрами.
Операционные метрики сдвигаются в первые недели, но верить им рано: работает эффект новизны и не пройден разгон. На типовом сценарии системе нужно 4–8 недель, чтобы наполнилась база знаний, отловились краевые случаи и сотрудники перестали дублировать работу вручную. Финансовый эффект появляется позже операционного ещё на один-два месяца, потому что сначала меняется процесс и только затем это отражается в затратах или выручке. Поэтому контрольный срез мы берём после разгона и на том же по длине окне, что и базовый замер.
Такое бывает часто: процесс живёт в почте и в головах. Есть три обходных пути. Первый — замер по выборке: две недели фиксируем время на 30–50 случаях вручную, этого достаточно для порядка величины. Второй — контрольная группа: часть потока продолжает обрабатываться по-старому, и сравнение идёт между группами, а не между периодами. Третий — реконструкция по косвенным следам: даты в документах, время между письмами, отметки в учётной системе. Первый вариант точнее, третий дешевле, выбор зависит от того, сколько времени есть до старта пилота.
Потому что цифра описывает конкретный процесс на конкретных данных. Ускорение разбора инцидентов в ×6 получено там, где инциденты были однотипными, регламенты оцифрованы, а базу мерили восемь недель. В компании с другой структурой обращений и документами в сканах тот же сценарий даст другой результат, и часть бюджета уйдёт на подготовку данных. Чужие цифры полезны как ориентир по порядку величины и как доказательство, что задача в принципе решается. Число для вашей модели считается на ваших данных, иначе защита бюджета развалится на первом уточняющем вопросе.
Смотреть на кривую, а не на точку. Эффект новизны выглядит как резкий скачок в первые две-три недели с последующим сползанием к прежнему уровню. Настоящий эффект держится после разгона и не разваливается, когда за процессом перестают наблюдать. Помогают три проверки: контрольный срез не раньше чем через 4–8 недель после запуска, контрольная группа на части потока и разбор того, за счёт чего именно изменилась метрика. Если объяснить механику изменения нельзя, скорее всего, изменилось поведение людей под наблюдением, а не сам процесс.
Считать должен заказчик, а подрядчик — обеспечивать данные и прозрачность формулы. Метрика, которую считает внедряющая сторона, вызывает закономерные вопросы при защите бюджета, даже если посчитана честно. Мы делаем так: источники данных фиксируются до старта, формула подписывается владельцем процесса, дашборды строятся на выгрузках из ваших систем, а не на внутренних журналах ИИ-контура. Раз в неделю проходит совместная сверка факта с моделью, где расхождения обсуждаются открыто и превращаются в очередь доработок на следующий релиз.
30–40 минут разбора: смотрим ваши процессы, отмечаем, что можно передать ИИ, считаем ROI-модель на ваших объёмах и сроках. Вы уходите с расчётом и картой внедрения — даже если работать дальше не будете.