Контроль качества ответов ИИ-агента: чек-лист и метрики для МСБ

Качество ответов ИИ-агента проверяют так же, как работу любого сотрудника: по пяти критериям — точность фактов о ценах и услугах, тон, следование границам сценария, сложные вопросы и запись. Критерий «Сложные вопросы» сверяет диалог с тем, как это описано на сайте: «А сложные вопросы он передаёт менеджеру.» Достаточно раз в неделю брать выборку из 5–10 диалогов, оценивать каждый по шкале 1–3 и править сценарий там, где оценки низкие.

Ниже — готовая недельная процедура: чек-лист проверки выборки, рубрика оценки, способ разобрать ошибку и перевести её в правку сценария, а также разделение ролей «что делает человек, а что агент». Метрики здесь — не отчёт внутри продукта, а простой подсчёт, который команда делает сама по своим диалогам. Платформа для совместной работы AI-агентов и людей. А сложные вопросы он передаёт менеджеру.

Зачем контролировать качество ответов агента

Агент отвечает от имени компании: клиенту важно, совпал ли ответ с вашими реальными ценами, услугами и правилами, — а не то, кто именно его написал. Ошибка в фактах или неверно переданный вопрос стоят доверия дороже, чем несколько секунд задержки.

Контроль нужен не для слежки за кем-то. Его задача — находить слабые места сценария и превращать их в правки: где агент ушёл за границы, где затянул с ответом по существу, где не передал менеджеру сложный вопрос. Проверка небольшой выборки раз в неделю даёт картину всей работы; читать каждый диалог не нужно.

Вторая причина — измеримость. Без регулярного замера «стало ли лучше» остаётся ощущение. Команда, которая раз в неделю смотрит десять диалогов и фиксирует правки, через месяц видит динамику, а не предположения.

Критерии качества: что проверять

Пять критериев — они же рубрика оценки. Проверяются они по одному и тому же списку каждый раз, чтобы оценки были сравнимыми между неделями.

Точность фактов о ценах и услугах

Самый дорогой критерий. Сверяйте ответы с тем, что реально заведено в системе: цена услуги, сроки, время работы, расписание, условия записи. Агент отвечает по данным, которые ему дали, — если в них опечатка или устаревшая цена, он уверенно повторит её клиенту. Проверяйте не каждый диалог целиком, а ключевые реплики: где названа сумма, где назван срок, где названо время записи.

Тон и естественность

Ответ должен звучать так, как говорит ваша команда: вежливо, коротко, по делу, без канцелярита и без многословных заготовок. Проверяйте, нет ли в ответе механической повторяемости (одна и та же фраза на разные вопросы), нет ли раздражения или, наоборот, пустой вежливости без сути. Тон — это то, что клиент чувствует с первой реплики.

Следование границам сценария

Агент действует в рамках прописанных правил: не обещает того, что не согласовано, не отвечает на вопросы вне сценария от себя, не выдумывает факты, которых нет в данных. А сложные вопросы он передаёт менеджеру. Это фраза сайта и главный индикатор границы: если агент начал импровизировать по сложному вопросу, граница не сработала.

Сложные вопросы

Здесь две части. Первая — вовремя: не передано ли то, что агент мог закрыть сам, и не остался ли без ответа сложный вопрос. Вторая — полнота. А сложные вопросы он передаёт менеджеру. Это правило для переписки; там же агент «квалифицирует запрос и передаёт менеджеру только тех, кто готов к покупке». На звонке: «Он переведёт звонок на нужного специалиста и передаст ему имя клиента и суть запроса.» Проверяйте переведённые звонки по этой фразе сайта.

Запись и фиксация результата

Если диалог вёл к записи — проверьте, оформлена ли она верно: услуга, время, напоминание. Если к сделке — создана ли она и двигается ли по этапам: «как только клиент написал — агент создаёт сделку в канбане и двигает её по этапам воронки по мере общения». Хороший диалог без корректной записи — это половина работы: команда должна увидеть результат в системе, а не в переписке.

Хотите сначала убедиться, что сам агент работает в рамках ваших задач, — загляните в материал про возможности ИИ-агента Aitomaton.

Метрики для измерения

Инструменты контроля качества и теневого режима

Реальные экраны платформы: параллельный теневой режим в клинике, журнал ходов агента и правила передачи человеку.

Метрики контроля качества — это не встроенный отчёт платформы, а то, что команда считает сама по выборке проверенных диалогов. Такой подсчёт не требует отдельной системы: нужна таблица, список диалогов и полчаса раз в неделю. Считать показатели стоит по одной и той же формуле из недели в неделю, иначе динамику не увидеть.

Четыре базовых показателя закрывают большинство задач МСБ:

• Доля диалогов, закрытых агентом самостоятельно. Сколько обращений агент провёл до целевого действия сам — и без ошибок по проверяемым критериям. Это показатель самостоятельности сценария, а не цель любой ценой. А сложные вопросы он передаёт менеджеру.
• Доля корректных переводов. Как часто обращение передавалось в подходящий момент и правильному сотруднику. Сюда же попадают случаи, когда агент передал то, что мог закрыть сам, — это тоже повод посмотреть сценарий.
• Доля диалогов с целевым действием. Сколько проверенных диалогов закончились понятным результатом: записью, заявкой, сделкой. Сравнивайте этот показатель у диалогов со сложными вопросами и без них — так видно, где теряется результат.
• Полнота переведённых звонков. Сколько переведённых звонков прошли так, как написано на сайте: «Он переведёт звонок на нужного специалиста и передаст ему имя клиента и суть запроса.»

Как считать. Возьмите выборку проверенных за неделю диалогов и по каждому поставьте отметку «да / нет» по нужному показателю, затем поделите число «да» на размер выборки. Например, в выборке из десяти диалогов семь закрыты без перевода — показатель недели равен семи из десяти. Сохраняйте значение рядом с датой и размером выборки и сравнивайте недели между собой; при малой выборке важнее тенденция, чем одна цифра.

Эти показатели хорошо работают в паре со скоростью первого ответа: быстрый ответ без точной записи теряет клиента так же, как медленный. Как замерять скорость и не терять заявки, разобрано в материале про обработку заявки за 5 минут.

Чек-лист еженедельной проверки

Процедура занимает немного времени, если делать её по одному и тому же порядку.

Шаг 1. Собрать выборку диалогов

• Берите минимум 5–10 диалогов в неделю; при росте потока увеличивайте выборку.
• В выборку обязательно включайте не только удачные диалоги: переведённые звонки, диалоги без записи, обращения со сложными вопросами.
• Смешивайте каналы: переписку и звонки, разные дни недели, разных клиентов.
• Периодически добавляйте диалог, где клиент вернулся с тем же вопросом, — это сигнал, что первый ответ не решил задачу.

Шаг 2. Проверить по критериям

• По каждому диалогу пройдите пять критериев: точность фактов, тон, границы сценария, сложные вопросы, запись.
• Поставьте оценку по шкале 1–3 (рубрика ниже) и коротко запишите причину.
• Отметьте цитату: конкретную реплику, из-за которой снизили оценку. Без цитаты правку потом не восстановить.
• Отдельно отметьте, было ли достигнуто целевое действие.

Шаг 3. Зафиксировать правки в сценарии

• Сведите найденные ошибки в список и отметьте повторяющиеся: одна ошибка в трёх диалогах важнее трёх разных.
• Внесите правку в сценарий или промпт: уточнить правило, добавить отсутствующий факт в данные, поменять формулировку, поправить ветку передачи.
• Прогоните тестовые вопросы, которые должны были сработать иначе.
• Запишите в отчёт, что именно изменили, — в следующей выборке проверите, помогло ли.

Рубрика оценки: шкала 1–3

Одна шкала делает оценки сравнимыми между неделями и между проверяющими. Оценивайте каждый критерий отдельно, а не диалог «в целом».

Ориентир: оценки «1» по любому критерию — повод немедленно править сценарий, а не откладывать до следующей недели. Если по критерию стоит «2» почти во всей выборке, проблема системная, и её тоже нужно разбирать отдельно от единичных сбоев.

Как разбирать ошибки и править сценарий

Ошибка — это не приговор агенту, а подсказка, где сценарий не проработан. Разбирайте по порядку.

1. Найдите причину, а не симптом. Неточная цена — в данных устаревшее число или его вообще нет. Агент ушёл за границы — в правилах не описана эта ситуация. Передал диалог слишком рано — ветка передачи настроена слишком широко.
2. Отнесите ошибку к одной из трёх зон. Данные (что заведено в системе), правила и промпт (что агенту разрешено и запрещено), структура диалога (в каком порядке он действует). Правка всегда идёт в одну из них.
3. Внесите минимальную правку. Один вопрос — одна правка. Не переписывайте сценарий целиком из-за одного диалога: так теряются ранее рабочие ветки.
4. Прогоните проверочные вопросы. Возьмите фразу из проблемного диалога и похожие формулировки и убедитесь, что новый ответ корректен.
5. Вернитесь к ошибке через неделю. Включите похожий диалог в следующую выборку и отметьте, ушла ли проблема. Без такой перепроверки легко решить, что правка помогла, хотя ошибка повторяется.

Если промпт собираете с нуля или хотите сверить формулировки правил, посмотрите шаблоны промптов по нишам — их удобно взять за основу и затем менять под свои услуги.

Что делает человек, а что агент

Границы стоит проговорить заранее, чтобы контроль качества не превращался в попытку сделать агента универсальным.

Агент берёт на себя:

• первое сообщение и ответы на типовые вопросы по заведённым данным;
• квалификацию запроса — «квалифицирует запрос и передаёт менеджеру только тех, кто готов к покупке»;
• подбор времени и запись с напоминаниями;
• создание и продвижение сделки: «как только клиент написал — агент создаёт сделку в канбане и двигает её по этапам воронки по мере общения»;
• языки казахский, русский, шала-казахский — с автоматическим переключением под язык клиента.

Команда и сложные вопросы:

• решение, что менять в сценарии, — по итогам недельной проверки;
• «А сложные вопросы он передаёт менеджеру.»;
• приём переданного обращения: «Менеджер видит только актуальный статус, без ручного заполнения»;
• выборка диалогов, оценка и разбор ошибок — это работа команды, а не агента.

Иначе говоря, проверка качества — регулярная процедура: выборка, оценка, правка правил.

Как устроен контроль в Aitomaton

Проверять качество удобнее по данным. На сайте Aitomaton про аналитику сказано так: «Аналитика по всем каналам — без Excel», а также «Сколько обращений пришло, откуда, сколько конвертировалось. Видите узкие места и принимаете решения на основе данных, а не ощущений». Это и есть основа для недельной выборки: команда смотрит, сколько обращений пришло, откуда и сколько конвертировалось, а не собирает это по кусочкам из разных приложений.

По сделкам на сайте сказано: «Как только клиент написал — агент создаёт сделку в канбане и двигает её по этапам воронки по мере общения. Менеджер видит только актуальный статус, без ручного заполнения». Отдельно на сайте указаны задачи команды: «Ставьте задачи, отслеживайте выполнение и получайте уведомления — всё внутри платформы». Для контроля качества это означает, что найденную правку можно сразу закрепить задачей и не потерять её до следующей недели.

Как это выглядит вживую, показывают на ваших процессах: Записаться на демо.

Практика внедрения

Чтобы контроль качества не остался теорией, привяжите его к одной регулярной встрече. Раз в неделю команда собирает выборку, проходит по пяти критериям, сводит оценки и назначает правки. Самые частые выводы первых недель — почти всегда про данные и границы: где-то не хватает цены, где-то правило описано слишком узко.

Логику проверки удобно отладить на конкретном сценарии. В разборе про сценарий для салона красоты запись строится вокруг услуг и расписания мастеров, а в материале про сценарий для клиники — вокруг приёма и расписания специалистов. Возьмите эти сценарии как ориентир и проверьте по той же рубрике свои диалоги.

Проверьте сценарий и рубрику на своих услугах: Попробовать 3 дня бесплатно.

Шаблон отчёта QA

Отчёт не обязан быть длинным: одна таблица на неделю, которая помещается на экран. Заводите её по одному и тому же образцу.

Такой отчёт показывает динамику без отдельного инструмента: сравнили средние баллы и список ошибок с прошлой неделей — и увидели, стало ли лучше.

Частые ошибки и улучшения

• Проверять «на глаз» весь поток. Читать всё невозможно, а бессистемные проверки ничего не дают. Выборка из 5–10 диалогов раз в неделю работает лучше, чем редкий полный разбор.
• Оценивать диалог целиком, без критериев. «Вроде нормально» — не оценка. Пять критериев со шкалой 1–3 дают сравнимый результат.
• Считать «диалог закрыт» хорошим ответом. Закрытый диалог без верного ответа и без записи — потеря. Поэтому метрики и рубрика смотрят на результат и точность, а не только на факт спроса.
• Не записывать цитату. Без конкретной реплики правку невозможно проверить, а ошибка возвращается.
• Править всё сразу. Десяток изменений за раз не позволяет понять, что помогло. Один вопрос — одна правка.
• Искать причину в агенте, а не в данных. Чаще всего ответ неверен потому, что в системе не было факта или правило было размытым. Сначала проверьте данные и правила.
• Не перепроверять через неделю. Правку стоит считать завершённой только после повторной выборки.

Больше про слабые места формулировок — в материале про типичные ошибки промптов.

Сколько это стоит

• Подключение WABA — 29 990 ₸/мес.
• Настройка от специалиста — от 149 990 ₸. «Полная настройка системы совместно с нашим специалистом. Занимает от 2 до 6 дней, в зависимости от Ваших бизнес-процессов».
• Попробовать 3 дня бесплатно.

Полную картину смотрите в материале про тарифы Aitomaton.

Частые вопросы

Сколько диалогов достаточно проверять? Минимум 5–10 диалогов в неделю — этого достаточно для старта. При росте потока выборку увеличивают, сохраняя ту же формулу подсчёта.

Что проверять в первую очередь? Точность цен и услуг, а также сложные вопросы: корректность момента и перевод звонка по фразе сайта. Он переведёт звонок на нужного специалиста и передаст ему имя клиента и суть запроса. Это два критерия, где ошибка стоит дороже всего.

Как быстро исправить найденные ошибки? Ошибку разбирают до причины, правку вносят в данные, правило или промпт и прогоняют проверочные вопросы.

Нужна ли отдельная система аналитики, чтобы считать метрики? Нет. Четыре базовых показателя считаются по выборке вручную. Автоматизация помогает на большом объёме, но начинать можно с таблицы.

Агент слишком часто относит вопросы к сложным. Это проблема? Не обязательно. Посмотрите выборку переводов: если среди них много типовых вопросов, которые агент мог закрыть сам, — правило передачи настроено слишком широко.

Кто должен проверять качество? Один ответственный: владелец, администратор или специалист по операционке. Важно, чтобы это был постоянный человек — тогда оценки будут сравнимыми.

Как начать без риска? Проверьте сценарий и рубрику на своих диалогах: Попробовать 3 дня бесплатно.

Связанные материалы

• Обработка входящей заявки за 5 минут
• Возможности Aitomaton: что умеет ИИ-агент
• Шаблоны промптов ИИ-агента по нишам
• Типичные ошибки в промптах ИИ-агента
• Запись в клинику через WhatsApp
• Запись в салон красоты через WhatsApp