ИИ на первой линии поддержки: что показал эксперимент на 5 тысячах операторов

Что именно измеряли в эксперименте на пяти тысячах операторов?

Исследователи подключали операторам чат-поддержки ассистента на базе GPT-3: он следил за диалогом и предлагал ответы, а оператор решал — отправить, поправить или проигнорировать. Метрика — число решённых обращений в час. Всего в журнальной выборке 5 172 оператора одной компании бизнес-софта; внедрение шло поэтапно, а не как чистый рандомизированный эксперимент.

Дизайн простой и честный: одна и та же очередь чатов, одни и те же клиенты, разница лишь в том, что у части операторов рядом подсказчик. Оператор остаётся ответственным за разговор. Именно поэтому результат читается как эффект усиления команды, а не как замена людей машиной.

Что важно для переноса выводов: это одна компания англоязычной поддержки программного обеспечения, ассистент подсказывает оператору, а не отвечает клиенту сам. Дальше разберём, кому помогло сильнее и почему цифры нельзя копировать один в один.

Кому помогло сильнее: новичкам или опытным?

Журнальная версия показывает разброс: менее опытные операторы улучшают и скорость, и качество ответов. У самых опытных скорость растёт немного, а качество немного снижается — подсказки усредняют их сильные стороны. Точных процентов прироста новичков журнальная версия в нашем источнике не даёт, поэтому приводим эффект словами, а не цифрами.

Среднее +15% — это именно среднее: за ним стоят разные судьбы. Новичок с подсказчиком быстрее выходит на рабочий темп, а у сильного оператора готовые формулировки иногда проигрывают его собственным. Поэтому смотреть только на среднее — значит пропустить главное: эффект зависит от стажа и стартового уровня.

На наш взгляд, здесь нет мистики: подсказки переносят приёмы команды тем, у кого их ещё мало, а тем, у кого приёмы уже свои и отточенные, они почти не добавляют. Вывод для найма и обучения простой: ассистент сильнее всего там, где люди только входят в работу, а опытным он нужен скорее как разгрузка от рутины.

Почему эти цифры нельзя переносить один в один?

Выборка — одна компания англоязычной поддержки ПО, ассистент на GPT-3 лишь подсказывал оператору, а внедрение шло поэтапно, а не как чистый случайный эксперимент. Большинство операторов работало с Филиппин, о чём напоминает доклад CERRE. Другая страна, язык и процессы — другой эффект, и это нормально.

Вторые источники подтверждают картину, а не раздувают её. Записка МВФ SDN/2024/001 «Gen-AI: Artificial Intelligence and the Future of Work» включает этот эксперимент в разбор влияния генеративного ИИ на труд, а доклад CERRE «Navigating the Revolution» (январь 2025) прямо фиксирует состав выборки: большинство операторов — с Филиппин, меньшие группы — из США и других стран.

Честная рамка такая: бенчмарк задаёт направление, а не обещание. Другая страна, другой язык, другие процессы — и цифра будет другой. Поэтому единственный по-настоящему переносимый вывод эксперимента — про формат (подсказчик у оператора, решение за человеком), а величину эффекта каждая компания меряет сама, на своих диалогах и своей метрике.

Когда связка «человек + ИИ» работает, а когда нет?

Мета-анализ 106 экспериментов в Nature Human Behaviour (2024) даёт честный итог: в среднем связка хуже лучшего из двух по отдельности (g = −0,23), но лучше человека в одиночку (g = +0,64). В задачах решений связка проигрывает (g = −0,27), в создании контента — выигрывает. Вывод: роли надо распределять по задаче.

Разложим врезку полностью. В базу вошли 106 экспериментов и 370 эффектов за 2020 — июнь 2023 года. Средний эффект связки против лучшего из двух по отдельности — g = −0,23 при интервале от −0,39 до −0,07: в среднем пара «человек + ИИ» не дотягивает до сильнейшего участника. Но против человека в одиночку связка уверенно выигрывает: g = +0,64.

Дальше — по типам задач. В принятии решений связка проигрывает: g = −0,27. В создании контента — выигрывает, хотя и скромно: g = +0,19, эффект статистически незначимый. И важная деталь: когда в паре сильнее человек, синергия положительная (g = +0,46), а когда сильнее модель — отрицательная (g = −0,54). Разброс между исследованиями огромный (I² = 97,7%).

Ограничения честно указаны авторами: работы в основном до бума генеративных моделей, и более чем в 95% случаев финальное решение принимал человек. Лишь три эксперимента заранее делили подзадачи между человеком и моделью. Вывод для первой линии прямой: не сваливать всё в одну кучу, а распределять роли по задаче — типовое и скоростное модели, решение и ответственность человеку.

Почему даже сильный голосовой агент пока работает с человеком?

Свежий снимок лидерборда taubench.com (12.10.2026): лидеры текстового τ²-bench держат 85,4–87,9%, а лучший голосовой агент трека τ³-Voice — 81,7%. То есть примерно каждая пятая голосовая задача провалена. По-казахски добавляется распознавание: ошибка 6,3% на чтении и 36,8% на спонтанной речи. Поэтому человек остаётся в контуре: агент ведёт диалог, а сложное передаёт сотруднику.

Полезен контекст. На момент статьи τ²-bench лидеры держали лишь 34–49% в телекоме, а режим, где действует и клиент, срезал результат на 18–25%. Старые домены с тех пор сильно выросли, но Sierra в ответ добавила тяжёлые треки — банковский с базой знаний и голосовой, где лидеры держат 55–82%. В феврале 2026 авторы исправили более 50 задач, поэтому старые и новые баллы напрямую не сравнимы.

Для Казахстана вывод прямой: смешанная речь и спонтанность — нормальный рабочий режим, а не исключение. Агент ведёт диалог и готовит черновик, а всё, что он расслышал неуверенно или что пахнет спором и деньгами, уходит человеку. Так ошибки ловятся до клиента, а не после.

Как усилить первую линию, не заменяя команду?

Формула из исследований одна: модель берёт типовое и скоростное, человек — решения, деньги и сложные случаи. В аитоматон это чат-агент на первой линии, голосовой агент на входящих и платформа как общий контур. Спорное всегда уходит сотруднику с сутью вопроса. Никаких обещаний процентов: эффект меряем на ваших диалогах.

На практике это выглядит так. Первая линия — типовые вопросы, уточнения, запись и маршрутизация — уходит ИИ-агенту в чатах: он отвечает за секунды и готовит карточку с историей. Входящие звонки берёт голосовой агент, а всё сходится в платформе: каждый диалог привязан к сделке, у каждого виден ответственный и вся история.

1. Отдайте агенту типовоеЧастые вопросы, уточнения, запись и маршрутизация: что повторяется каждый день, то первым уходит агенту.
2. Опишите границуДеньги, скидки, возвраты и споры — только человек. Агент передаёт такие обращения сотруднику с именем клиента и сутью вопроса.
3. Включите человека в контурСотрудник проверяет сложное, журнал показывает, кто писал: агент или человек. Ответственность всегда на людях.
4. Меряйте на своих диалогахСчитайте свои решённые обращения в час, скорость и качество до и после. Сколько стоит один пропущенный звонок, помогает прикинуть наш калькулятор в рубрике «Полезное».

Итог простой. Эксперимент на пяти тысячах операторов — аргумент за усиление, а не за замену: подсказчик рядом с человеком даёт больше, чем автопилот вместо него. Роли делятся по задаче, границы — по ответственности, а эффект — меряется на своих данных, а не занимается из чужих статей.