Аитоматон блогы · Бенчмарктер

Қолдаудың бірінші желісіндегі ИИ: 5 мың оператор тәжірибесі не көрсетті

Ассистент клиентке өзі жауап бермейді, операторға кеңес ұсынады. Журналдық сандарды, жұмыс өтілі бойынша әсердің таралуын және шектеулерді ресми дереккөздермен талдаймыз.

Кешкі уақыт. Чаттар кезегі өсуде, жаңадан келгендер қарапайым сұрақтарға жауап таба алмай жатыр, ал тәжірибелі мамандар бірдей мәселелерге уақыт жоғалтуда. Шешім — әр операторға ИИ-көмекші беру.

ҚысқашаТәжірибенің журналдық нұсқасында (QJE, 2025) GPT-3 негізіндегі ассистент 5 172 қолдау операторына кеңес берді: сағатына шешілген өтініштер саны орта есеппен 15%-ға өсті. Тәжірибесі аз мамандар жылдамдық пен сапаны арттырды, ал ең тәжірибелілерде сапа шамалы төмендеді. Бұл адамдарды алмастыру емес, команданы күшейту құралы: қорытындыларды өз деректеріңізде тексеру қажет.

Бес мың оператор қатысқан тәжірибеде нақты не өлшенді?

Зерттеушілер чат-қолдау операторларына GPT-3 негізіндегі ассистентті қосты: ол диалогты қадағалап, жауаптар ұсынды, ал оператор жіберуді, түзетуді немесе ескермеуді шешті. Негізгі көрсеткіш — сағатына шешілген өтініштер саны. Журналдық таңдамада бір ірі бағдарламалық жасақтама компаниясының 5 172 операторы қамтылды.

Тәжірибе форматы қарапайым: бір ғана чат кезегі, бірдей клиенттер, жалғыз айырмашылық — кейбір операторлардың жанында ИИ-кеңесші болды. Оператор әрбір әңгіме үшін жауапты болып қалды. Дәл осы себепті нәтиже адамдарды алмастыру емес, команданы күшейту ретінде бағаланады.

Тәжірибені қолдану үшін маңыздысы: бұл ағылшын тілді бағдарламалық қолдау көрсету компаниясы болды, ассистент клиентке өзі жауап берген жоқ. Әрі қарай кімге көбірек көмектескенін және сандарды неге бірден көшіруге болмайтынын талдаймыз.

Міндет · чатта клиенттерге қолдау көрсететін компания жетекшісі

Қашан чаттар кезегі ұлғайып, жаңа мамандар қарапайым сұрақтарда кідіріп, тәжірибелілер бір нәрсені қайталауға сағаттарын жұмсағанда, мен қалаймын әр қызметкерге ИИ-көмекші беріп, оның нақты өнімділікке қалай әсер ететінін білу, сонда қосымша қызметкер алмай команданы күшейту және жауапкершілікті мамандарға қалдыру.

+15%
сағатына шешілген өтініштер: 5 172 оператор қатысқан QJE журналындағы орташа өсімQJE 140(2) / NBER WP 31161 · 2025-05

Сіздің міндетіңізбен байланысыБұл клиентпен автопилот емес, оператордың қасындағы көмекшінің нәтижесі. Сіздің нәтижеңіз өз диалогтарыңызда анықталады.

g = −0,23
«адам + ИИ» жұбы ең үздік жеке орындаушыдан төмен; бірақ жалғыз адамнан әлдеқайда жоғары (g = +0,64)Nature Human Behaviour 2024 · 2024-10-28

Сіздің міндетіңізбен байланысыЖұп автоматты түрде жеңбейді, тек рөлдер нақты бөлінгенде ғана ұтады: қарапайым іс — модельге, шешім — адамға.

81,7%
τ³-Voice дауыстық трегінің көшбасшысы: шамамен әрбір бесінші міндет орындалмайдыtaubench.com · 2026-10-12

Сіздің міндетіңізбен байланысыДауыстық агент мықты болғанымен, адамның көмегін қажет етеді — біздің жүйе де осылай құрылған.

Кімге көбірек көмектесті: жаңадан келгендерге ме, әлде тәжірибелілерге ме?

Журналдық нұсқа өнімділіктің әртүрлі болғанын көрсетеді: тәжірибесі аз операторлар жылдамдықты да, жауап сапасын да арттырды. Ал тәжірибелі мамандарда жылдамдық аз ғана өсіп, сапа сәл төмендеді — дайын кеңестер олардың күшті тұстарын орташа деңгейге түсірді.

Топ Не өзгерді Команда үшін маңызы
Тәжірибесі аздар Жылдамдық та, сапа да өсті Көмекші жаңа маманды команда деңгейіне тезірек жеткізеді
Тәжірибелілер Жылдамдық сәл өсті, сапа шамалы кеміді Дайын жауаптар олардың жеке шешімдерінен кейде төмен
Жалпы таңдама Сағатына +15% шешілген өтініш Орташа сан әртүрлі әсерлерден құралады

Орташа +15% — бұл жиынтық көрсеткіш. Жаңа маман ассистентпен тез жұмыс ырғағына енеді, ал мықты оператордың шешімдері дайын қалыптардан жоғары тұрады. Сондықтан тек орташа санға қарау негізгі факторды — тәжірибе мен бастапқы деңгейді ескермеуге әкеледі.

Біздің пікірімізше, мұнда құпия жоқ: кеңестер команданың тәжірибесін оны әлі жинамағандарға береді, ал өзіндік тәсілі бар шеберлерге көп нәрсе қоса алмайды. Қорытынды қарапайым: көмекші жаңа қызметкерлерді оқытуда өте пайдалы, ал тәжірибелілер үшін күнделікті шаршауды азайтады.

Неліктен бұл сандарды бірден көшіруге болмайды?

Таңдама — ағылшын тіліндегі бағдарламалық қамтамасыз етуге қызмет көрсететін бір ғана компания, ассистент тек бағыт беріп отырды. Операторлардың көпшілігі Филиппинде жұмыс істеді, бұл туралы CERRE баяндамасында айтылған. Басқа ел мен тілдік орта басқа нәтиже көрсетеді.

Халықаралық валюта қорының SDN/2024/001 сараптамалық жазбасы бұл экспериментті генеративті ИИ-дің еңбекке әсеріне арналған шолуына қосты, ал CERRE баяндамасы таңдаманың құрамын ресми растады.

Ескіден не итермелейді

Чаттар кезегі көбейіп, жаңа мамандар баяу жұмыс істейді, ал жаңа қызметкерлерді жалдау өте қымбатқа түседі.

Жаңаға не тартады

Оператор қасындағы көмекші: стандартты сұрақтар тез шешіледі, жаңа мамандар жедел үйренеді, тәжірибеде — сағатына +15% өсім.

Не мазалайды

«Бізде басқа тіл және басқа клиенттер — жұмыс істемей қалса қайтеміз». Орынды сауал: нақты әсерді өз диалогтарыңызда сынау керек.

Үйреншікті жолда не ұстайды

«Операторлар осылай да үлгеріп жүр». Үлгереді, бірақ тәжірибелі мамандардың шаршауы мен ұзақ кезек есебінен.

Бенчмарк нақты уәде емес, бағыт береді. Басқа тіл мен процестерде нақты көрсеткіш өзгереді. Сондықтан эксперименттің ең басты қорытындысы — форматта: көмекші оператордың қасында, шешім адамда, ал нақты өсімді әр компания өзі өлшейді.

«Адам + ИИ» жұбы қашан нәтижелі, ал қашан нәтижесіз?

Nature Human Behaviour (2024) журналындағы 106 эксперименттің мета-талдауы мынаны анықтады: орта есеппен жұп ең үздік жеке қатысушыдан төмен (g = −0,23), күрделі шешім қабылдауда ұтылады (g = −0,27), бірақ жалғыз адамнан әлдеқайда озады (g = +0,64). Мазмұн жасауда жұп айқын артықшылыққа ие.

Қорытынды: міндеттерді дұрыс бөлу қажет. Модель жылдам жауап пен кең ақпарат береді, ал қызметкер шешім қабылдайды, эмоцияны сезінеді және жауап береді.

Неліктен тіпті күшті дауыстық агент адаммен бірге жұмыс істейді?

Зерттеулер көрсеткендей, сөйлеу модельдері дамып келеді, бірақ нақты телефон сөйлесуінде адамның бақылауы аса маңызды.

Мәтіндік τ²-bench

Қолдау агенті мен модель арасындағы көпқадамды диалогтарды бағалайды. Табыс — жүйенің нақты нәтижеге жетуі, бұл бөлшек сауда, авиация және телекомдағы шынайы қиындықтарды сынайды.

Дауыстық τ³-Voice

Төрт домен бойынша дауыстық сынақ: көшбасшы 81,7% нәтиже көрсетті, яғни әрбір бесінші тапсырмада қателеседі. Шулар мен сөзді бөлу дауысты күрделендіреді.

Қазақша сөйлеу KSC2

1128 сағаттан астам ауқымды ашық корпус. Мәтінді оқу кезінде қателік 6,3% болса, спонтанды сөйлесуде 36,8%-ға дейін жетеді. Сондықтан адамның қатысуы міндетті.

Қазақстан үшін аралас сөйлеу мен спонтандылық — қалыпты жұмыс жағдайы. Агент диалогты бастап, қарапайым сұрақты шешеді, ал күмәнді немесе даулы тұстар бірден қызметкерге беріледі.

Команданы ауыстырмай, бірінші желіні қалай күшейтуге болады?

Ғылыми формула біреу: модельге жылдам әрі стандартты өтініштер, адамға шешімдер мен күрделі жағдайлар беріледі. Аитоматон жүйесінде бұл чат-агент, кіріс қоңырауларға арналған дауыстық агент және ортақ платформа арқылы жүзеге асады.

Іс жүзінде бұл келесідей жұмыс істейді. Қарапайым сұрақтар, жазылу және бағыттау чаттағы агентке жүктеледі: ол бірнеше секундта жауап беріп, клиент картасын толтырады. Қоңырауларды дауыстық агент қабылдайды, ал барлық тарих ортақ CRM-ге жиналады.

  1. Агентке стандартты тапсырмаларды беріңізЖиі қойылатын сұрақтар, жазылу және бағыттау: күнделікті қайталанатын істер бірінші болып агентке беріледі.
  2. Шектеулерді анықтаңызАқша, қайтару, жеңілдіктер және даулар тек адамның құзырында. Агент мәселенің мәнін жазып, қызметкерге бағыттайды.
  3. Адамды үнемі байланыста ұстаңызҚызметкер күрделі мәселені тексереді, журналда кім жазғаны анық көрінеді. Жауапкершілік әрқашан адамда.
  4. Өз диалогтарыңызда өлшеңізСағатына шешілген өтініштерді, жылдамдық пен сапаны енгізуге дейін және одан кейін өлшеп отырыңыз.

Күшейтілген бірінші желімен өтінішті өңдеу жолы

  1. КірісКлиент хабарласады

    Кіріс өтініш ортақ жүйеге түседі, агент секунд ішінде жауап беріп, мәліметтерді нақтылайды.

  2. Есепке алуӘрбір байланыс жазылады

    Диалог келісімшартпен және клиент карточкасымен байланысады: жауапты маман мен толық тарих көрінеді.

  3. Қайталама байланысДиалог ішінде еске салу

    Еске салу тек басталған әңгіме аясында жүреді, суық базалар мен спам қолданылмайды.

  4. НәтижеҚорытынды жүйеде сақталады

    Даулы мәселе маманға беріледі, соңғы нәтиже карточкада және каналдар талдауында көрінеді.

Бұл сіздің бизнесіңізге не береді

  1. Сан5 172 оператор арасында +15% сағаттық өсім
    Бұл сіз үшін нені білдіредіКөмекші бірінші желіні жылдамдатады, жаңа мамандар тез үйренеді.
    аитоматон-да не жауап бередіЧат және дауыстық агент бірінші байланыста, күрделі істер адамда.
    ҚұндылықКоманда сол құраммен көбірек өтінішті сапалы жабады.
  2. Санg = −0,23: шекараларды сақтау маңызды
    Бұл сіз үшін нені білдіреді«Адам + ИИ» жұбы тек рөлдер нақты бөлінгенде ғана ұтады.
    аитоматон-да не жауап бередіАгенттің нақты шекарасы және мән-жайымен қызметкерге тапсыру.
    ҚұндылықМодель жылдамдықты береді, адам шешім мен жауапкершілікті сақтайды.
  3. СанАшық бақылау және тексеру журналы
    Бұл сіз үшін нені білдіредіҚателіктер клиентке жетпей, ішкі бақылау деңгейінде ұсталады.
    аитоматон-да не жауап бередіБақылаудағы адам және кім жазғанын көрсететін ашық журнал.
    ҚұндылықСенімділік пен ресми талаптардың толық сақталуы.

Қорытынды қарапайым. Бес мың операторға жасалған эксперимент адамдарды алмастыруды емес, оларды күшейтуді дәлелдейді: адам қасындағы көмекші автопилоттан гөрі әлдеқайда көп пайда әкеледі. Рөлдер тапсырмаға қарай бөлінеді, ал нақты нәтиже өз диалогтарыңызда өлшенеді.

Жиі қойылатын сұрақтар

Бес мың қолдау операторына жүргізілген зерттеудің мәні неде?

Brynjolfsson, Li және Raymond зерттеуі: GPT-3 негізіндегі көмекші операторларға жауап нұсқаларын ұсынды, бірақ түпкілікті шешім адамда қалды. Журналдық нұсқада 5 172 оператор қатысып, сағатына шешілген сұрақтар 15%-ға артты.

ИИ көмекшісі кімге көбірек пайда әкелді — жаңадан келгендерге ме, әлде тәжірибелілерге ме?

Журналдық нұсқа бойынша тәжірибесі аз қызметкерлер жылдамдық пен сапаны қатар жақсартты. Ал үздік операторларда жылдамдық шамалы өсіп, сапа сәл төмендеді, себебі дайын үлгілер олардың дербес тәжірибесін теңестіріп жіберді.

Неліктен зерттеу нәтижелерін өз компанияма тікелей көшіруге болмайды?

Бұл бір ғана ағылшын тілді компания, ассистент тек кеңес берді, ал операторлардың көбі Филиппинде болды. Басқа ел мен тілде нәтиже басқаша болады: өз көрсеткіштеріңізді өз диалогтарыңызда өлшеу қажет.

«Адам + ИИ» жұбы қашан жеңіліске ұшырайды?

Nature Human Behaviour (2024) мета-талдауы бойынша жұп орта есеппен ең үздік жеке орындаушыдан төмен (g = −0,23), ал күрделі шешім қабылдауда ұтылады (g = −0,27). Дегенмен жалғыз адамнан әлдеқайда асып түседі (g = +0,64).

Дауыстық ИИ агенті қызметкерсіз толық жұмыс істей ала ма?

Әзірге жоқ. Дауыстық tau-Voice бағытының көшбасшысы 81,7% жинады, яғни әрбір бесінші міндет орындалмайды. Ал қазақша спонтанды сөйлеуді тану оқу мәтінінен әлдеқайда қиын. Сондықтан агент бастапқы байланысты жүргізіп, күрделісін адамға береді.

Бұл нәтижелер менің компаниям үшін нені білдіреді?

Ауыстыру емес, команданы күшейту: қарапайым әрі жылдам әрекеттер — модельге, шешімдер мен қаржы — адамдарға. Бірінші желіге бақыланатын агентті қосып, нақты өсімді өз деректеріңізде бақылаңыз.

Өз деректеріңізде көріңіз

Үш күн тегін немесе процесті талдаумен демо.

Жаңартылды:

Платформа демонстрациясына жазылу

ИИ-агенттердің бизнес-процестеріңізде қалай жұмыс істейтінін көрсетеміз, воронканы талдап, сұрақтарыңызға жауап береміз.