Бес мың оператор қатысқан тәжірибеде нақты не өлшенді?
Зерттеушілер чат-қолдау операторларына GPT-3 негізіндегі ассистентті қосты: ол диалогты қадағалап, жауаптар ұсынды, ал оператор жіберуді, түзетуді немесе ескермеуді шешті. Негізгі көрсеткіш — сағатына шешілген өтініштер саны. Журналдық таңдамада бір ірі бағдарламалық жасақтама компаниясының 5 172 операторы қамтылды.
Тәжірибе форматы қарапайым: бір ғана чат кезегі, бірдей клиенттер, жалғыз айырмашылық — кейбір операторлардың жанында ИИ-кеңесші болды. Оператор әрбір әңгіме үшін жауапты болып қалды. Дәл осы себепті нәтиже адамдарды алмастыру емес, команданы күшейту ретінде бағаланады.
Тәжірибені қолдану үшін маңыздысы: бұл ағылшын тілді бағдарламалық қолдау көрсету компаниясы болды, ассистент клиентке өзі жауап берген жоқ. Әрі қарай кімге көбірек көмектескенін және сандарды неге бірден көшіруге болмайтынын талдаймыз.
Қашан чаттар кезегі ұлғайып, жаңа мамандар қарапайым сұрақтарда кідіріп, тәжірибелілер бір нәрсені қайталауға сағаттарын жұмсағанда, мен қалаймын әр қызметкерге ИИ-көмекші беріп, оның нақты өнімділікке қалай әсер ететінін білу, сонда қосымша қызметкер алмай команданы күшейту және жауапкершілікті мамандарға қалдыру.
Сіздің міндетіңізбен байланысыБұл клиентпен автопилот емес, оператордың қасындағы көмекшінің нәтижесі. Сіздің нәтижеңіз өз диалогтарыңызда анықталады.
Сіздің міндетіңізбен байланысыЖұп автоматты түрде жеңбейді, тек рөлдер нақты бөлінгенде ғана ұтады: қарапайым іс — модельге, шешім — адамға.
Сіздің міндетіңізбен байланысыДауыстық агент мықты болғанымен, адамның көмегін қажет етеді — біздің жүйе де осылай құрылған.
Кімге көбірек көмектесті: жаңадан келгендерге ме, әлде тәжірибелілерге ме?
Журналдық нұсқа өнімділіктің әртүрлі болғанын көрсетеді: тәжірибесі аз операторлар жылдамдықты да, жауап сапасын да арттырды. Ал тәжірибелі мамандарда жылдамдық аз ғана өсіп, сапа сәл төмендеді — дайын кеңестер олардың күшті тұстарын орташа деңгейге түсірді.
| Топ | Не өзгерді | Команда үшін маңызы |
|---|---|---|
| Тәжірибесі аздар | Жылдамдық та, сапа да өсті | Көмекші жаңа маманды команда деңгейіне тезірек жеткізеді |
| Тәжірибелілер | Жылдамдық сәл өсті, сапа шамалы кеміді | Дайын жауаптар олардың жеке шешімдерінен кейде төмен |
| Жалпы таңдама | Сағатына +15% шешілген өтініш | Орташа сан әртүрлі әсерлерден құралады |
Орташа +15% — бұл жиынтық көрсеткіш. Жаңа маман ассистентпен тез жұмыс ырғағына енеді, ал мықты оператордың шешімдері дайын қалыптардан жоғары тұрады. Сондықтан тек орташа санға қарау негізгі факторды — тәжірибе мен бастапқы деңгейді ескермеуге әкеледі.
Біздің пікірімізше, мұнда құпия жоқ: кеңестер команданың тәжірибесін оны әлі жинамағандарға береді, ал өзіндік тәсілі бар шеберлерге көп нәрсе қоса алмайды. Қорытынды қарапайым: көмекші жаңа қызметкерлерді оқытуда өте пайдалы, ал тәжірибелілер үшін күнделікті шаршауды азайтады.
Неліктен бұл сандарды бірден көшіруге болмайды?
Таңдама — ағылшын тіліндегі бағдарламалық қамтамасыз етуге қызмет көрсететін бір ғана компания, ассистент тек бағыт беріп отырды. Операторлардың көпшілігі Филиппинде жұмыс істеді, бұл туралы CERRE баяндамасында айтылған. Басқа ел мен тілдік орта басқа нәтиже көрсетеді.
Халықаралық валюта қорының SDN/2024/001 сараптамалық жазбасы бұл экспериментті генеративті ИИ-дің еңбекке әсеріне арналған шолуына қосты, ал CERRE баяндамасы таңдаманың құрамын ресми растады.
Чаттар кезегі көбейіп, жаңа мамандар баяу жұмыс істейді, ал жаңа қызметкерлерді жалдау өте қымбатқа түседі.
Оператор қасындағы көмекші: стандартты сұрақтар тез шешіледі, жаңа мамандар жедел үйренеді, тәжірибеде — сағатына +15% өсім.
«Бізде басқа тіл және басқа клиенттер — жұмыс істемей қалса қайтеміз». Орынды сауал: нақты әсерді өз диалогтарыңызда сынау керек.
«Операторлар осылай да үлгеріп жүр». Үлгереді, бірақ тәжірибелі мамандардың шаршауы мен ұзақ кезек есебінен.
Бенчмарк нақты уәде емес, бағыт береді. Басқа тіл мен процестерде нақты көрсеткіш өзгереді. Сондықтан эксперименттің ең басты қорытындысы — форматта: көмекші оператордың қасында, шешім адамда, ал нақты өсімді әр компания өзі өлшейді.
«Адам + ИИ» жұбы қашан нәтижелі, ал қашан нәтижесіз?
Nature Human Behaviour (2024) журналындағы 106 эксперименттің мета-талдауы мынаны анықтады: орта есеппен жұп ең үздік жеке қатысушыдан төмен (g = −0,23), күрделі шешім қабылдауда ұтылады (g = −0,27), бірақ жалғыз адамнан әлдеқайда озады (g = +0,64). Мазмұн жасауда жұп айқын артықшылыққа ие.
Қорытынды: міндеттерді дұрыс бөлу қажет. Модель жылдам жауап пен кең ақпарат береді, ал қызметкер шешім қабылдайды, эмоцияны сезінеді және жауап береді.
Неліктен тіпті күшті дауыстық агент адаммен бірге жұмыс істейді?
Зерттеулер көрсеткендей, сөйлеу модельдері дамып келеді, бірақ нақты телефон сөйлесуінде адамның бақылауы аса маңызды.
Мәтіндік τ²-bench
Қолдау агенті мен модель арасындағы көпқадамды диалогтарды бағалайды. Табыс — жүйенің нақты нәтижеге жетуі, бұл бөлшек сауда, авиация және телекомдағы шынайы қиындықтарды сынайды.
Дауыстық τ³-Voice
Төрт домен бойынша дауыстық сынақ: көшбасшы 81,7% нәтиже көрсетті, яғни әрбір бесінші тапсырмада қателеседі. Шулар мен сөзді бөлу дауысты күрделендіреді.
Қазақша сөйлеу KSC2
1128 сағаттан астам ауқымды ашық корпус. Мәтінді оқу кезінде қателік 6,3% болса, спонтанды сөйлесуде 36,8%-ға дейін жетеді. Сондықтан адамның қатысуы міндетті.
Қазақстан үшін аралас сөйлеу мен спонтандылық — қалыпты жұмыс жағдайы. Агент диалогты бастап, қарапайым сұрақты шешеді, ал күмәнді немесе даулы тұстар бірден қызметкерге беріледі.
Команданы ауыстырмай, бірінші желіні қалай күшейтуге болады?
Ғылыми формула біреу: модельге жылдам әрі стандартты өтініштер, адамға шешімдер мен күрделі жағдайлар беріледі. Аитоматон жүйесінде бұл чат-агент, кіріс қоңырауларға арналған дауыстық агент және ортақ платформа арқылы жүзеге асады.
Іс жүзінде бұл келесідей жұмыс істейді. Қарапайым сұрақтар, жазылу және бағыттау чаттағы агентке жүктеледі: ол бірнеше секундта жауап беріп, клиент картасын толтырады. Қоңырауларды дауыстық агент қабылдайды, ал барлық тарих ортақ CRM-ге жиналады.
- Агентке стандартты тапсырмаларды беріңізЖиі қойылатын сұрақтар, жазылу және бағыттау: күнделікті қайталанатын істер бірінші болып агентке беріледі.
- Шектеулерді анықтаңызАқша, қайтару, жеңілдіктер және даулар тек адамның құзырында. Агент мәселенің мәнін жазып, қызметкерге бағыттайды.
- Адамды үнемі байланыста ұстаңызҚызметкер күрделі мәселені тексереді, журналда кім жазғаны анық көрінеді. Жауапкершілік әрқашан адамда.
- Өз диалогтарыңызда өлшеңізСағатына шешілген өтініштерді, жылдамдық пен сапаны енгізуге дейін және одан кейін өлшеп отырыңыз.
Күшейтілген бірінші желімен өтінішті өңдеу жолы
- КірісКлиент хабарласады
Кіріс өтініш ортақ жүйеге түседі, агент секунд ішінде жауап беріп, мәліметтерді нақтылайды.
- Есепке алуӘрбір байланыс жазылады
Диалог келісімшартпен және клиент карточкасымен байланысады: жауапты маман мен толық тарих көрінеді.
- Қайталама байланысДиалог ішінде еске салу
Еске салу тек басталған әңгіме аясында жүреді, суық базалар мен спам қолданылмайды.
- НәтижеҚорытынды жүйеде сақталады
Даулы мәселе маманға беріледі, соңғы нәтиже карточкада және каналдар талдауында көрінеді.
Бұл сіздің бизнесіңізге не береді
- Сан5 172 оператор арасында +15% сағаттық өсімБұл сіз үшін нені білдіредіКөмекші бірінші желіні жылдамдатады, жаңа мамандар тез үйренеді.аитоматон-да не жауап бередіЧат және дауыстық агент бірінші байланыста, күрделі істер адамда.ҚұндылықКоманда сол құраммен көбірек өтінішті сапалы жабады.
- Санg = −0,23: шекараларды сақтау маңыздыБұл сіз үшін нені білдіреді«Адам + ИИ» жұбы тек рөлдер нақты бөлінгенде ғана ұтады.аитоматон-да не жауап бередіАгенттің нақты шекарасы және мән-жайымен қызметкерге тапсыру.ҚұндылықМодель жылдамдықты береді, адам шешім мен жауапкершілікті сақтайды.
- СанАшық бақылау және тексеру журналыБұл сіз үшін нені білдіредіҚателіктер клиентке жетпей, ішкі бақылау деңгейінде ұсталады.аитоматон-да не жауап бередіБақылаудағы адам және кім жазғанын көрсететін ашық журнал.ҚұндылықСенімділік пен ресми талаптардың толық сақталуы.
Қорытынды қарапайым. Бес мың операторға жасалған эксперимент адамдарды алмастыруды емес, оларды күшейтуді дәлелдейді: адам қасындағы көмекші автопилоттан гөрі әлдеқайда көп пайда әкеледі. Рөлдер тапсырмаға қарай бөлінеді, ал нақты нәтиже өз диалогтарыңызда өлшенеді.