Дуплексті сөйлеу режимі классикалық каскадтан несімен ерекшеленеді?
Дәстүрлі дауыстық боттар жартылай дуплексті кезектесіп сөйлесу қағидаты бойынша жұмыс істейді: жүйе алдымен пайдаланушы сөзін аяқтағанша үнсіздікті тосады, аудионы мәтінге айналдырады, үлкен тілдік модельден (LLM) жауап күтеді және сөйлемді дыбыстауға (TTS) жібереді. Нәтижесінде кідіріс 1,4–2,5 секундқа дейін созылып, адамдарға роботтандырылған жасанды пауза сезімін тудырады және диалогтың 38%-ы үзілуіне әкеледі. Ал Full-Duplex Speech-to-Speech архитектуралары аудио ағынын бір мезгілде қабылдап, 160–320 мс ішінде жауап қайтарады.
Қашан классикалық дауыстық бот екі секундтық кідірістермен клиенттердің ашуын тудырғанда, мен қалаймын 250 миллисекундтық адам тәрізді жылдам реакциясы бар тікелей дуплексті модельді енгізу, сонда телефон арқылы жазылу конверсиясын арттыру, қоңырауларды үзуді жою және қызмет көрсету уақытын қысқарту үшін.
Сіздің міндетіңізбен байланысыДыбысты тікелей өңдеу телефон арқылы сөйлесу кезіндегі жасанды кідірістерді жойып, роботпен байланысты тәжірибелі әкімшімен диалогтан ажырағысыз етеді.
Сіздің міндетіңізбен байланысыАшық модельдер аса жылдам Speech-to-Speech инференсін Қазақстан аумағындағы оқшауланған жеке серверлерде орнатуға мүмкіндік береді.
Ескі дауыстық роботтардың 2 секундтық жасанды үзілістері клиенттерді ашуландырып, сату қоңырауларының үзілуіне әкеледі.
Тікелей Speech-to-Speech модельдері табиғи адамдар арасындағы сөйлесу қарқынын қамтамасыз етіп, сату конверсиясын 24%-ға арттырады.
Қорқыныш: сөйлесушілердің бір мезгілде сөйлеуі кезіндегі акустикалық жаңғырық және жеке деректерді қорғау заңнамасының бұзылу қаупі.
Бұрынғы буынның IVR сценарийлері мен қарабайыр боттарына мәжбүрлі көну әдеті.
Сквозной Speech-to-Speech модельдерінің негізгі архитектуралық қағидаттары қандай?
Тікелей дуплексті архитектуралар нейрожелілік аудиокодектер мен көп ағынды трансформаторларды біріктіреді. Кіріс дыбыс ағыны интонация мен эмоциялық бояуды жоғалтпай, ақпаратты сығу арқылы үздіксіз фреймдерге квантталады. Модель ішкі монологтың мәтіндік токендерін бір мезгілде болжап, шығыс квантталған аудиотокендердің параллель ағынын жасайды, соның арқасында жүйе пайдаланушының сөзді бөлуін лезде ұстап, сөзді санаулы ондаған миллисекундта тоқтатады.
Толық дуплексті тікелей тракттың жұмыс қағидаты
- КірісҮздіксіз аудиокіріс (Audio Stream)
Телефон арнасынан 24 кГц жиіліктегі абонент дыбысы қатаң фраздық бөлшектеусіз Mimi/SoundStream нейрокодегіне үздіксіз түседі.
- Есепке алуАудиотокендерге кванттау (RVQ)
Аудиосигнал векторлық кванттау (Residual Vector Quantization) арқылы просодия мен тембрді сақтай отырып, секундына 12,5–25 фрейм жиілігімен жинақы токендерге сығылады.
- Қайталама байланысКөп ағынды Dual-Stream LLM
Модельдің трансформаторлық негізі пайдаланушының аудиотокендерін қатар оқиды және екі ағынды есептейді: ішкі мәтіндік монолог және шығыс квантталған аудиотокендер.
- НәтижеАудиосинтез және barge-in реакциясы
Нейрокодек декодері токендерді аналогтық PCM-ағынға айналдырады. Абонент дауысы пайда болған кезде модель 50–90 мс ішінде шығыс ағын генерациясын тоқтатады.
Full-Duplex негізгі технологиялық тұжырымдамалары:
- Neural Audio Codecs (Нейрожелілік аудиокодектер): Классикалық қысу алгоритмдерінің (G.711, Opus) орнына Mimi (Kyutai) немесе EnCodec (Meta) сияқты терең архитектуралар қолданылады. Олар үздіксіз дыбысты акустикалық бөлшектерді, тыныс алу қарқынын және фондық контекстті сақтай отырып, дискретті токендерге айналдырады.
- Semantic Turn-Taking (Мағыналық кезек беру): Үнсіздікті қарабайыр күтудің орнына нейрожүйе ойдың аяқталуын болжайды. Егер абонент: «Маған сервиске жазылу керек… э-э-э… бейсенбіде» десе, модель «э-э-э» одағайынан кейін ойлану кідірісі бар екенін түсініп, клиенттің сөзін бөлмейді.
- Barge-In Latency (Сөзді бөлуге жауап беру кідірісі): Клиент «Тоқтаңыз», «Күте тұрыңыз» деген сәтте жүйенің дереу үндемей қалу қабілеті. Озық дуплексті модельдерде сөзді бөлу реакциясы каскадты боттардағы 800+ мс-қа қарсы небәрі 60–100 мс уақыт алады.
Қай full-duplex модельдері кідіріс пен сапа бенчмарктері бойынша көш бастап тұр?
Тәуелсіз құрал-саймандық өлшеулер жасанды интеллекттің әлемдік нарығындағы негізгі архитектураларды ерекшелейді: Google Gemini 2.0 Flash Live, OpenAI Realtime, еуропалық Kyutai Moshi моделі және Adventists AI ұсынған ашық Sophon-Realtime-v1. Әрбір шешім бірінші аудиотокеннің жауап беру жылдамдығы, сарказм мен күлкіні тану, сыртқы құралдарды қолдау және жабық контурда жергілікті орнату мүмкіндігі арасында өзіндік теңгерімге ие.
Gemini 2.0 Flash Live API
Google DeepMind ұсынған жылдамдық пен мультимодальділік флагманы.
- Бірінші аудиобайт кідірісі (TTFB): WebSocket хаттамасы бойынша 220–320 мс.
- Контексттік терезе: 1 048 576 токен (индустрия рекорды).
- Хаттамалар: Bidirectional WebSockets, камерадан немесе экраннан бір мезгілде аудио және бейне қабылдау.
- Ерекшеліктері: Дауысты құру барысында функцияларды шақыруды (Function Calling) нативті қолдау, қазақ және орыс тілдерін мінсіз меңгеру, эмоционалдық реңктерді тікелей түсіну.
- Тарифтік ауқым: 1M кіріс токені үшін $0.075 бастап — бұлтты көшбасшылар арасындағы ең үнемді шешім.
OpenAI Realtime API (GPT-4o Audio)
Коммерциялық WebRTC дауыстық интерфейсінің ізашары.
- Бірінші аудиобайт кідірісі (TTFB): 280–420 мс.
- Контексттік терезе: 128 000 токен.
- Хаттамалар: Серверлік жағынан WebRTC және WebSocket байланыстары.
- Ерекшеліктері: OpenAI экожүйесімен үздіксіз интеграция, мінсіз ағылшын тілі, реңктер мен екпіндерді тану.
- Шектеулері: Жоғары құны (кіріс аудиосы минутына ~$0.06 және шығыс аудиосы үшін ~$0.24), қатаң проприетарлық бұлттық контур.
Sophon-Realtime-v1 (Adventists AI 32B)
Ашық бастапқы кодын ұсынған сөйлеудің full-duplex флагманы (Apache 2.0).
- Паралингвистика бойынша көшбасшылық: LISTEN, StressTest және MSPB көрсеткіштері бойынша 48.6 балл жинап, Gemini 3.8 Flash (46.9) пен Qwen3-Omni-ден (44.6) озып бірінші орын алды.
- Вербальды емес белгілерді қабылдау және дыбыстау: Күмән тудыратын сөздерді («э-э», «хм»), күрсіністерді, логикалық екпіндерді, сарказм мен күлкіні ұстайды. Мәтіндік тегтерді жай оқып шығудың орнына табиғи түрде күледі, үзілістер жасайды және күрсінеді.
- Бизнестің әртүрлі міндеттеріне арналған үш нұсқа:
- Tag (мәнерлілік): экспрессивті дыбыстау моделі бар тегтелген дыбыстық токендер (NVV-SuperBench 0.86/0.80, TTFT audio ~0.6 с, 80 ГБ GPU-да 16 сессия).
- Flash (ауқым мен автоөндіріс): бір 80 ГБ картада 40 бір мезгілдегі қоңырауды қолдай отырып, бірінші аудионың кідірісі рекордтық 0.31 секундқа дейін қысқартылған.
- E2E (эксперимент): бөлек сөйлеу модулінсіз біртұтас матрица ішіндегі тікелей дыбыс синтезі.
- Сөйлеу бенчмарктері мен құралдар: VoiceBench 82.8 және Big Bench Audio 81.8% (жабық GPT-4o-mini-Audio деңгейінде). Full-Duplex-Bench v3 Pass@1 48% (Grok-тан 43% жоғары).
- Қазақстанда орнату: vLLM-Omni үшін оңтайландырылған, сыртқы API тәуелділіктерінсіз бір 1x NVIDIA A100/H100 80GB картасында бір консольдық командамен іске қосылады.
Kyutai Moshi (On-Premise 7B)
Әлемдегі алғашқы толықтай ашық тікелей сөйлеу моделі (CC-BY 4.0).
- Бірінші аудиобайт кідірісі (TTFB): 160–220 мс (жергілікті архитектуралар арасындағы рекорд).
- Негізгі трансформатор: Helium 7B + Mimi аудиокодегі (12.5 Гц).
- Орнату: 1x NVIDIA A100 (80GB) немесе L40S-те On-Premise.
- Ерекшеліктері: Бұлттық провайдерлерден толық тәуелсіздік, токендер үшін абоненттік төлемнің болмауы, ҚР «Дербес деректер және оларды қорғау туралы» № 94-V Заңын толық сақтау.
- Шектеулері: Жеке GPU инфрақұрылымын және қазақ тілі корпусына бейімдеуді қажет етеді.
Дуплексті архитектуралардың салыстырмалы кестесі:
| Салыстыру параметрі | Gemini 2.0 Flash Live | OpenAI Realtime API | Sophon-Realtime-v1 (32B) | Kyutai Moshi (On-Prem) | Дәстүрлі каскад |
|---|---|---|---|---|---|
| Медианалық кідіріс (TTFB) | 220–320 мс | 280–420 мс | 310–600 мс (Flash: 0.31 с) | 160–220 мс | 1400–2200 мс |
| Сөзді бөлуге реакция | 60–90 мс | 80–120 мс | 50–70 мс (лезде barge-in) | 50–80 мс | 600–1200 мс |
| Контексттік жады / база | 1 048 576 токен | 128 000 токен | 32B Dual-Stream (vLLM-Omni) | 4 096 фрейм | 8 000 – 128 000 |
| Сарказм мен күлкіні түсіну | Орташа (мәтіндік) | Жоғары (просодия) | Көшбасшы: DuplexJev 48.6 б. | Базалық | Жоқ |
| Вербальды емес реакцияны дыбыстау | Жартылай | Жоғары | Табиғи күлкі, күрсініс (0.86) | Минималды | Мәтінді дауыстап оқу |
| Лицензия және ҚР-да On-Premise | Проприетарлы Cloud | Проприетарлы Cloud | Apache 2.0 (1x A100/H100 80GB) | CC-BY 4.0 (On-Premise) | Вендорларға байланысты |
| 80 ГБ GPU-дағы сыйымдылық | Бұлттық кластер | Бұлттық кластер | 40 бір мезгілдегі желіге дейін | 1 сессия (батчинг) | CPU/GPU кластер |
| Минутының өзіндік құны | ~$0.04–0.06 | ~$0.08–0.15 | 0 ₸ (меншікті GPU) | 0 ₸ (меншікті GPU) | ~$0.02–0.04 |
Sophon-дағы DuplexJev модулі дауыстық боттардың эмоционалды саңыраулық мәселесін қалай шешеді?
Классикалық дауыстық көмекшілер эмоционалдық саңыраулықтан зардап шегеді: олар дыбысты құрғақ мәтінге айналдырып, вербалды емес ақпараттың 70%-на дейін жоғалтады. Егер клиент мысқылмен «Әрине, керемет!» деп жауап берсе, ескі бот мұны шынайы ризашылық деп қабылдайды.
Adventists AI ұсынған Sophon-Realtime-v1 архитектурасы DuplexJev арнайы аудио-шешімдер қабылдау модулін қамтиды. Ол акустикалық спектрді, тыныс алудағы микропаузаларды, регистрдің ауысуын және дауыс вибратосын үздіксіз талдайды. Осының арқасында модель сөйлесушінің сарказмын, сенімсіздігін («хм», «э-э-э») немесе күлкісін дәл анықтайды. LISTEN, StressTest және MSPB паралингвистикалық тану бенчмарктерінде модель 48.6 балл рекордтық нәтиже көрсетіп, барлық баламалардан озып шықты.
Бұл ретте Tag нұсқасында модель вербалды емес реакцияларды физиологиялық тұрғыдан дұрыс дыбыстайды: егер клиент әзілдесе, Sophon жауап ретінде табиғи түрде күледі немесе шағым айтылғанда күрсінеді. Аитоматон платформасында біз автодилерлер мен клиникалардың жоғары жүктемелі желілері үшін Flash жинағын (NVIDIA H100 80GB картасында 40 бір мезгілде қоңырау) орнатамыз, бұл 310 мс жылдамдықпен жанды диалогты қамтамасыз етеді.
Дуплексті жүйелердің техникалық артықшылықтары мен жасырын тәуекелдері қандай?
Тікелей сөйлеу интерфейсін енгізу сөйлесушінің диалогты табиғи қабылдауы арқасында телефон арқылы сату конверсиясын күрт арттырады. Клиенттер роботтандырылған үзілісті сезбейді және еркін сөйлеседі. Дегенмен, бұл технология операторлардың телефондық жаңғырығын акустикалық сүзгілеуді, шулы ортадағы дыбыстық галлюцинациялардан қорғауды және қоңыраулар көп болған кезде бұлттық аудиотокендердің құнын ескеруді талап етеді.
Техникалық артықшылықтары:
- Табиғи диалог қарқыны: 200–300 мс шегіндегі жауап кідірісі адамдар арасындағы сөйлесу кезіндегі ыңғайлы үзіліске сәйкес келеді және «ыңғайсыз үнсіздік» синдромын жояды.
- Акустикалық контекст: Модель абоненттің эмоционалдық жай-күйін (ашулану, асығу, сенімсіздік) естиді және мәтіндік сезім талдауын қажет етпей, жауап тоналдылығын автоматты түрде бейімдейді.
- Үздіксіз сөзді бөлу (Barge-in): Абонент келісім-шарт шарттарының ұзақ оқылуын күтпестен, кез келген уақытта агентті түзете алады.
Жасырын инженерлік тәуекелдер және аитоматон-да оларды өтеу әдістері:
- Акустикалық жаңғырық және өзін-өзі бөлу: Егер абоненттің микрофоны немесе телефон шлюзі динамик дыбысын желіге қайтарса, модель өз дауысын клиенттің сөзі деп қабылдап, тоқтап қалуы мүмкін. аитоматон шешімі: Asterisk/FreePBX шлюзі деңгейінде аппараттық жаңғырықты басу (AEC) серверлік модулін енгізу.
- Фондық шу кезіндегі дыбыстық галлюцинациялар: Тұрақты ит үруі немесе көше шуы токендер декодерін жалған сөздер генерациялауға итермелеуі мүмкін. аитоматон шешімі: 16 кГц төмен және 7 кГц жоғары жиіліктерді кесетін гибридті спектралды фильтрлерді пайдалану.
- Бұлтты аудиотокендердің құны: OpenAI Realtime-ды айына 50 000 минут жүктемесі бар ірі байланыс орталығында пайдалану айына $10 000-нан астам шығын әкелуі мүмкін. аитоматон шешімі: Sophon-Realtime немесе Moshi негізінде меншікті On-Premise GPU серверлеріне көшу, бұл минут құнын нөлге дейін түсіреді.
Қазақстан мен ТМД-да егеменді қорғалған контурды қалай ұйымдастыруға болады?
Қазақстанның заңнамалық базасы, атап айтқанда ҚР «Дербес деректер және оларды қорғау туралы» № 94-V Заңы сөйлесулердің жазбаларын, телефон нөмірлерін және тұтынушылар туралы кез келген сәйкестендіру деректерін мемлекет аумағында сақтауды міндеттейді. Аудио ағынды шетелдік бұлттық API-ларға жіберу реттеуші органдар тарапынан айыппұлдар мен қызметті тоқтату қаупін тудырады.
Аитоматон контурының архитектуралық артықшылықтары:
- Астана және Алматыдағы On-Premise орнату: Біз Moshi және Sophon-Realtime ашық дуплексті модельдерін Қазақстанның ірі деректер орталықтарындағы (DataSpace, QazCloud, Kazakhtelecom) жеке немесе жалға алынған GPU серверлеріне (NVIDIA A100/H100) орнатамыз.
- Зияткерлік бағыттау: Құпия емес жалпы сұрақтар ресурстарды үнемдеу үшін жылдам Gemini 2.0 Flash Live бұлттық интерфейстеріне бағытталуы мүмкін, ал авторизацияланған медициналық немесе қаржылық операциялар толық жабық жергілікті контурға ауыстырылады.
- Телефониямен ресми интеграция: Қазақстандық байланыс операторларының (Beeline, Kcell, Tele2, Қазақтелеком) транктарына тікелей қосылу, ресми WhatsApp Business API интеграциясы және 1C:Кәсіпорын жүйелерімен синхрондау.
Бұл сіздің бизнесіңізге не береді
- СанКідіріс: каскадты контурда 1,8 секундБұл сіз үшін нені білдіредіКлиент жауапты күтіп, қайталап сұрайды және жасанды кідіріс үшін телефонды тастай салады.аитоматон-да не жауап бередіТікелей Speech-to-Speech модельдері (Gemini Live, Moshi, Realtime, Sophon Flash) 220–320 мс кідіріспен.ҚұндылықРоботтандырылған үзіліссіз табиғи диалог қарқыны.
- СанПаралингвистика: Sophon-да DuplexJev 48.6 баллБұл сіз үшін нені білдіредіАлдыңғы буын роботтары сарказм мен келісімді ажыратпай, клиенттердің ашуын тудырады.аитоматон-да не жауап бередіКүмән, күлкі, күрсіністі нативті қабылдау және мәнерлі табиғи дыбыстау.ҚұндылықСөйлесуші репликаларының эмоционалды астарын түсінетін жанды сенімді диалог.
- СанBarge-In: сөзді бөлуге 800+ мс реакцияБұл сіз үшін нені білдіредіКлиент қарсы сұрақ қойып жатқанда, робот сценарий бойынша сөйлеуді жалғастыра береді.аитоматон-да не жауап бередіSemantic Turn-Taking және дыбыс генерациясын 50–70 мс ішінде лезде тоқтату.ҚұндылықКлиент әңгіме барысын өзі басқарады және өз сұрақтарына дәл жауап алады.
- СанҚауіпсіздік: аудионы сыртқы бұлттарға жіберуБұл сіз үшін нені білдіредіҚР № 94-V Дербес деректерді жергіліктендіру туралы Заңын бұзу тәуекелі.аитоматон-да не жауап бередіАстана мен Алматы деректер орталықтарында Moshi және Sophon үлгілерін On-Premise орнату.ҚұндылықҚР заңнамасының талаптарын сақтау және коммерциялық құпияны толық қорғау.
Техникалық басшылыққа арналған түйіндеме:
- Каскадтар өткен күннің еншісінде: 1,5+ секундтық жауап кідірісі қазіргі сату үшін жарамсыз. Байланыс орталықтарының болашағы тікелей дуплексті Speech-to-Speech архитектураларында.
- Бенчмарк-бағдар: Коммерциялық желілердегі бірінші аудиобайттың мақсатты кідірісі 220–320 мс (Gemini Live / Realtime) немесе 160–220 мс (жергілікті Moshi) құрайды.
- Қауіпсіздік бірінші орында: Комплаенс талаптары жоғары компаниялар үшін ең оңтайлы шешім — серверлері Қазақстанда орналасқан аитоматон гибридті периметрі.