Dupleks nutq rejimi klassik kaskaddan nimasi bilan farq qiladi?
Anʼanaviy ovozli botlar yarim dupleks tamoyili boʻyicha ishlaydi: tizim avval foydalanuvchi gapirib boʻlishini kutadi, ovozni matnga aylantiradi, til modelidan javob kutadi va matnni nutqqa aylantirishga (TTS) yuboradi. Natijada kechikish 1,4–2,5 soniyagacha choʻzilib, mijozlarda noqulay sunʼiy pauza hissini uygʻotadi va qoʻngʻiroqlarning 38% ga yaqini uzilib qolishiga sabab boʻladi. Full-Duplex Speech-to-Speech arxitekturalari esa audio oqimni bir vaqtda qabul qilib, 160–320 ms ichida javob qaytaradi.
Qachon eski ovozli robot ikki soniyalik kechikishlar bilan mijozlarning gʻashiga tekkanida, men xohlayman 250 millisekundlik insoniy tezkor javobga ega toʻgʻridan-toʻgʻri dupleks modelni joriy etish, shunda telefon orqali yozilish konversiyasini oshirish, qoʻngʻiroqlar uzilishini bartaraf etish va xizmat vaqtini qisqartirish uchun.
Sizning vazifangiz bilan bogʻliqligiNutqni toʻgʻridan-toʻgʻri qayta ishlash sunʼiy pauzalarni bartaraf etib, robot bilan suhbatni professional boshqaruvchi darajasiga olib chiqadi.
Sizning vazifangiz bilan bogʻliqligiOchiq modellar oʻta tezkor Speech-to-Speech inferensini mustaqil serverlarda toʻliq xavfsiz oʻrnatish imkonini beradi.
Eski ovozli robotlarning 2 soniyalik sunʼiy kechikishlari mijozlarning gʻashiga tegib, sotuv qoʻngʻiroqlarini uzib qoʻyishiga olib keladi.
Toʻgʻridan-toʻgʻri Speech-to-Speech modellar insoniy tabiiy suhbat surʼatini taʼminlab, sotuv konversiyasini 24% ga oshiradi.
Xavotir: bir vaqtda gapirish paytidagi akustik aks-sado va shaxsiy maʼlumotlarni xorijiy bulutlarga uzatish xavfi.
Eski avlodning IVR menyulari va samarasiz ovozli botlariga chidash odati.
Speech-to-Speech modellarining asosiy arxitektura tamoyillari qanday?
Toʻgʻridan-toʻgʻri dupleks arxitekturalar neyrotarmoq audiokodeklari va koʻp oqimli transformatorlarni birlashtiradi. Kiruvchi ovoz oqimi intonatsiya va hissiy boʻyoqlarni yoʻqotmasdan uzluksiz freymlarga kvantlanadi. Model bir vaqtning oʻzida ichki matnli monologni bashorat qiladi va chiquvchi kvantlangan audio tokenlarning parallel oqimini yaratadi, buning natijasida tizim foydalanuvchining soʻzini boʻlishini bir zumda ilgʻab, millisekundlarda nutqni toʻxtatadi.
Toʻliq dupleks audio traktining ishlash printsipi
- KiruvchiUzluksiz audio kirish (Audio Stream)
Telefon kanalidan 24 kHz chastotadagi ovoz qat'iy bo'laklarsiz Mimi/SoundStream neyrokodekiga uzluksiz uzatiladi.
- HisobAudio tokenlarga kvantlash (RVQ)
Signal vektor kvantlash (RVQ) orqali tembr va intonatsiyani saqlab, soniyasiga 12,5–25 freym chastotasida ixcham tokenlarga siqiladi.
- Takroriy aloqaKo'p oqimli Dual-Stream LLM
Model asos transformatori audio tokenlarni o'qiydi va parallel ravishda ikkita oqimni hisoblaydi: ichki monolog va chiquvchi audio tokenlar.
- NatijaAudio sintezi va barge-in reaksiyasi
Kodek dekoderi tokenlarni PCM oqimiga aylantiradi. Ovoz paydo bo'lganda tizim 50–90 ms ichida chiquvchi nutqni to'xtatadi.
Full-Duplex tizimlarining asosiy texnologik konseptsiyalari:
- Neural Audio Codecs (Neyrotarmoq audiokodeklari): G.711 yoki Opus kabi eski siqish algoritmlari oʻrniga Mimi yoki EnCodec kabi chuqur arxitekturalar qoʻllaniladi. Ular tovushni akustik nozikliklari bilan diskret tokenlarga aylantiradi.
- Semantic Turn-Taking (Maʼnoli navbat almashish): Shunchaki sukunatni kutish oʻrniga, model fikrning tugallanganligini bashorat qiladi. Agar mijoz «Menga xizmatga yozilish kerak… hmm… payshanbaga» desa, model «hmm»dan keyin pauza borligini tushunadi va mijoz gapini boʻlmaydi.
- Barge-In Latency (Soʻzni boʻlishga javob berish kechikishi): Mijoz «Toʻxtang», «Kuting» degan zahoti tizimning jim boʻlish tezligi. Ilgʻor dupleks tizimlarda bu atigi 60–100 ms ni tashkil etadi.
Qaysi full-duplex modellar kechikish va sifat benchmarklarida yetakchilik qilmoqda?
Mustaqil testlar sunʼiy intellekt bozorida asosiy arxitekturalarni ajratib koʻrsatadi: Google Gemini 2.0 Flash Live, OpenAI Realtime, Kyutai Moshi va Adventists AI Sophon-Realtime-v1. Har bir yechim birinchi audio token kechikishi, kinoya va kulgini tushunish, tashqi vositalarni ulash va yopiq konturda oʻrnatish imkoniyatlari boʻyicha oʻz muvozanatiga ega.
Gemini 2.0 Flash Live API
Google DeepMind tomonidan taqdim etilgan tezlik va multimodal flagmani.
- Birinchi audio bayt kechikishi (TTFB): WebSocket orqali 220–320 ms.
- Kontekst oynasi: 1 048 576 token (soha rekordi).
- Protokollar: Bidirectional WebSockets, kamera va ekrandan bir vaqtda audio va video qabul qilish.
- Xususiyatlari: Ovoz yaratish jarayonida funksiyalarni chaqirish (Function Calling) imkoniyati, koʻp tillarni qoʻllab-quvvatlash.
- Tarif: 1M kiruvchi token uchun $0.075 dan boshlanadi — eng tejamkor bulutli yechimlardan biri.
OpenAI Realtime API (GPT-4o Audio)
Tijorat WebRTC ovozli interfeysining kashshofi.
- Birinchi audio bayt kechikishi (TTFB): 280–420 ms.
- Kontekst oynasi: 128 000 token.
- Protokollar: WebRTC va WebSocket ulanishlari.
- Xususiyatlari: OpenAI ekotizimi bilan mukammal integratsiya, ingliz tilidagi benuqson nutq.
- Cheklovlari: Yuqori narx (kiruvchi audio daqiqasiga ~$0.06 va chiquvchi uchun ~$0.24), yopiq bulutli kontur.
Sophon-Realtime-v1 (Adventists AI 32B)
Ochiq kodli nutq flagmani (Apache 2.0).
- Paralingvistika boʻyicha yetakchilik: LISTEN, StressTest va MSPB benchmarklarida 48.6 ball bilan birinchi oʻrinni egallab, Gemini 3.8 Flash (46.9) dan oʻzib ketdi.
- Nozik signallarni his qilish va ijro etish: Shubhalar («e-e», «hm»), xoʻrsinish, kinoya va kulgini his qiladi va ularga mos ravishda tabiiy kuladi yoki nafas oladi.
- Uch xil yigʻma:
- Tag: yuqori ifodalilik (NVV-SuperBench 0.86/0.80, TTFT audio ~0.6 s, 80 GB GPU da 16 seans).
- Flash: bitta 80 GB kartada 40 ta bir vaqtdagi qoʻngʻiroq va rekord 0.31 soniya kechikish.
- E2E: alohida nutq modulisiz toʻgʻridan-toʻgʻri sintez.
- Oʻrnatish: vLLM-Omni uchun moslashtirilgan, bitta NVIDIA A100/H100 80GB kartasida bitta buyruq bilan ishga tushadi.
Kyutai Moshi (On-Premise 7B)
Dunyodagi birinchi toʻliq ochiq toʻgʻridan-toʻgʻri nutq modeli (CC-BY 4.0).
- Birinchi audio bayt kechikishi (TTFB): 160–220 ms (mahalliy tizimlar orasida rekord).
- Asos transformator: Helium 7B + Mimi audiokodek (12.5 Hz).
- Oʻrnatish: 1x NVIDIA A100 (80GB) da On-Premise.
- Xususiyatlari: Bulut provayderlariga bogʻliqlik yoʻqligi, tokenlar uchun oylik toʻlovlarning yoʻqligi va maʼlumotlar xavfsizligi.
Dupleks arxitekturalarning qiyosiy jadvali:
| Solishtirish parametri | Gemini 2.0 Flash Live | OpenAI Realtime API | Sophon-Realtime-v1 (32B) | Kyutai Moshi (On-Prem) | Anʼanaviy kaskad |
|---|---|---|---|---|---|
| Median kechikish (TTFB) | 220–320 ms | 280–420 ms | 310–600 ms (Flash: 0.31 s) | 160–220 ms | 1400–2200 ms |
| Soʻzni boʻlishga reaksiya | 60–90 ms | 80–120 ms | 50–70 ms (lahzalik barge-in) | 50–80 ms | 600–1200 ms |
| Kontekst xotirasi | 1 048 576 token | 128 000 token | 32B Dual-Stream (vLLM-Omni) | 4 096 freym | 8 000 – 128 000 |
| Kinoya va kulgini tushunish | Oʻrtacha | Yuqori | Yetakchi: DuplexJev 48.6 b. | Boshlangʻich | Yoʻq |
| Hissiy reaksiyalarni ijro etish | Qisman | Yuqori | Tabiiy kulgi, nafas (0.86) | Minimal | Matnni mexanik oʻqish |
| Litsenziya va On-Premise | Propritar Cloud | Propritar Cloud | Apache 2.0 (1x A100/H100 80GB) | CC-BY 4.0 (On-Premise) | Sotuvchilarga bogʻliq |
| 80 GB GPU dagi zichlik | Bulut klasteri | Bulut klasteri | 40 gacha bir vaqtdagi liniya | 1 seans (batching) | CPU/GPU klasteri |
| Bir daqiqa tannarxi | ~$0.04–0.06 | ~$0.08–0.15 | 0 soʻm (oʻz serverlarida) | 0 soʻm (oʻz serverlarida) | ~$0.02–0.04 |
Sophon-dagi DuplexJev moduli hissiy sovuqlik muammosini qanday hal qiladi?
Klassik ovozli yordamchilar hissiy sovuqlikdan aziyat chekadi: ular tovushni quruq matnga aylantirib, noverbal maʼlumotlarning 70% ini yoʻqotadi. Agar mijoz istehzo bilan «Albatta, juda ajoyib!» desa, eski bot buni samimiy minnatdorchilik deb tushunadi.
Adventists AI tomonidan taqdim etilgan Sophon-Realtime-v1 arxitekturasi DuplexJev maxsus modulini oʻz ichiga oladi. U akustik spektrni, ovoz tebranishini va nafas olishdagi mikro pauzalarni doimiy tahlil qiladi. Buning sharofati bilan model suhbatdoshning kinoyasini, ikkilanishini («hm», «e-e») yoki kulgisini aniq belgilaydi. LISTEN, StressTest va MSPB benchmarklarida model 48.6 ballik rekord natija qayd etdi.
Tag yigʻmasida model hissiy reaksiyalarni tabiiy tarzda aks ettiradi: mijoz hazillashganda tabiiy ravishda kuladi yoki muammo aytilganda hamdardlik bilan nafas chiqaradi. Aitomaton platformasida biz yuqori yuklamali avtodilerlar va klinikalar uchun Flash yigʻmasini (NVIDIA H100 80GB kartasida 40 ta bir vaqtdagi liniya) joriy etib, 310 ms lik tezkor muloqotni taʼminlaymiz.
Dupleks tizimlarning texnik afzalliklari va yashirin xatarlari nimalardan iborat?
Toʻgʻridan-toʻgʻri nutq interfeysini joriy etish suhbatdosh tomonidan dialog tabiiy qabul qilinishi hisobiga telefon savdolarining konversiyasini sezilarli darajada oshiradi. Mijozlar robotlashtirilgan sunʼiy toʻxtalishlarni his qilmaydi va erkin gapiradi. Biroq, bu texnologiya aloqa operatorlarining aks-sadosini filtrlash, shovqinli muhitda audio gallyutsinatsiyalardan himoya qilish va qoʻngʻiroqlar koʻp boʻlganda bulutli tokenlar xarajatlarini hisobga olishni talab qiladi.
Texnik afzalliklari:
- Tabiiy suhbat surʼati: 200–300 ms oraligʻidagi javob kechikishi odamlar orasidagi odatiy pauzaga toʻliq mos keladi va noqulay sukunatni yoʻq qiladi.
- Akustik kontekst: Model mijozning hissiy holatini (asabiylashish, shoshilish, ishonchsizlik) eshitadi va matn tahlilisiz javob intonatsiyasini moslashtiradi.
- Soʻzni uzluksiz boʻlish (Barge-in): Foydalanuvchi shartnoma shartlarining uzoq oʻqilishini kutmasdan, istalgan soniyada agent gapini boʻlib, oʻzgartirish kiritishi mumkin.
Yashirin xatarlar va ularni aitomaton-da kompensatsiya qilish:
- Akustik aks-sado va oʻz gapini boʻlish: Agar dinamik ovozi mikrofonga qaytib tushsa, tizim oʻz ovozini mijoz ovozi deb oʻylab, toʻxtab qolishi mumkin. aitomaton yechimi: Asterisk/FreePBX darajasida apparat aks-sadoni pasaytirish (AEC) modulini joriy etish.
- Fon shovqinidagi audio gallyutsinatsiyalar: Koʻcha shovqini yoki bolalar ovozi dekoderni notoʻgʻri soʻzlar yaratishga undashi mumkin. aitomaton yechimi: 16 kHz dan past va 7 kHz dan yuqori chastotalarni kesuvchi gibrid filtrlardan foydalanish.
- Bulutli tokenlar narxi: Katta qoʻngʻiroqlar hajmida bulutli tizimlar juda qimmatga tushishi mumkin. aitomaton yechimi: Sophon yoki Moshi asosidagi On-Premise GPU infratuzilmasiga oʻtish orqali daqiqa tannarxini nolga tushirish.
Xavfsiz server konturini qanday tashkil etish kerak?
Mintaqaviy qonunchilik talablari, shu jumladan shaxsiy maʼlumotlarni himoya qilish toʻgʻrisidagi normalar qoʻngʻiroq yozuvlari, telefon raqamlari va identifikatsiya maʼlumotlarini mamlakat hududidagi serverlarda saqlashni talab etadi. Ovoz oqimini chet el bulutlariga uzatish qonuniy jarimalar va xavflarni keltirib chiqaradi.
Aitomaton konturining arxitektura afzalliklari:
- On-Premise oʻrnatish: Biz Moshi va Sophon-Realtime ochiq dupleks modellarini mahalliy maʼlumotlar markazlaridagi shaxsiy yoki ijaraga olingan GPU serverlariga (NVIDIA A100/H100) oʻrnatamiz.
- Intellektual marshrutlash: Maxfiy boʻlmagan umumiy savollar resurslarni tejash uchun tezkor bulutli interfeyslarga yoʻnaltirilishi mumkin, bank va tibbiy operatsiyalar esa toʻliq yopiq ichki konturda amalga oshiriladi.
- Rasmiy telefoniya integratsiyasi: Aloqa operatorlari trunklariga toʻgʻridan-toʻgʻri ulanish, rasmiy WhatsApp Business API va 1C tizimlari bilan toʻliq sinxronizatsiya.
Bu biznesingizga nima beradi
- RaqamKechikish: kaskadda 1,8 soniyaBu siz uchun nimani anglatadiMijoz javobni kutadi, qayta so'raydi va sun'iy pauzalar sababli go'shakni qo'yadi.aitomaton-da nima javob beradiTo'g'ridan-to'g'ri Speech-to-Speech modellar (Gemini Live, Moshi, Realtime, Sophon Flash) 220–320 ms kechikish bilan.QiymatRobotlashtirilgan to'xtalishlarsiz tabiiy suhbat sur'ati.
- RaqamParalingvistika: Sophon-da DuplexJev 48.6 ballBu siz uchun nimani anglatadiEski avlod botlari kinoya va rozilikni ajratolmay, mijozlarning g'ashiga tegadi.aitomaton-da nima javob beradiShubha, kulgi, nafas olishni his qilish va ifodali jonli ovoz.QiymatSuhbatdosh hissiyotlarini tushunadigan jonli va ishonchli dialog.
- RaqamBarge-In: so'zni bo'lishga 800+ ms reaksiyaBu siz uchun nimani anglatadiMijoz savol berayotganda robot o'z skriptini o'qishda davom etaveradi.aitomaton-da nima javob beradiSemantic Turn-Taking va ovozni 50–70 ms ichida bir zumda to'xtatish.QiymatMijoz suhbatni o'zi boshqaradi va aniq javoblarni oladi.
- RaqamXavfsizlik: audioni xorijiy bulutlarga uzatishBu siz uchun nimani anglatadiShaxsiy ma'lumotlarni mahalliylashtirish to'g'risidagi qonunlarni buzish xavfi.aitomaton-da nima javob beradiMahalliy ma'lumotlar markazlarida Moshi va Sophon modellarini On-Premise o'rnatish.QiymatQonunchilik talablariga to'liq rioya qilish va tijorat sirlarini himoya qilish.
Texnik rahbarlar uchun xulosa:
- Kaskadlar oʻtmishda qoldi: 1,5+ soniyalik kechikish zamonaviy sotuvlar uchun yaroqsiz. Aloqa markazlarining kelajagi toʻgʻridan-toʻgʻri dupleks Speech-to-Speech tizimlari bilan bogʻliq.
- Benchmark moʻljali: Tijorat tarmoqlarida birinchi audio baytning maqsadli kechikishi 220–320 ms (bulutli) yoki 160–220 ms (mahalliy Moshi) ni tashkil etadi.
- Xavfsizlik birinchi oʻrinda: Xavfsizlik talablari yuqori boʻlgan kompaniyalar uchun aitomaton gibrid perimetri eng ishonchli yechim hisoblanadi.