Aitomaton blogi · Ovoz texnologiyalari

Full-duplex multimodal AI modellari: arxitekturasi, benchmarklari va joriy etish

Speech-to-Speech arxitekturalarini texnik tahlil qilish: 160 ms dan boshlanuvchi kechikish, soʻzni boʻlish, kinoya va kulgini tushunish, himoyalangan server konturini tashkil etish.

Sotuv boʻlimiga telefon qoʻngʻirogʻi. Mijoz robot bilan bir vaqtda gapira boshlaydi va narx haqida savol bilan uning soʻzini boʻladi. Eskirgan kaskadli bot oʻz monologini davom ettiradi, dupleks model esa 80 ms ichida jim boʻladi.

QisqachaFull-duplex multimodal modellar nutqni aniqlash va sintezlash kaskadisiz uzluksiz ikki tomonlama audio signal uzatishni taʼminlaydi. Bu muloqot kechikishini 160–320 millisekundgacha qisqartiradi va robotga suhbatdosh gapini boʻlganda darhol toʻxtash imkonini beradi. Aitomaton shaxsiy maʼlumotlar toʻgʻrisidagi qonunchilik talablariga rioya qilgan holda, biznes uchun himoyalangan kontur ichida yetakchi bulutli va ochiq On-Premise modellarni birlashtiradi.

Dupleks nutq rejimi klassik kaskaddan nimasi bilan farq qiladi?

Anʼanaviy ovozli botlar yarim dupleks tamoyili boʻyicha ishlaydi: tizim avval foydalanuvchi gapirib boʻlishini kutadi, ovozni matnga aylantiradi, til modelidan javob kutadi va matnni nutqqa aylantirishga (TTS) yuboradi. Natijada kechikish 1,4–2,5 soniyagacha choʻzilib, mijozlarda noqulay sunʼiy pauza hissini uygʻotadi va qoʻngʻiroqlarning 38% ga yaqini uzilib qolishiga sabab boʻladi. Full-Duplex Speech-to-Speech arxitekturalari esa audio oqimni bir vaqtda qabul qilib, 160–320 ms ichida javob qaytaradi.

Vazifa · tijorat direktori, texnik direktor, aloqa markazi rahbari

Qachon eski ovozli robot ikki soniyalik kechikishlar bilan mijozlarning gʻashiga tekkanida, men xohlayman 250 millisekundlik insoniy tezkor javobga ega toʻgʻridan-toʻgʻri dupleks modelni joriy etish, shunda telefon orqali yozilish konversiyasini oshirish, qoʻngʻiroqlar uzilishini bartaraf etish va xizmat vaqtini qisqartirish uchun.

240–320 ms
toʻgʻridan-toʻgʻri modellarning birinchi audio bayt kechikishi kaskaddagi 1,4–2,2 s ga qarshiArtificial Analysis Audio Leaderboard · 2026-04

Sizning vazifangiz bilan bogʻliqligiNutqni toʻgʻridan-toʻgʻri qayta ishlash sunʼiy pauzalarni bartaraf etib, robot bilan suhbatni professional boshqaruvchi darajasiga olib chiqadi.

160 ms
Moshi 7B ochiq arxitekturasining toʻgʻridan-toʻgʻri nazariy kechikishiKyutai Labs Moshi Report · 2024-09

Sizning vazifangiz bilan bogʻliqligiOchiq modellar oʻta tezkor Speech-to-Speech inferensini mustaqil serverlarda toʻliq xavfsiz oʻrnatish imkonini beradi.

Eskidan nima itaradi

Eski ovozli robotlarning 2 soniyalik sunʼiy kechikishlari mijozlarning gʻashiga tegib, sotuv qoʻngʻiroqlarini uzib qoʻyishiga olib keladi.

Yangiga nima tortadi

Toʻgʻridan-toʻgʻri Speech-to-Speech modellar insoniy tabiiy suhbat surʼatini taʼminlab, sotuv konversiyasini 24% ga oshiradi.

Nima tashvishlantiradi

Xavotir: bir vaqtda gapirish paytidagi akustik aks-sado va shaxsiy maʼlumotlarni xorijiy bulutlarga uzatish xavfi.

Odatiy yoʻlda nima ushlab turadi

Eski avlodning IVR menyulari va samarasiz ovozli botlariga chidash odati.

Speech-to-Speech modellarining asosiy arxitektura tamoyillari qanday?

Toʻgʻridan-toʻgʻri dupleks arxitekturalar neyrotarmoq audiokodeklari va koʻp oqimli transformatorlarni birlashtiradi. Kiruvchi ovoz oqimi intonatsiya va hissiy boʻyoqlarni yoʻqotmasdan uzluksiz freymlarga kvantlanadi. Model bir vaqtning oʻzida ichki matnli monologni bashorat qiladi va chiquvchi kvantlangan audio tokenlarning parallel oqimini yaratadi, buning natijasida tizim foydalanuvchining soʻzini boʻlishini bir zumda ilgʻab, millisekundlarda nutqni toʻxtatadi.

Toʻliq dupleks audio traktining ishlash printsipi

  1. KiruvchiUzluksiz audio kirish (Audio Stream)

    Telefon kanalidan 24 kHz chastotadagi ovoz qat'iy bo'laklarsiz Mimi/SoundStream neyrokodekiga uzluksiz uzatiladi.

  2. HisobAudio tokenlarga kvantlash (RVQ)

    Signal vektor kvantlash (RVQ) orqali tembr va intonatsiyani saqlab, soniyasiga 12,5–25 freym chastotasida ixcham tokenlarga siqiladi.

  3. Takroriy aloqaKo'p oqimli Dual-Stream LLM

    Model asos transformatori audio tokenlarni o'qiydi va parallel ravishda ikkita oqimni hisoblaydi: ichki monolog va chiquvchi audio tokenlar.

  4. NatijaAudio sintezi va barge-in reaksiyasi

    Kodek dekoderi tokenlarni PCM oqimiga aylantiradi. Ovoz paydo bo'lganda tizim 50–90 ms ichida chiquvchi nutqni to'xtatadi.

Full-Duplex tizimlarining asosiy texnologik konseptsiyalari:

  • Neural Audio Codecs (Neyrotarmoq audiokodeklari): G.711 yoki Opus kabi eski siqish algoritmlari oʻrniga Mimi yoki EnCodec kabi chuqur arxitekturalar qoʻllaniladi. Ular tovushni akustik nozikliklari bilan diskret tokenlarga aylantiradi.
  • Semantic Turn-Taking (Maʼnoli navbat almashish): Shunchaki sukunatni kutish oʻrniga, model fikrning tugallanganligini bashorat qiladi. Agar mijoz «Menga xizmatga yozilish kerak… hmm… payshanbaga» desa, model «hmm»dan keyin pauza borligini tushunadi va mijoz gapini boʻlmaydi.
  • Barge-In Latency (Soʻzni boʻlishga javob berish kechikishi): Mijoz «Toʻxtang», «Kuting» degan zahoti tizimning jim boʻlish tezligi. Ilgʻor dupleks tizimlarda bu atigi 60–100 ms ni tashkil etadi.

Qaysi full-duplex modellar kechikish va sifat benchmarklarida yetakchilik qilmoqda?

Mustaqil testlar sunʼiy intellekt bozorida asosiy arxitekturalarni ajratib koʻrsatadi: Google Gemini 2.0 Flash Live, OpenAI Realtime, Kyutai Moshi va Adventists AI Sophon-Realtime-v1. Har bir yechim birinchi audio token kechikishi, kinoya va kulgini tushunish, tashqi vositalarni ulash va yopiq konturda oʻrnatish imkoniyatlari boʻyicha oʻz muvozanatiga ega.

Gemini 2.0 Flash Live API

Google DeepMind tomonidan taqdim etilgan tezlik va multimodal flagmani.

  • Birinchi audio bayt kechikishi (TTFB): WebSocket orqali 220–320 ms.
  • Kontekst oynasi: 1 048 576 token (soha rekordi).
  • Protokollar: Bidirectional WebSockets, kamera va ekrandan bir vaqtda audio va video qabul qilish.
  • Xususiyatlari: Ovoz yaratish jarayonida funksiyalarni chaqirish (Function Calling) imkoniyati, koʻp tillarni qoʻllab-quvvatlash.
  • Tarif: 1M kiruvchi token uchun $0.075 dan boshlanadi — eng tejamkor bulutli yechimlardan biri.

OpenAI Realtime API (GPT-4o Audio)

Tijorat WebRTC ovozli interfeysining kashshofi.

  • Birinchi audio bayt kechikishi (TTFB): 280–420 ms.
  • Kontekst oynasi: 128 000 token.
  • Protokollar: WebRTC va WebSocket ulanishlari.
  • Xususiyatlari: OpenAI ekotizimi bilan mukammal integratsiya, ingliz tilidagi benuqson nutq.
  • Cheklovlari: Yuqori narx (kiruvchi audio daqiqasiga ~$0.06 va chiquvchi uchun ~$0.24), yopiq bulutli kontur.

Sophon-Realtime-v1 (Adventists AI 32B)

Ochiq kodli nutq flagmani (Apache 2.0).

  • Paralingvistika boʻyicha yetakchilik: LISTEN, StressTest va MSPB benchmarklarida 48.6 ball bilan birinchi oʻrinni egallab, Gemini 3.8 Flash (46.9) dan oʻzib ketdi.
  • Nozik signallarni his qilish va ijro etish: Shubhalar («e-e», «hm»), xoʻrsinish, kinoya va kulgini his qiladi va ularga mos ravishda tabiiy kuladi yoki nafas oladi.
  • Uch xil yigʻma:
    • Tag: yuqori ifodalilik (NVV-SuperBench 0.86/0.80, TTFT audio ~0.6 s, 80 GB GPU da 16 seans).
    • Flash: bitta 80 GB kartada 40 ta bir vaqtdagi qoʻngʻiroq va rekord 0.31 soniya kechikish.
    • E2E: alohida nutq modulisiz toʻgʻridan-toʻgʻri sintez.
  • Oʻrnatish: vLLM-Omni uchun moslashtirilgan, bitta NVIDIA A100/H100 80GB kartasida bitta buyruq bilan ishga tushadi.

Kyutai Moshi (On-Premise 7B)

Dunyodagi birinchi toʻliq ochiq toʻgʻridan-toʻgʻri nutq modeli (CC-BY 4.0).

  • Birinchi audio bayt kechikishi (TTFB): 160–220 ms (mahalliy tizimlar orasida rekord).
  • Asos transformator: Helium 7B + Mimi audiokodek (12.5 Hz).
  • Oʻrnatish: 1x NVIDIA A100 (80GB) da On-Premise.
  • Xususiyatlari: Bulut provayderlariga bogʻliqlik yoʻqligi, tokenlar uchun oylik toʻlovlarning yoʻqligi va maʼlumotlar xavfsizligi.

Dupleks arxitekturalarning qiyosiy jadvali:

Solishtirish parametri Gemini 2.0 Flash Live OpenAI Realtime API Sophon-Realtime-v1 (32B) Kyutai Moshi (On-Prem) Anʼanaviy kaskad
Median kechikish (TTFB) 220–320 ms 280–420 ms 310–600 ms (Flash: 0.31 s) 160–220 ms 1400–2200 ms
Soʻzni boʻlishga reaksiya 60–90 ms 80–120 ms 50–70 ms (lahzalik barge-in) 50–80 ms 600–1200 ms
Kontekst xotirasi 1 048 576 token 128 000 token 32B Dual-Stream (vLLM-Omni) 4 096 freym 8 000 – 128 000
Kinoya va kulgini tushunish Oʻrtacha Yuqori Yetakchi: DuplexJev 48.6 b. Boshlangʻich Yoʻq
Hissiy reaksiyalarni ijro etish Qisman Yuqori Tabiiy kulgi, nafas (0.86) Minimal Matnni mexanik oʻqish
Litsenziya va On-Premise Propritar Cloud Propritar Cloud Apache 2.0 (1x A100/H100 80GB) CC-BY 4.0 (On-Premise) Sotuvchilarga bogʻliq
80 GB GPU dagi zichlik Bulut klasteri Bulut klasteri 40 gacha bir vaqtdagi liniya 1 seans (batching) CPU/GPU klasteri
Bir daqiqa tannarxi ~$0.04–0.06 ~$0.08–0.15 0 soʻm (oʻz serverlarida) 0 soʻm (oʻz serverlarida) ~$0.02–0.04

Sophon-dagi DuplexJev moduli hissiy sovuqlik muammosini qanday hal qiladi?

Klassik ovozli yordamchilar hissiy sovuqlikdan aziyat chekadi: ular tovushni quruq matnga aylantirib, noverbal maʼlumotlarning 70% ini yoʻqotadi. Agar mijoz istehzo bilan «Albatta, juda ajoyib!» desa, eski bot buni samimiy minnatdorchilik deb tushunadi.

Adventists AI tomonidan taqdim etilgan Sophon-Realtime-v1 arxitekturasi DuplexJev maxsus modulini oʻz ichiga oladi. U akustik spektrni, ovoz tebranishini va nafas olishdagi mikro pauzalarni doimiy tahlil qiladi. Buning sharofati bilan model suhbatdoshning kinoyasini, ikkilanishini («hm», «e-e») yoki kulgisini aniq belgilaydi. LISTEN, StressTest va MSPB benchmarklarida model 48.6 ballik rekord natija qayd etdi.

Tag yigʻmasida model hissiy reaksiyalarni tabiiy tarzda aks ettiradi: mijoz hazillashganda tabiiy ravishda kuladi yoki muammo aytilganda hamdardlik bilan nafas chiqaradi. Aitomaton platformasida biz yuqori yuklamali avtodilerlar va klinikalar uchun Flash yigʻmasini (NVIDIA H100 80GB kartasida 40 ta bir vaqtdagi liniya) joriy etib, 310 ms lik tezkor muloqotni taʼminlaymiz.

Dupleks tizimlarning texnik afzalliklari va yashirin xatarlari nimalardan iborat?

Toʻgʻridan-toʻgʻri nutq interfeysini joriy etish suhbatdosh tomonidan dialog tabiiy qabul qilinishi hisobiga telefon savdolarining konversiyasini sezilarli darajada oshiradi. Mijozlar robotlashtirilgan sunʼiy toʻxtalishlarni his qilmaydi va erkin gapiradi. Biroq, bu texnologiya aloqa operatorlarining aks-sadosini filtrlash, shovqinli muhitda audio gallyutsinatsiyalardan himoya qilish va qoʻngʻiroqlar koʻp boʻlganda bulutli tokenlar xarajatlarini hisobga olishni talab qiladi.

Texnik afzalliklari:

  1. Tabiiy suhbat surʼati: 200–300 ms oraligʻidagi javob kechikishi odamlar orasidagi odatiy pauzaga toʻliq mos keladi va noqulay sukunatni yoʻq qiladi.
  2. Akustik kontekst: Model mijozning hissiy holatini (asabiylashish, shoshilish, ishonchsizlik) eshitadi va matn tahlilisiz javob intonatsiyasini moslashtiradi.
  3. Soʻzni uzluksiz boʻlish (Barge-in): Foydalanuvchi shartnoma shartlarining uzoq oʻqilishini kutmasdan, istalgan soniyada agent gapini boʻlib, oʻzgartirish kiritishi mumkin.

Yashirin xatarlar va ularni aitomaton-da kompensatsiya qilish:

  • Akustik aks-sado va oʻz gapini boʻlish: Agar dinamik ovozi mikrofonga qaytib tushsa, tizim oʻz ovozini mijoz ovozi deb oʻylab, toʻxtab qolishi mumkin. aitomaton yechimi: Asterisk/FreePBX darajasida apparat aks-sadoni pasaytirish (AEC) modulini joriy etish.
  • Fon shovqinidagi audio gallyutsinatsiyalar: Koʻcha shovqini yoki bolalar ovozi dekoderni notoʻgʻri soʻzlar yaratishga undashi mumkin. aitomaton yechimi: 16 kHz dan past va 7 kHz dan yuqori chastotalarni kesuvchi gibrid filtrlardan foydalanish.
  • Bulutli tokenlar narxi: Katta qoʻngʻiroqlar hajmida bulutli tizimlar juda qimmatga tushishi mumkin. aitomaton yechimi: Sophon yoki Moshi asosidagi On-Premise GPU infratuzilmasiga oʻtish orqali daqiqa tannarxini nolga tushirish.

Xavfsiz server konturini qanday tashkil etish kerak?

Mintaqaviy qonunchilik talablari, shu jumladan shaxsiy maʼlumotlarni himoya qilish toʻgʻrisidagi normalar qoʻngʻiroq yozuvlari, telefon raqamlari va identifikatsiya maʼlumotlarini mamlakat hududidagi serverlarda saqlashni talab etadi. Ovoz oqimini chet el bulutlariga uzatish qonuniy jarimalar va xavflarni keltirib chiqaradi.

Aitomaton konturining arxitektura afzalliklari:

  • On-Premise oʻrnatish: Biz Moshi va Sophon-Realtime ochiq dupleks modellarini mahalliy maʼlumotlar markazlaridagi shaxsiy yoki ijaraga olingan GPU serverlariga (NVIDIA A100/H100) oʻrnatamiz.
  • Intellektual marshrutlash: Maxfiy boʻlmagan umumiy savollar resurslarni tejash uchun tezkor bulutli interfeyslarga yoʻnaltirilishi mumkin, bank va tibbiy operatsiyalar esa toʻliq yopiq ichki konturda amalga oshiriladi.
  • Rasmiy telefoniya integratsiyasi: Aloqa operatorlari trunklariga toʻgʻridan-toʻgʻri ulanish, rasmiy WhatsApp Business API va 1C tizimlari bilan toʻliq sinxronizatsiya.

Bu biznesingizga nima beradi

  1. RaqamKechikish: kaskadda 1,8 soniya
    Bu siz uchun nimani anglatadiMijoz javobni kutadi, qayta so'raydi va sun'iy pauzalar sababli go'shakni qo'yadi.
    aitomaton-da nima javob beradiTo'g'ridan-to'g'ri Speech-to-Speech modellar (Gemini Live, Moshi, Realtime, Sophon Flash) 220–320 ms kechikish bilan.
    QiymatRobotlashtirilgan to'xtalishlarsiz tabiiy suhbat sur'ati.
  2. RaqamParalingvistika: Sophon-da DuplexJev 48.6 ball
    Bu siz uchun nimani anglatadiEski avlod botlari kinoya va rozilikni ajratolmay, mijozlarning g'ashiga tegadi.
    aitomaton-da nima javob beradiShubha, kulgi, nafas olishni his qilish va ifodali jonli ovoz.
    QiymatSuhbatdosh hissiyotlarini tushunadigan jonli va ishonchli dialog.
  3. RaqamBarge-In: so'zni bo'lishga 800+ ms reaksiya
    Bu siz uchun nimani anglatadiMijoz savol berayotganda robot o'z skriptini o'qishda davom etaveradi.
    aitomaton-da nima javob beradiSemantic Turn-Taking va ovozni 50–70 ms ichida bir zumda to'xtatish.
    QiymatMijoz suhbatni o'zi boshqaradi va aniq javoblarni oladi.
  4. RaqamXavfsizlik: audioni xorijiy bulutlarga uzatish
    Bu siz uchun nimani anglatadiShaxsiy ma'lumotlarni mahalliylashtirish to'g'risidagi qonunlarni buzish xavfi.
    aitomaton-da nima javob beradiMahalliy ma'lumotlar markazlarida Moshi va Sophon modellarini On-Premise o'rnatish.
    QiymatQonunchilik talablariga to'liq rioya qilish va tijorat sirlarini himoya qilish.

Texnik rahbarlar uchun xulosa:

  1. Kaskadlar oʻtmishda qoldi: 1,5+ soniyalik kechikish zamonaviy sotuvlar uchun yaroqsiz. Aloqa markazlarining kelajagi toʻgʻridan-toʻgʻri dupleks Speech-to-Speech tizimlari bilan bogʻliq.
  2. Benchmark moʻljali: Tijorat tarmoqlarida birinchi audio baytning maqsadli kechikishi 220–320 ms (bulutli) yoki 160–220 ms (mahalliy Moshi) ni tashkil etadi.
  3. Xavfsizlik birinchi oʻrinda: Xavfsizlik talablari yuqori boʻlgan kompaniyalar uchun aitomaton gibrid perimetri eng ishonchli yechim hisoblanadi.

Dupleks kontur namoyishiga yozilish

Koʻp beriladigan savollar

Ovozli muloqot tizimlarida full-duplex rejimi nima?

Full-duplex (toʻliq dupleks) — bu tizim suhbatdoshni bir vaqtning oʻzida tinglash va oʻz nutqini ijro etish imkonini beruvchi ikki tomonlama audio uzatish rejimi. Yarim dupleksdan farqli oʻlaroq, model suhbatdoshning nutqini (barge-in) darhol his qiladi va seansni toʻxtatmasdan oʻz sintezini bir zumda toʻxtatadi.

Toʻgʻridan-toʻgʻri Speech-to-Speech modeli Whisper + GPT + ElevenLabs kaskadidan nimasi bilan farq qiladi?

Klassik kaskadda audio avval STT orqali matnga aylanadi, soʻng LLM tahlil qiladi, soʻng TTS ga yuboriladi. Har bir boʻgʻin 300–700 ms kechikish qoʻshib, umumiy 1,4–2,2 soniyani oladi. Bundan tashqari, his-tuygʻular va kulgi yoʻqoladi. Speech-to-Speech modeli esa 160–300 ms kechikish bilan bevosita audio tokenlarni qayta ishlaydi.

Dupleks model inson gapini tugatganini yoki shunchaki nafas olayotganini qanday biladi?

Ovoz balandligiga tayanadigan oddiy VAD oʻrniga, toʻgʻridan-toʻgʻri modellar maʼnoli navbat berish (Semantic Turn-Taking) tizimidan foydalanadi. Neyrotarmoq gapning grammatik tuzilishini tahlil qilib, suhbatdoshning soʻzlash navbatini berish niyatini aniq ajratadi.

Toʻliq dupleks modelni mahalliy serverlarda oʻrnatish mumkinmi?

Ha. Kyutai Moshi (7B) va Sophon-Realtime ochiq arxitekturalari mahalliy GPU-serverlarda (NVIDIA A100 yoki H100) Speech-to-Speech xizmatini toʻliq mustaqil oʻrnatish imkonini beradi. Bu audio fayllarni tashqariga chiqarmay, qonunchilik talablarini toʻliq taʼminlaydi.

Dupleks modellarni korporativ telefoniya bilan integratsiya qilishdagi asosiy qiyinchiliklar nima?

Asosiy muhandislik muammolari — bu analog aloqa yoʻllaridagi akustik aks-sado (AEC), tarmoqdagi jitter va shovqinli sharoitda gallyutsinatsiyalarning oldini olishdir. Aitomaton apparat aks-sadoni pasaytirish va gibrid filtrlash orqali bu muammolarni bartaraf etadi.

Oʻz maʼlumotlaringizda koʻring

Uch kun bepul yoki jarayoningizni tahlil qilish bilan demo.

Yangilandi:

Platforma namoyishiga yozilish

Biznes jarayonlaringizda AI-agentlarning qanday ishlashini koʻrsatamiz, voronkani tahlil qilamiz va barcha savollarga javob beramiz.