Blog aitomaton · Teknologi Suara

Model AI multimodal full-duplex: arsitektur, tolok ukur, dan implementasi

Analisis teknis arsitektur Speech-to-Speech langsung: latensi mulai 160 ms, interupsi langsung, pengenalan sarkasme dan tawa, serta instalasi On-Premise berdaulat.

Panggilan masuk ke tim penjualan. Pelanggan berbicara bersamaan dengan robot dan menyela dengan pertanyaan harga. Bot kaskade lama melanjutkan monolognya, sedangkan model dupleks langsung hening dalam 80 ms.

Ringkasan: Model multimodal full-duplex menyediakan transmisi audio dua arah tanpa jeda kaskade pengenalan dan sintesis konvensional. Pendekatan ini memangkas latensi percakapan menjadi 160–320 milidetik dan memungkinkan sistem mendeteksi interupsi pengguna (barge-in) secara instan. Aitomaton mengintegrasikan model cloud dan open-source On-Premise terkemuka dalam perimeter aman yang mematuhi regulasi perlindungan data pribadi.

Apa perbedaan mode suara dupleks dibanding sistem kaskade konvensional?

Robot suara tradisional beroperasi dalam giliran bicara semi-duplex: sistem harus menunggu keheningan total dari penelepon, mengubah suara ke teks, menanti hasil penalaran model bahasa, dan mengirim teks ke mesin sintesis ucapan. Akibatnya, latensi membengkak hingga 1,4–2,5 detik, menimbulkan jeda kaku yang menyebabkan hingga 38% penelepon menutup telepon. Sebaliknya, arsitektur Full-Duplex Speech-to-Speech mentransmisikan audio dua arah secara langsung dengan kecepatan respons manusiawi 160–320 ms.

Tugas · Direktur Komersial, VP Engineering, Manajer Call Center

Ketika asisten suara kaku menguji kesabaran pelanggan dengan jeda hening dua detik, saya ingin mengimplementasikan model full-duplex responsif berkecepatan 250 milidetik, agar meningkatkan konversi janji temu via telepon, mencegah panggilan putus, dan memangkas waktu penanganan.

240–320 ms
median latensi audio byte pertama model langsung dibanding 1,4–2,2 s pada kaskadeArtificial Analysis Audio Leaderboard · 2026-04

Kaitannya dengan tugas AndaPemrosesan suara langsung menyingkirkan jeda kaku artifisial, menjadikan percakapan senatural interaksi dengan staf resepsionis berpengalaman.

160 ms
latensi inferensi teoritis model terbuka Moshi 7BKyutai Labs Moshi Report · 2024-09

Kaitannya dengan tugas AndaModel fondasi terbuka memungkinkan inferensi Speech-to-Speech berkecepatan tinggi dijalankan di infrastruktur GPU privat On-Premise berdaulat.

Apa yang mendorong meninggalkan cara lama

Kekesalan akibat jeda kaku 2 detik yang memicu kebingungan penelepon dan merusak konversi penjualan.

Apa yang menarik ke cara baru

Model Speech-to-Speech langsung menghadirkan percakapan alami yang meningkatkan konversi hingga 24%.

Apa yang mengkhawatirkan

Kekhawatiran akan gema suara saat berbicara bersamaan dan kepatuhan terhadap regulasi privasi data.

Apa yang menahan pada kebiasaan

Kebiasaan pasrah menggunakan menu IVR kaku dan asisten suara generasi lama yang membosankan.

Apa saja prinsip arsitektur utama model Speech-to-Speech langsung?

Arsitektur dupleks langsung memadukan codec audio neural dengan transformator multi-aliran. Sinyal audio masuk dikuantisasi ke dalam frame berkelanjutan dengan kompresi tinggi yang mempertahankan nada bicara dan warna emosional. Model secara paralel memprediksi token teks monolog internal dan menghasilkan aliran token audio keluar, sehingga sistem sanggup menangkap interupsi pengguna dan berhenti bicara dalam puluhan milidetik.

Alur kerja transmisi audio full-duplex

  1. MasukAliran audio berkelanjutan

    Audio 24 kHz dari saluran telepon masuk secara langsung ke codec neural (Mimi/SoundStream) tanpa pemotongan kalimat yang kaku.

  2. PencatatanKuantisasi token audio (RVQ)

    Residual Vector Quantization memadatkan suara pada 12,5–25 frame per detik dengan mempertahankan prosodi ucapan.

  3. Kontak lanjutanTransformator Dual-Stream

    Model memproses token audio lawan bicara sambil menghitung penalaran internal dan menghasilkan token audio keluar secara bersamaan.

  4. HasilSintesis dan respons barge-in

    Dekoder mengubah token menjadi audio PCM. Jika lawan bicara mulai berbicara, sistem menghentikan transmisi suara dalam 50–90 ms.

Konsep teknologi kunci Full-Duplex:

  • Neural Audio Codecs: Alih-alih algoritma kompresi lama (G.711, Opus), model mengadopsi arsitektur mendalam seperti Mimi (Kyutai) atau EnCodec (Meta). Codec ini mengubah suara menjadi token diskret sembari menjaga nuansa akustik dan helaan napas.
  • Semantic Turn-Taking: Melampaui deteksi desibel dasar, sistem memprediksi akhir dari gagasan kalimat. Jika penelepon berkata “Saya ingin memesan jadwal servis… umm… hari Kamis”, model paham bahwa ada jeda berpikir dan tidak memotong pembicaraan.
  • Barge-In Latency: Kemampuan sistem untuk langsung hening begitu penelepon berkata “Tunggu”, “Bentar”, atau bertanya. Pada model modern, reaksi ini tuntas dalam 60–100 ms dibanding 800+ ms pada bot kaskade.

Model full-duplex mana saja yang memimpin tolok ukur latensi dan mutu?

Uji benchmark independen menyoroti empat arsitektur terdepan di industri AI: Google Gemini 2.0 Flash Live, OpenAI Realtime, Kyutai Moshi, dan model terbuka Sophon-Realtime-v1 dari Adventists AI. Tiap solusi menghadirkan keseimbangan berbeda antara kecepatan respons byte audio pertama, kepekaan emosional, pemanggilan fungsi eksternal, dan kemampuan instalasi On-Premise.

Gemini 2.0 Flash Live API

Unggulan kecepatan dan multimodalitas dari Google DeepMind.

  • Latensi byte audio pertama (TTFB): 220–320 ms via WebSocket.
  • Jendela konteks: 1.048.576 token (terbesar di industri).
  • Protokol: WebSocket dua arah dengan dukungan simultan audio dan video kamera.
  • Keunggulan: Pemanggilan alat (Tool Calling) langsung saat berbicara serta pemahaman emosi yang mendalam.
  • Harga: Mulai $0.075 per 1M token input — solusi cloud paling efisien dari segi biaya.

OpenAI Realtime API (GPT-4o Audio)

Pelopor antarmuka suara WebRTC komersial.

  • Latensi byte audio pertama (TTFB): 280–420 ms.
  • Jendela konteks: 128.000 token.
  • Protokol: Koneksi WebRTC dan WebSocket sisi server.
  • Keunggulan: Integrasi mudah dengan ekosistem OpenAI dan artikulasi bahasa Inggris yang sangat alami.
  • Keterbatasan: Biaya tinggi (~$0.06/menit input dan ~$0.24/menit output), ekosistem cloud tertutup.

Sophon-Realtime-v1 (Adventists AI 32B)

Unggulan percakapan full-duplex open-source (Apache 2.0).

  • Keunggulan paralinguistik: Skor 48.6 pada tolok ukur LISTEN, StressTest, dan MSPB, melampaui Gemini 3.8 Flash (46.9) dan Qwen3-Omni (44.6).
  • Pengenalan dan artikulasi non-verbal: Mendeteksi keraguan («uh», «hmm»), helaan napas, intonasi, sarkasme, dan tawa. Mampu tertawa alami tanpa membaca tag teks secara mekanis.
  • Tiga pilihan build:
    • Tag: Model ekspresif (NVV-SuperBench 0.86/0.80, TTFT audio ~0.6 s, 16 sesi pada GPU 80 GB).
    • Flash: Dirancang untuk volume tinggi (latensi 0.31 s, mendukung 40 sambungan bersamaan per kartu 80 GB).
    • E2E: Sintesis langsung dalam satu matriks tanpa kepala suara terpisah.
  • Tolok ukur: VoiceBench 82.8, Big Bench Audio 81.8%, dan Full-Duplex-Bench v3 Pass@1 48% (mengungguli Grok pada 43%).
  • Instalasi: Dioptimalkan untuk vLLM-Omni, berjalan pada 1x NVIDIA A100/H100 80GB dengan satu perintah.

Kyutai Moshi (On-Premise 7B)

Model suara langsung sumber terbuka pertama di dunia (CC-BY 4.0).

  • Latensi byte audio pertama (TTFB): 160–220 ms (rekor di antara sistem lokal).
  • Model dasar: Helium 7B + codec audio Mimi (12.5 Hz).
  • Perangkat keras: On-Premise pada 1x NVIDIA A100 (80GB) atau L40S.
  • Keunggulan: Bebas dari ketergantungan vendor cloud, tanpa biaya token per menit, dan perlindungan privasi mutlak.

Tabel perbandingan arsitektur dupleks:

Parameter perbandingan Gemini 2.0 Flash Live OpenAI Realtime API Sophon-Realtime-v1 (32B) Kyutai Moshi (On-Prem) Kaskade konvensional
Median latensi (TTFB) 220–320 ms 280–420 ms 310–600 ms (Flash: 0.31 s) 160–220 ms 1400–2200 ms
Reaksi barge-in 60–90 ms 80–120 ms 50–70 ms (pemutusan instan) 50–80 ms 600–1200 ms
Memori konteks 1.048.576 token 128.000 token 32B Dual-Stream (vLLM-Omni) 4.096 frame 8.000 – 128.000
Kepekaan sarkasme dan tawa Sedang Tinggi Pemimpin: DuplexJev 48.6 Dasar Tidak ada
Artikulasi non-verbal Sebagian Tinggi Tawa dan desah alami (0.86) Minimal Membaca tag teks kaku
Lisensi dan On-Premise Cloud milik vendor Cloud milik vendor Apache 2.0 (1x A100/H100 80GB) CC-BY 4.0 (On-Premise) Beragam lisensi
Kapasitas per GPU 80 GB Klaster cloud Klaster cloud Hingga 40 sambungan serentak 1 sesi (tanpa batch) Campuran CPU/GPU
Biaya per menit ~$0.04–0.06 ~$0.08–0.15 $0.00 (GPU milik sendiri) $0.00 (GPU milik sendiri) ~$0.02–0.04

Bagaimana modul DuplexJev mengatasi ketulian emosional pada bot suara?

Asisten suara konvensional kerap mengalami ketulian emosional: sistem mengubah suara menjadi teks kering, mengabaikan lebih dari 70% sinyal non-verbal. Jika pelanggan berkata dengan nada menyindir “Wah, hebat sekali pelayanannya!”, bot lama salah memahaminya sebagai pujian tulus.

Sophon-Realtime-v1 menghadirkan modul DuplexJev khusus untuk mengevaluasi spektrum akustik, irama tarikan napas, dan getaran suara secara terus-menerus. Pendekatan ini memungkinkan model mendeteksi sarkasme, keraguan («umm», «eh»), dan tawa dengan akurat, mencetak skor rekor 48.6 pada tolok ukur paralinguistik.

Pada build Tag, model menghasilkan reaksi fisik yang meyakinkan: tertawa spontan saat penelepon bercanda atau menghela napas prihatin saat mendengar keluhan pelanggan. Di platform aitomaton, kami menerapkan build Flash (40 jalur simultan per kartu NVIDIA H100 80GB) untuk pusat kontak yang membutuhkan respons kilat 310 ms.

Apa saja keunggulan teknis dan potensi risiko sistem dupleks?

Penerapan antarmuka suara langsung mendongkrak konversi penjualan telepon karena pelanggan merasa berdialog dengan manusia asli. Pelanggan tidak terganggu oleh jeda lambat dan dapat berbicara secara rileks. Namun, sistem ini menuntut pembatalan gema telepon yang solid, penyaringan halusinasi suara pada latar belakang berisik, dan pengelolaan biaya token cloud yang cermat.

Keunggulan teknis:

  1. Irama bicara natural: Respons 200–300 ms selaras dengan jeda bicara manusia pada umumnya, menghapus keheningan yang canggung.
  2. Konteks akustik utuh: Model menangkap emosi penelepon (tergesa-gesa, kesal, ragu) dan menyesuaikan nada bicara tanpa bergantung pada analisis teks sentimen.
  3. Interupsi mulus (Barge-in): Pelanggan bebas menyela atau memotong pembicaraan bot kapan saja tanpa harus menunggu kalimat panjang selesai.

Risiko teknis dan solusi aitomaton:

  • Gema akustik dan interupsi mandiri: Jika suara speaker masuk kembali ke mikrofon, model bisa salah mengira suaranya sendiri sebagai interupsi lawan bicara. Solusi aitomaton: Menerapkan Acoustic Echo Cancellation (AEC) berbasis perangkat keras pada gateway Asterisk/FreePBX.
  • Halusinasi suara akibat kebisingan luar: Suara lalu lintas atau hewan dapat memicu dekoder menghasilkan kata-kata palsu. Solusi aitomaton: Filter spektral hibrida yang memangkas frekuensi di bawah 16 kHz dan di atas 7 kHz.
  • Biaya token audio di cloud: Pusat panggilan dengan 50.000 menit bulanan di OpenAI Realtime dapat menghadapi biaya operasional yang sangat tinggi. Solusi aitomaton: Migrasi ke infrastruktur GPU On-Premise dengan Sophon atau Moshi guna menekan biaya per menit menjadi nol.

Bagaimana membangun perimeter suara yang aman dan berdaulat?

Ketentuan regulasi privasi mewajibkan rekaman percakapan, nomor kontak, dan riwayat pelanggan disimpan di dalam server lokal yang sesuai dengan ketentuan hukum. Mengirimkan aliran suara ke server luar negeri membuka risiko sanksi hukum dan kebocoran rahasia perusahaan.

Keunggulan arsitektur aitomaton:

  • Instalasi On-Premise berdaulat: Kami menggelar model Moshi dan Sophon di pusat data lokal menggunakan server GPU khusus (NVIDIA A100/H100).
  • Perutean hibrida cerdas: Pertanyaan umum dialihkan ke API cepat Gemini 2.0 Flash Live guna menghemat beban kerja, sementara transaksi sensitif langsung diproses di perimeter On-Premise yang terisolasi.
  • Integrasi resmi telefoni: Koneksi langsung ke trunk operator telekomunikasi, integrasi resmi WhatsApp Business API, serta sinkronisasi dua arah dengan sistem CRM dan ERP.

Apa manfaatnya bagi bisnis Anda

  1. AngkaLatensi: 1,8 detik pada kaskade lama
    Artinya bagi AndaPenelepon menunggu, mengulang pertanyaan, dan menutup telepon karena jeda kaku.
    Jawaban aitomatonModel Speech-to-Speech langsung (Gemini Live, Moshi, Realtime, Sophon Flash) dengan TTFB 220–320 ms.
    NilaiPercakapan mengalir lancar tanpa hambatan respons robotik.
  2. AngkaParalinguistik: Skor 48.6 pada DuplexJev
    Artinya bagi AndaBot lama tidak bisa membedakan sarkasme dengan persetujuan sehingga membuat pelanggan jengkel.
    Jawaban aitomatonPemahaman alami atas keraguan, tawa, dan desah dengan sintesis suara yang ekspresif.
    NilaiPercakapan empatik yang membangun rasa percaya pelanggan.
  3. AngkaBarge-In: Reaksi 800+ ms pada bot lama
    Artinya bagi AndaBot terus berbicara membacakan skrip ketika pelanggan sudah mencoba menyela.
    Jawaban aitomatonSemantic Turn-Taking dengan penghentian suara instan dalam 50–70 ms.
    NilaiPelanggan memegang kendali percakapan dan mendapatkan jawaban lugas.
  4. AngkaKeamanan: Kebocoran audio ke cloud publik
    Artinya bagi AndaRisiko pelanggaran aturan lokalisasi dan privasi data pribadi.
    Jawaban aitomatonHosting On-Premise model Moshi dan Sophon di pusat data regional berdaulat.
    NilaiKepatuhan hukum terjamin dan perlindungan rahasia bisnis yang solid.

Rangkuman bagi pimpinan teknis:

  1. Sistem kaskade telah usang: Jeda lebih dari 1,5 detik menurunkan performa konversi. Masa depan pusat kontak berada pada model Speech-to-Speech full-duplex.
  2. Sasaran tolok ukur: Targetkan latensi 220–320 ms di cloud komersial atau 160–220 ms pada server lokal berbasis Moshi.
  3. Keamanan adalah prioritas: Untuk industri dengan standar kepatuhan tinggi, arsitektur hibrida aitomaton dengan klaster GPU On-Premise menawarkan perlindungan dan performa terbaik.

Daftar Demo Suara Full-Duplex

Pertanyaan yang sering diajukan

Apa yang dimaksud dengan mode full-duplex pada sistem suara interaktif?

Full-duplex adalah mode transmisi audio dua arah serentak yang memungkinkan sistem mendengarkan lawan bicara sekaligus memutar suaranya sendiri. Berbeda dengan semi-duplex (seperti walkie-talkie), model ini mendeteksi interupsi (barge-in) seketika dan menghentikan sintesis bicaranya dalam waktu kurang dari 100 ms tanpa memutus sambungan.

Apa perbedaan model Speech-to-Speech langsung dibanding rangkaian Whisper + GPT + ElevenLabs?

Pada kaskade konvensional, audio masuk ditranskripsikan ke teks via STT, dianalisis oleh LLM, lalu diubah lagi menjadi suara via TTS. Setiap tahapan menambah latensi 300–700 ms, dengan total mencapai 1,4–2,2 detik. Selain itu, intonasi dan tawa ikut hilang. Model Speech-to-Speech langsung memproses dan menghasilkan token audio terkuantisasi dalam 160–300 ms.

Bagaimana model dupleks mengetahui pengguna selesai berbicara atau hanya mengambil napas?

Alih-alih mengandalkan deteksi energi suara (VAD) sederhana, model langsung memanfaatkan Semantic Turn-Taking. Jaringan saraf menganalisis struktur tata bahasa dan penurunan nada akhir kalimat, sehingga dapat membedakan jeda bernapas dengan niat menyerahkan giliran bicara.

Bisakah model full-duplex diinstal di server lokal On-Premise?

Bisa. Model open-source seperti Kyutai Moshi (7B) dan Sophon-Realtime-v1 (32B) dapat berjalan mandiri pada server GPU khusus (NVIDIA A100 atau H100 80GB). Hal ini menjamin tidak ada data suara yang keluar ke cloud publik serta mematuhi undang-undang kedaulatan data.

Tantangan apa saja yang muncul saat mengintegrasikan model dupleks dengan telepon kantor?

Tantangan utamanya adalah pembatalan gema akustik (AEC) pada jalur telepon analog, jitter jaringan UDP, dan pencegahan halusinasi suara akibat kebisingan sekitar. Aitomaton menanganinya dengan modul supresi gema perangkat keras pada gateway Asterisk/FreePBX serta penyaringan spektral hibrida.

Hubungkan agen AI ke bisnis Anda

Pengaturan dipandu oleh teknisi dalam 1 hari

Diperbarui:

Minta demo platform

Kami akan menunjukkan cara kerja agen AI pada proses bisnis Anda, menganalisis funnel Anda, dan menjawab semua pertanyaan.