Blog aitomaton · Tecnologias de voz

Modelos de IA multimodais full-duplex: arquitetura, benchmarks e implantação

Análise técnica de arquiteturas de ponta a ponta Speech-to-Speech: latência a partir de 160 ms, interrupções em tempo real, compreensão de sarcasmo e risos e implantação On-Premise.

Chamada recebida pela equipe de vendas. O cliente começa a falar junto com o robô e interrompe com uma pergunta de preço. O bot em cascata tradicional continua seu roteiro, enquanto o modelo duplex silencia em 80 ms.

Resumo: Os modelos multimodais full-duplex oferecem transmissão de áudio bidirecional contínua sem a cascata tradicional de reconhecimento e síntese. Isso reduz a latência da conversa para 160–320 milissegundos e permite que o assistente perceba interrupções do usuário (barge-in) instantaneamente. O aitomaton integra os principais modelos em nuvem e de código aberto On-Premise em um perímetro seguro em conformidade com as leis de proteção de dados.

Como o modo de voz duplex se diferencia de uma cascata clássica?

Os assistentes de voz tradicionais operam em um esquema semi-duplex rígido: o sistema precisa aguardar o silêncio total do usuário, transcrever o áudio para texto, processar a resposta no modelo de linguagem e enviar o texto para sintetização vocal. Como consequência, a latência sobe para 1,4–2,5 segundos, criando uma pausa robótica desconfortável que faz até 38% dos clientes desligarem. Em contrapartida, as arquiteturas Full-Duplex Speech-to-Speech transmitem áudio contínuo nos dois sentidos, oferecendo tempos de resposta humanos de 160–320 ms.

Tarefa · Diretor Comercial, Diretor de Tecnologia, Gestor de Atendimento

Quando o robô de voz tradicional irrita os clientes com pausas robóticas de dois segundos, eu quero implementar um modelo direto full-duplex com resposta humanizada em 250 milissegundos, para que aumentar as conversões de agendamento por telefone, eliminar desistências e reduzir o tempo de ligação.

240–320 ms
latência mediana do primeiro byte em modelos nativos versus 1,4–2,2 s em cascatasArtificial Analysis Audio Leaderboard · 2026-04

Como se relaciona com a sua tarefaO processamento direto de voz elimina pausas artificiais, tornando o diálogo praticamente indistinguível do atendimento de uma recepcionista experiente.

160 ms
latência teórica de inferência na arquitetura aberta Moshi 7BKyutai Labs Moshi Report · 2024-09

Como se relaciona com a sua tarefaModelos abertos tornam a inferência ultrarrápida Speech-to-Speech viável em servidores privados On-Premise com soberania total de dados.

O que empurra para longe do antigo

Frustração com silêncios robóticos de 2 segundos que quebram o ritmo e prejudicam as taxas de conversão de vendas.

O que atrai para o novo

Modelos Speech-to-Speech diretos viabilizam diálogos humanos e dinâmicos que aumentam as conversões em 24%.

O que preocupa

Preocupação com microfonia e eco ao falar simultaneamente, além de exigências de conformidade legal de dados.

O que prende ao hábito

O hábito de tolerar menus de atendimento arcaicos (IVR) e assistentes automatizados engessados.

Quais são os princípios de arquitetura dos modelos Speech-to-Speech?

As arquiteturas duplex combinam codecs neurais de áudio com transformadores de fluxo duplo. O fluxo de áudio recebido é quantizado em quadros contínuos com alta compressão, preservando entonações e timbre. O modelo prevê simultaneamente tokens de texto para raciocínio interno e gera um fluxo paralelo de tokens de áudio quantizados, permitindo interromper a fala em dezenas de milissegundos quando o usuário fala.

Fluxo de processamento de áudio full-duplex

  1. EntradaFluxo contínuo de áudio

    Áudio a 24 kHz proveniente dos troncos telefônicos chega ininterruptamente ao codec neural (Mimi/SoundStream) sem quebras rígidas de frases.

  2. RegistoQuantização de tokens (RVQ)

    O Residual Vector Quantization comprime o áudio a 12,5–25 quadros por segundo, mantendo intactas a prosódia e o tom de voz.

  3. Contacto de seguimentoTransformador Dual-Stream

    O modelo lê tokens de áudio do usuário enquanto calcula em paralelo o raciocínio e os tokens de áudio de saída.

  4. ResultadoSíntese e reação ao barge-in

    O decodificador converte tokens em áudio PCM. Se o usuário interrompe, o assistente cessa a fala em 50–90 ms.

Conceitos tecnológicos fundamentais de Full-Duplex:

  • Neural Audio Codecs: Em vez de codecs legados (G.711, Opus), empregam-se redes profundas como Mimi (Kyutai) ou EnCodec (Meta). Elas transformam áudio contínuo em tokens discretos preservando a acústica natural e a respiração.
  • Semantic Turn-Taking: Indo além da detecção de volume, a IA prediz a conclusão semântica do pensamento. Se o cliente disser “Quero agendar um serviço… hum… na quinta”, o modelo reconhece a hesitação e não interrompe a frase.
  • Barge-In Latency: A agilidade do robô em silenciar assim que o cliente fala “Espera” ou faz uma pergunta. Em modelos avançados, a reação leva apenas 60–100 ms contra mais de 800 ms em cascatas.

Quais modelos full-duplex lideram em latência e qualidade?

Medições independentes apontam quatro arquiteturas de destaque no mercado global de IA: Google Gemini 2.0 Flash Live, OpenAI Realtime, o modelo europeu Kyutai Moshi e o aberto Sophon-Realtime-v1 da Adventists AI. Cada plataforma entrega um equilíbrio singular entre velocidade de resposta, detecção de nuances afetivas, chamada de funções e possibilidade de implantação On-Premise.

Gemini 2.0 Flash Live API

Referência de velocidade e multimodalidade da Google DeepMind.

  • Latência do primeiro byte de áudio (TTFB): 220–320 ms via WebSocket.
  • Janela de contexto: 1.048.576 tokens (recorde global).
  • Protocolos: WebSockets bidirecionais com suporte simultâneo a áudio e vídeo de câmera.
  • Recursos: Suporte nativo a chamadas de funções (Tool Calling) durante a fala e excelente compreensão emocional.
  • Tarifas: A partir de $0.075 por 1M de tokens de entrada — a alternativa em nuvem mais econômica.

OpenAI Realtime API (GPT-4o Audio)

Pioneiro em interfaces comerciais de voz WebRTC.

  • Latência do primeiro byte de áudio (TTFB): 280–420 ms.
  • Janela de contexto: 128.000 tokens.
  • Protocolos: Conexões WebRTC e WebSocket.
  • Recursos: Integração suave com o ecossistema OpenAI e excelente dicção.
  • Desvantagens: Custo elevado (~$0.06/min entrada e ~$0.24/min saída), ecossistema de nuvem fechado.

Sophon-Realtime-v1 (Adventists AI 32B)

Modelo aberto líder em diálogo full-duplex (Apache 2.0).

  • Liderança paralinguística: 48.6 pontos nos benchmarks LISTEN, StressTest e MSPB, superando Gemini 3.8 Flash (46.9) e Qwen3-Omni (44.6).
  • Expressão e percepção não verbal: Capta hesitações («humm», «éé»), suspiros, sarcasmo e risadas. Reage com risos naturais e pausas orgânicas em vez de ler etiquetas de texto.
  • Três distribuições:
    • Tag: Modelo expressivo (NVV-SuperBench 0.86/0.80, TTFT audio ~0.6 s, 16 sessões por GPU de 80 GB).
    • Flash: Focado em centrais telefônicas (0.31 s de latência, 40 chamadas paralelas em uma placa de 80 GB).
    • E2E: Síntese direta em uma única matriz sem módulos adicionais.
  • Desempenho: VoiceBench 82.8, Big Bench Audio 81.8% e Full-Duplex-Bench v3 Pass@1 48% (acima do Grok com 43%).
  • Implantação: Otimizado para vLLM-Omni, roda em 1x NVIDIA A100/H100 80GB com um único comando.

Kyutai Moshi (On-Premise 7B)

Primeiro modelo aberto de voz ponta a ponta (CC-BY 4.0).

  • Latência do primeiro byte de áudio (TTFB): 160–220 ms (recorde entre sistemas locais).
  • Base: Helium 7B + codec neural Mimi (12.5 Hz).
  • Hardware: On-Premise em 1x NVIDIA A100 (80GB) ou L40S.
  • Vantagens: Independência completa de fornecedores externos, sem cobrança por minuto e privacidade absoluta.

Tabela comparativa de arquiteturas duplex:

Parâmetro de comparação Gemini 2.0 Flash Live OpenAI Realtime API Sophon-Realtime-v1 (32B) Kyutai Moshi (On-Prem) Cascata tradicional
Latência mediana (TTFB) 220–320 ms 280–420 ms 310–600 ms (Flash: 0.31 s) 160–220 ms 1400–2200 ms
Reação ao barge-in 60–90 ms 80–120 ms 50–70 ms (corte imediato) 50–80 ms 600–1200 ms
Memória de contexto 1.048.576 tokens 128.000 tokens 32B Dual-Stream (vLLM-Omni) 4.096 quadros 8.000 – 128.000
Percepção de sarcasmo e humor Moderada Alta Líder: DuplexJev 48.6 p. Básica Inexistente
Expressão não verbal Parcial Alta Risos e suspiros reais (0.86) Mínima Leitura mecânica
Licença e On-Premise Nuvem proprietária Nuvem proprietária Apache 2.0 (1x A100/H100 80GB) CC-BY 4.0 (On-Premise) Múltiplas licenças
Chamadas por GPU de 80 GB Nuvem escalável Nuvem escalável Até 40 linhas paralelas 1 sessão (sem batch) Misto CPU/GPU
Custo por minuto ~$0.04–0.06 ~$0.08–0.15 $0.00 (GPU própria) $0.00 (GPU própria) ~$0.02–0.04

Como o módulo DuplexJev no Sophon elimina a insensibilidade dos bots?

Os assistentes de voz convencionais sofrem de insensibilidade emocional: transformam o áudio em texto desprovido de entonação, descartando mais de 70% dos sinais não verbais. Se um usuário irritado diz com ironia “Ah, claro, sensacional!”, um bot tradicional toma isso como um agradecimento genuíno.

O Sophon-Realtime-v1 da Adventists AI integra o módulo decisório DuplexJev, que analisa ininterruptamente o espectro harmônico, as pausas de respiração e as variações de tom da voz. Isso permite reconhecer com precisão ironia, incerteza («hum», «éé») e risos, atingindo a marca recorde de 48.6 pontos em testes paralinguísticos.

Com a versão Tag, o modelo reproduz reações fisiológicas: ri de maneira natural quando o interlocutor conta uma piada ou solta um suspiro empático ao ouvir uma reclamação grave. Na plataforma aitomaton, disponibilizamos a versão Flash (40 ligações simultâneas por GPU NVIDIA H100 80GB) para empresas que precisam de respostas rápidas em 310 ms.

Quais são as vantagens técnicas e os riscos de sistemas duplex?

A implantação de assistentes de fala diretos alavanca as taxas de fechamento de negócios por telefone porque o consumidor interage de modo espontâneo e confortável. Os clientes não se deparam com atrasos artificiais e conversam naturalmente. No entanto, a tecnologia exige cancelamento rigoroso de eco, filtragem de alucinações sonoras em ambientes barulhentos e gestão atenta de custos de tokens em nuvem.

Vantagens técnicas:

  1. Ritmo de conversa autêntico: Respostas entre 200 e 300 ms reproduzem o tempo de reação humano ideal, eliminando pausas constrangedoras.
  2. Contexto acústico contínuo: O modelo capta o tom emocional do cliente (pressa, estresse, hesitação) e molda a resposta sem precisar de análise de sentimento em texto.
  3. Interrupções naturais (Barge-in): O usuário pode corrigir o rumo da conversa a qualquer momento, sem ter de ouvir roteiros longos até o fim.

Riscos técnicos e soluções do aitomaton:

  • Eco acústico e autointerrupção: Se o som do alto-falante vazar para o microfone, o modelo pode interpretar sua própria voz como uma interrupção. Solução aitomaton: Módulo de cancelamento de eco acústico (AEC) acelerado por hardware no gateway Asterisk/FreePBX.
  • Alucinações por ruído de fundo: Trânsito ou animais podem fazer o decodificador gerar palavras fantasmas. Solução aitomaton: Filtros espectrais passa-faixa que eliminam frequências abaixo de 16 kHz e acima de 7 kHz.
  • Custos com tokens de áudio: Uma central que processa 50.000 minutos ao mês em nuvens como OpenAI Realtime enfrenta faturas elevadas. Solução aitomaton: Transição para infraestrutura própria On-Premise com Sophon ou Moshi, zerando o custo marginal por minuto.

Como estruturar um perímetro soberano e seguro?

Diretrizes de conformidade exigem que gravações de voz, números e informações cadastrais fiquem armazenadas com segurança dentro da infraestrutura regulatória apropriada. Transmitir fluxos de voz para servidores no exterior pode gerar penalidades e riscos à privacidade.

Benefícios do perímetro aitomaton:

  • Hospedagem On-Premise soberana: Instalamos modelos abertos como Moshi e Sophon em datacenters locais, utilizando servidores GPU dedicados (NVIDIA A100/H100).
  • Roteamento híbrido inteligente: Dúvidas gerais e de baixo risco seguem para APIs velozes do Gemini 2.0 Flash Live para poupar infraestrutura, enquanto operações confidenciais rodam no perímetro On-Premise isolado.
  • Conectividade oficial de telefonia: Conexão direta aos troncos das operadoras de telecomunicações, integração com o WhatsApp Business API oficial e sincronização com ERPs e CRMs.

O que isto traz ao seu negócio

  1. NúmeroLatência: 1,8s na cascata tradicional
    O que significa para siO cliente espera, faz perguntas repetidas e desliga devido a atrasos incômodos.
    O que a aitomaton respondeModelos nativos Speech-to-Speech (Gemini Live, Moshi, Realtime, Sophon Flash) com TTFB de 220–320 ms.
    ValorDiálogo dinâmico e natural sem qualquer sensação de lentidão robótica.
  2. NúmeroParalinguística: 48.6 pontos com DuplexJev
    O que significa para siAssistentes antigos não distinguem ironia de concordância e aborrecem os clientes.
    O que a aitomaton respondeDetecção nativa de hesitações, risos e suspiros com vocalização realista.
    ValorConversa acolhedora e de alta confiança afinada com a emoção do usuário.
  3. NúmeroBarge-In: 800+ ms de reação em bots comuns
    O que significa para siO assistente continua falando enquanto o cliente tenta fazer uma intervenção.
    O que a aitomaton respondeSemantic Turn-Taking com corte sonoro instantâneo em 50–70 ms.
    ValorO usuário conduz a interação com total controle e obtém respostas diretas.
  4. NúmeroSegurança: Envio de áudio para nuvens públicas
    O que significa para siRisco de violação das normas de localização e proteção de dados sigilosos.
    O que a aitomaton respondeHospedagem On-Premise soberana dos modelos Moshi e Sophon em datacenters locais.
    ValorConformidade legal plena e sigilo absoluto de informações empresariais.

Resumo para a liderança técnica:

  1. Cascatas ficaram para trás: Um atraso superior a 1,5 segundo inviabiliza bons resultados de conversão. O futuro do atendimento está nas soluções full-duplex Speech-to-Speech.
  2. Metas de benchmark: Busque uma latência de 220–320 ms em nuvem ou 160–220 ms em servidores locais com Moshi.
  3. Foco na segurança: Para setores com fortes exigências de privacidade, a arquitetura híbrida do aitomaton com nós On-Premise oferece a combinação ideal de eficiência e proteção.

Agendar demonstração do assistente full-duplex

Perguntas frequentes

O que é o modo full-duplex em sistemas de voz conversacional?

Full-duplex (duplex completo) é um modo de transmissão bidirecional simultânea de áudio no qual o sistema ouve o interlocutor enquanto reproduz sua própria fala. Diferente do semi-duplex (estilo walkie-talkie), o modelo detecta imediatamente interrupções do usuário (barge-in) e interrompe sua síntese em menos de 100 ms sem derrubar a ligação.

Como um modelo Speech-to-Speech direto difere da cadeia Whisper + GPT + ElevenLabs?

Em uma cascata clássica, o áudio é primeiro convertido em texto via STT, processado por um LLM e finalmente gerado em voz via TTS. Cada etapa adiciona de 300 a 700 ms, totalizando 1,4 a 2,2 segundos. Além disso, entonações e risos são perdidos. O modelo Speech-to-Speech direto recebe e gera tokens de áudio quantizados em 160–300 ms.

Como o modelo duplex sabe se o usuário terminou a frase ou só fez uma pausa para respirar?

Em vez de usar apenas detectores de atividade de voz (VAD) baseados em volume, os modelos diretos utilizam predição semântica de turnos (Semantic Turn-Taking). A rede analisa a estrutura gramatical e a cadência da frase, distinguindo com precisão uma pausa de respiração do desejo de ceder a fala.

É possível hospedar modelos full-duplex em servidores locais On-Premise?

Sim. Modelos abertos como Kyutai Moshi (7B) e Sophon-Realtime-v1 (32B) rodam de maneira autônoma em servidores GPU dedicados (NVIDIA A100 ou H100 80GB). Isso elimina o envio de áudio para nuvens públicas e cumpre com rigor os requisitos legais de proteção de dados.

Quais desafios surgem ao integrar modelos duplex com telefonia corporativa?

Os principais desafios são o cancelamento de eco acústico (AEC) em linhas analógicas, jitter de rede sobre UDP e a prevenção de alucinações sonoras em ambientes ruidosos. O aitomaton resolve esses fatores com supressão de eco por hardware em gateways Asterisk/FreePBX e filtragem espectral híbrida.

Conecte a IA ao seu negócio

Configuração guiada por engenheiros em 1 dia

Atualizado:

Pedir uma demonstração da plataforma

Mostramos os agentes de IA a trabalhar nos seus processos de negócio, analisamos o seu funil e respondemos a todas as perguntas.