Blog de aitomaton · Tecnologías de voz

Modelos de IA multimodales full-duplex: arquitectura, benchmarks e implementación

Análisis técnico de arquitecturas integrales Speech-to-Speech: latencia desde 160 ms, interrupciones en tiempo real, detección de sarcasmo y risas, y despliegues soberanos On-Premise.

Llamada entrante a ventas. El cliente habla simultáneamente con el robot e interrumpe con una pregunta sobre el precio. El bot en cascada tradicional continúa su monólogo, mientras que el modelo dúplex se silencia en 80 ms.

En resumenLos modelos multimodales full-duplex proporcionan transmisión continua de audio bidireccional sin la cascada tradicional de reconocimiento y síntesis. Esto reduce la latencia de diálogo a 160–320 milisegundos y permite al robot detectar al instante las interrupciones del interlocutor (barge-in). Aitomaton integra los principales modelos en la nube y de código abierto On-Premise dentro de un perímetro seguro para empresas que cumple con las leyes de protección de datos.

¿En qué se diferencia el modo de voz dúplex de una cascada clásica?

Los robots de voz convencionales operan bajo un esquema semi-dúplex de turnos rígidos: el sistema primero espera un silencio completo, transcribe el audio a texto, aguarda la inferencia del modelo de lenguaje y envía el texto al motor de síntesis de voz. Como consecuencia, la latencia se dispara a 1,4–2,5 segundos, generando una pausa robótica incómoda que provoca el abandono de hasta un 38% de las conversaciones. En cambio, las arquitecturas Full-Duplex Speech-to-Speech transmiten audio bidireccional continuo con tiempos de respuesta humanos de 160–320 ms.

Tarea · Director Comercial, Director de Tecnología, Responsable de Centro de Contacto

Cuando un bot de voz tradicional irrita a los clientes con pausas de dos segundos, quiero implementar un modelo directo full-duplex con respuesta instantánea de 250 milisegundos, para que aumentar la conversión de reservas telefónicas, evitar llamadas colgadas y reducir el tiempo de atención.

240–320 ms
latencia mediana del primer byte en modelos nativos frente a 1,4–2,2 s en cascadasArtificial Analysis Audio Leaderboard · 2026-04

Cómo se relaciona con tu tareaEl procesamiento directo elimina la latencia artificial, logrando que el diálogo sea indistinguible de la atención de un recepcionista experimentado.

160 ms
latencia teórica de inferencia de la arquitectura abierta Moshi 7BKyutai Labs Moshi Report · 2024-09

Cómo se relaciona con tu tareaLos modelos abiertos permiten desplegar inferencia ultrarrápida Speech-to-Speech en servidores privados On-Premise con total soberanía de datos.

Qué empuja a dejar lo anterior

Frustración ante las pausas artificiales de 2 segundos que rompen la naturalidad y provocan la pérdida de clientes potenciales.

Qué atrae hacia lo nuevo

Los modelos Speech-to-Speech directos permiten una conversación fluida y humana que aumenta la conversión en un 24%.

Qué preocupa

Preocupación por el eco acústico al hablar simultáneamente y el cumplimiento de la privacidad de los datos.

Qué retiene en lo habitual

La costumbre de tolerar los menús IVR anticuados y los bots rígidos de generaciones pasadas.

¿Cuáles son los principios arquitectónicos clave de los modelos Speech-to-Speech?

Las arquitecturas dúplex combinan códecs de audio neuronales con transformadores de doble flujo. El flujo de audio entrante se cuantifica en tramas continuas con compresión avanzada que preserva entonaciones y timbre. El modelo predice en paralelo tokens de texto de su razonamiento interno y genera un flujo simultáneo de tokens de audio salientes, lo que permite detectar interrupciones humanas en decenas de milisegundos.

Flujo de funcionamiento del canal de audio full-duplex

  1. EntranteFlujo de audio continuo

    El audio a 24 kHz de las líneas telefónicas entra ininterrumpidamente al códec neuronal (Mimi/SoundStream) sin segmentación rígida.

  2. RegistroCuantificación en tokens (RVQ)

    El algoritmo Residual Vector Quantization comprime el sonido a 12,5–25 tramas por segundo preservando la prosodia.

  3. Contacto de seguimientoTransformador Dual-Stream

    El transformador lee los tokens de audio del usuario mientras calcula paralelamente el razonamiento y los tokens de audio salientes.

  4. ResultadoSíntesis y reacción al barge-in

    El decodificador neuronal emite audio PCM. Si el interlocutor interrumpe, la emisión se detiene de inmediato en 50–90 ms.

Conceptos tecnológicos clave de Full-Duplex:

  • Neural Audio Codecs: En lugar de códecs clásicos (G.711, Opus), se emplean arquitecturas profundas como Mimi (Kyutai) o EnCodec (Meta). Convierten el sonido en tokens discretos manteniendo el contexto acústico y las respiraciones.
  • Semantic Turn-Taking: Superando los umbrales de energía simples, el sistema predice la conclusión de la idea. Si el usuario dice “Necesito agendar una cita… este… para el jueves”, el modelo comprende la duda y no interrumpe prematuramente.
  • Barge-In Latency: La capacidad del sistema de silenciarse en el instante en que el usuario dice “Espera” o plantea una objeción. En modelos avanzados, esto toma entre 60 y 100 ms frente a más de 800 ms en bots tradicionales.

¿Qué modelos full-duplex lideran en latencia y calidad?

Las pruebas independientes destacan cuatro arquitecturas principales: Google Gemini 2.0 Flash Live, OpenAI Realtime, la europea Kyutai Moshi y la abierta Sophon-Realtime-v1 de Adventists AI. Cada opción ofrece un equilibrio entre velocidad de respuesta, percepción emocional, compatibilidad con herramientas y posibilidad de despliegue On-Premise.

Gemini 2.0 Flash Live API

Referente de velocidad y multimodalidad de Google DeepMind.

  • Latencia del primer byte de audio (TTFB): 220–320 ms mediante WebSocket.
  • Ventana de contexto: 1.048.576 tokens (récord de la industria).
  • Protocolos: WebSockets bidireccionales con soporte simultáneo de audio y video.
  • Características: Ejecución de funciones (Tool Calling) en tiempo real, excelente dominio de múltiples idiomas y percepción de matices.
  • Tarifa: Desde $0.075 por 1M de tokens de entrada — una de las opciones más económicas en la nube.

OpenAI Realtime API (GPT-4o Audio)

Pionero en interfaces de audio WebRTC comerciales.

  • Latencia del primer byte de audio (TTFB): 280–420 ms.
  • Ventana de contexto: 128.000 tokens.
  • Protocolos: Conexiones WebRTC y WebSocket.
  • Características: Integración con el ecosistema de OpenAI, excelente articulación y ajuste de tono.
  • Limitaciones: Costes elevados por minuto (~$0.06 entrada y ~$0.24 salida), entorno de nube cerrado.

Sophon-Realtime-v1 (Adventists AI 32B)

Potencia de voz full-duplex de código abierto (Apache 2.0).

  • Liderazgo paralingüístico: 48.6 puntos en LISTEN, StressTest y MSPB, superando a Gemini 3.8 Flash (46.9) y Qwen3-Omni (44.6).
  • Detección y emisión no verbal: Identifica vacilaciones («eh», «hum»), suspiros, sarcasmo y risas. Responde con risas naturales en lugar de leer etiquetas textuales mecánicamente.
  • Tres versiones de despliegue:
    • Tag: Modelo expresivo (NVV-SuperBench 0.86/0.80, TTFT audio ~0.6 s, 16 llamadas por GPU de 80 GB).
    • Flash: Optimizado para centros de contacto (TTFB de 0.31 s, 40 líneas simultáneas por tarjeta de 80 GB).
    • E2E: Síntesis directa en una sola matriz sin módulos de voz independientes.
  • Benchmarks: VoiceBench 82.8, Big Bench Audio 81.8% y Full-Duplex-Bench v3 Pass@1 48% (por encima de Grok con 43%).
  • Despliegue: Optimizado para vLLM-Omni, se ejecuta en 1x NVIDIA A100/H100 80GB sin dependencias externas.

Kyutai Moshi (On-Premise 7B)

Primer modelo de voz integral de código abierto (CC-BY 4.0).

  • Latencia del primer byte de audio (TTFB): 160–220 ms (récord entre modelos locales).
  • Base: Helium 7B + códec de audio Mimi (12.5 Hz).
  • Hardware: On-Premise en 1x NVIDIA A100 (80GB) o L40S.
  • Ventajas: Independencia total de proveedores en la nube, cero coste por tokens y estricta privacidad de datos.

Tabla comparativa de arquitecturas dúplex:

Parámetro de comparación Gemini 2.0 Flash Live OpenAI Realtime API Sophon-Realtime-v1 (32B) Kyutai Moshi (On-Prem) Cascada tradicional
Latencia mediana (TTFB) 220–320 ms 280–420 ms 310–600 ms (Flash: 0.31 s) 160–220 ms 1400–2200 ms
Reacción al barge-in 60–90 ms 80–120 ms 50–70 ms (corte instantáneo) 50–80 ms 600–1200 ms
Memoria de contexto 1.048.576 tokens 128.000 tokens 32B Dual-Stream (vLLM-Omni) 4.096 tramas 8.000 – 128.000
Detección de sarcasmo y risas Moderada Alta Líder: DuplexJev 48.6 p. Básica Inexistente
Emisión de reacciones no verbales Parcial Alta Risas y suspiros orgánicos (0.86) Mínima Lectura mecánica
Licencia y On-Premise Nube propietaria Nube propietaria Apache 2.0 (1x A100/H100 80GB) CC-BY 4.0 (On-Premise) Licencias múltiples
Líneas por GPU de 80 GB Clúster en la nube Clúster en la nube Hasta 40 líneas simultáneas 1 sesión (sin batching) Clúster mixto
Coste por minuto ~$0.04–0.06 ~$0.08–0.15 $0.00 (GPU propia) $0.00 (GPU propia) ~$0.02–0.04

¿Cómo soluciona el módulo DuplexJev de Sophon la sordera emocional de los bots?

Los asistentes de voz convencionales sufren de sordera emocional: reducen el espectro sonoro a texto plano, descartando más del 70% de la información no verbal. Si un cliente frustrado responde con sarcasmo “¡Claro, qué maravilla!”, un bot antiguo lo interpreta erróneamente como un elogio sincero.

Sophon-Realtime-v1 de Adventists AI incluye el módulo especializado de toma de decisiones de audio DuplexJev. Este analiza constantemente el espectro acústico, las micropausas respiratorias, los cambios de registro y el vibrato de la voz. Gracias a ello, el modelo detecta con precisión el sarcasmo, las dudas («eh», «hum») y las risas, alcanzando un récord de 48.6 puntos en benchmarks paralingüísticos.

Con la versión Tag, el modelo genera reacciones físicas creíbles: se ríe de forma natural cuando el usuario bromea o suspira con empatía ante una queja, eliminando lecturas mecánicas de etiquetas. En la plataforma aitomaton implementamos la versión Flash (40 llamadas simultáneas por tarjeta NVIDIA H100 80GB) para centros de llamadas que requieren respuestas en 310 ms.

¿Cuáles son las ventajas técnicas y los riesgos de los sistemas dúplex?

Adoptar interfaces de voz integrales eleva significativamente las conversiones telefónicas porque los usuarios experimentan un diálogo genuinamente humano. Los clientes no sienten retrasos robóticos y se expresan con comodidad. Sin embargo, esta tecnología exige una estricta cancelación de eco telefónico, blindaje contra alucinaciones sonoras en entornos ruidosos y un control riguroso de los costes de tokens en la nube.

Ventajas técnicas:

  1. Ritmo de diálogo natural: Respuestas en 200–300 ms compatibles con los tiempos de pausa humanos habituales, eliminando silencios incómodos.
  2. Contexto acústico enriquecido: La red percibe el estado anímico del interlocutor (molestia, prisa, inseguridad) y adapta el tono sin depender de análisis de texto.
  3. Interrupciones fluidas (Barge-in): El usuario puede rectificar al agente en cualquier segundo sin esperar a que concluyan cláusulas extensas.

Riesgos técnicos y soluciones de aitomaton:

  • Eco acústico y autointerrupción: Si el sonido del altavoz entra al micrófono, el modelo puede confundir su propia voz y callarse. Solución de aitomaton: Cancelación de eco acústico (AEC) acelerada por hardware a nivel de pasarela Asterisk/FreePBX.
  • Alucinaciones por ruido ambiental: Ladridos o tráfico continuo pueden inducir al decodificador a generar palabras ficticias. Solución de aitomaton: Filtros espectrales híbridos que recortan frecuencias por debajo de 16 kHz y por encima de 7 kHz.
  • Costes de tokens en la nube: Un centro de contacto con 50.000 minutos mensuales en OpenAI Realtime afronta costes elevados. Solución de aitomaton: Migración a servidores GPU On-Premise con Sophon o Moshi para reducir el coste marginal a cero.

¿Cómo desplegar un perímetro soberano y protegido?

Los marcos regulatorios de privacidad exigen que las grabaciones de voz, números de teléfono y registros personales se almacenen dentro de la infraestructura local correspondiente. Enviar flujos de audio a servidores externos en la nube expone a las organizaciones a sanciones regulatorias y riesgos de seguridad.

Ventajas de la arquitectura de aitomaton:

  • Despliegue On-Premise soberano: Implementamos modelos abiertos como Moshi y Sophon-Realtime en centros de datos locales sobre clústeres dedicados NVIDIA A100/H100.
  • Enrutamiento inteligente híbrido: Las consultas generales no confidenciales se dirigen a las API ultrarrápidas de Gemini 2.0 Flash Live para optimizar recursos, mientras que las operaciones sensibles pasan al perímetro aislado On-Premise.
  • Integración oficial con telefonía: Conexión directa a enlaces de telecomunicaciones, WhatsApp Business API oficial y sincronización con sistemas ERP y CRM.

Qué aporta esto a tu negocio

  1. CifraLatencia: 1,8 segundos en sistemas en cascada
    Qué significa para tiEl cliente espera, repite preguntas y cuelga debido a pausas artificiales.
    Qué responde aitomatonModelos nativos Speech-to-Speech (Gemini Live, Moshi, Realtime, Sophon Flash) con latencia de 220–320 ms.
    ValorConversación fluida y humana sin retrasos perceptibles.
  2. CifraParalingüística: 48.6 puntos con DuplexJev
    Qué significa para tiLos bots antiguos confunden el sarcasmo con la aceptación y frustran a los clientes.
    Qué responde aitomatonComprensión natural de dudas, risas y suspiros con síntesis expresiva.
    ValorDiálogo empático y de alta confianza ajustado al estado emocional del cliente.
  3. CifraBarge-In: 800+ ms de reacción en bots tradicionales
    Qué significa para tiEl robot sigue hablando mientras el cliente intenta hacer una contrapregunta.
    Qué responde aitomatonSemantic Turn-Taking y corte de audio inmediato en 50–70 ms.
    ValorEl cliente dirige la conversación y obtiene respuestas precisas.
  4. CifraSeguridad: Envío de audio a nubes públicas externas
    Qué significa para tiRiesgo de incumplimiento de leyes de protección y localización de datos.
    Qué responde aitomatonAlojamiento On-Premise de modelos Moshi y Sophon en centros de datos locales.
    ValorCumplimiento legal absoluto y protección del secreto comercial.

Resumen para líderes técnicos:

  1. Las cascadas han quedado obsoletas: Una latencia de más de 1,5 segundos perjudica la conversión de ventas. El futuro corresponde a los modelos Speech-to-Speech full-duplex.
  2. Objetivos de referencia: Latencia de primer audio de 220–320 ms en la nube o 160–220 ms en arquitecturas locales con Moshi.
  3. Prioridad a la seguridad: Para organizaciones con altos estándares de cumplimiento, la solución óptima es la arquitectura híbrida de aitomaton con nodos GPU On-Premise.

Solicitar una demostración de voz full-duplex

Preguntas frecuentes

¿Qué es el modo full-duplex en sistemas de voz conversacional?

Full-duplex (dúplex completo) es un modo de transmisión simultánea y bidireccional de audio en el que el sistema escucha al interlocutor mientras reproduce su propia voz. A diferencia del semi-dúplex (estilo walkie-talkie), el modelo capta al instante las interrupciones del usuario (barge-in) y detiene su síntesis en menos de 100 ms sin reiniciar la sesión.

¿En qué se diferencia un modelo Speech-to-Speech directo de la combinación Whisper + GPT + ElevenLabs?

En una cascada clásica, el audio se transcribe primero a texto vía STT, luego se procesa con un LLM y finalmente se sintetiza en TTS. Cada paso agrega 300–700 ms, sumando 1,4–2,2 segundos en total. Además, se pierden la entonación y las risas. Un modelo Speech-to-Speech procesa y genera tokens de audio directamente con una latencia de 160–300 ms.

¿Cómo distingue el modelo dúplex si una persona terminó su frase o solo está tomando aire?

En lugar de depender exclusivamente de detectores de actividad de voz (VAD) basados en volumen, los modelos directos emplean predicción semántica de turnos (Semantic Turn-Taking). La red neuronal analiza la estructura gramatical y la entonación descendente, diferenciando una pausa para respirar de la intención de ceder el turno.

¿Se puede implementar un modelo full-duplex en servidores locales On-Premise?

Sí. Arquitecturas de código abierto como Kyutai Moshi (7B) y Sophon-Realtime-v1 (32B) se despliegan de forma autónoma en servidores GPU dedicados (NVIDIA A100 o H100 80GB). Esto evita la salida de datos confidenciales hacia la nube y cumple estrictamente con las regulaciones de soberanía de datos.

¿Qué desafíos surgen al integrar modelos dúplex con la telefonía empresarial?

Los principales retos son la cancelación de eco acústico (AEC) en líneas telefónicas analógicas, el jitter de red sobre UDP y evitar alucinaciones vocales causadas por el ruido ambiente. Aitomaton soluciona esto mediante supresión de eco a nivel de pasarela Asterisk/FreePBX y filtrado espectral híbrido.

Compruébelo con sus datos

Tres días gratis o demo personalizada de su proceso.

Actualizado:

Solicitar una demostración de la plataforma

Le mostraremos los agentes de IA trabajando en sus procesos de negocio, analizaremos su embudo y responderemos todas sus preguntas.