Los pipelines de voz tradicionales acumulaban latencia: Speech-to-Text (STT), procesamiento del LLM y Text-to-Speech (TTS). Cada etapa añadía entre 500 y 1.000 ms, haciendo que las conversaciones sonaran robóticas y poco naturales.
Los modelos nativos de speech-to-speech, como OpenAI Realtime API y Gemini Live, condensan toda la cadena en un único modelo transformer con entrada y salida directas de audio. La latencia cae por debajo de 300 ms, acercándose al ritmo de una conversación humana natural.
La arquitectura de transporte es clave: el polling con HTTP POST no sirve para voz en tiempo real. En producción se usa WebRTC o streaming de audio por WebSocket sobre UDP/TCP, junto con gestión de interrupciones en el servidor (barge-in), para que el modelo deje de hablar en cuanto interviene el usuario.
Los microservicios backend de Node.js o Python gestionan llamadas a funciones durante la conversación. Mientras el flujo de voz sigue activo, el modelo puede ejecutar herramientas —consultar disponibilidad hotelera, realizar un pedido o consultar un CRM— y transmitir el resultado sin cerrar la conexión de audio.
La integración de visión multimodal permite apuntar la cámara a un objeto físico o a una pantalla y enviar fotogramas junto con el audio para realizar razonamiento visual, asistencia de diagnóstico o inspección de documentos al instante.
Dale al próximo producto alguien que se quede.
¿Listo para empezar? Envíame un mensaje: puedo comenzar ahora y quedarme. Colaboraciones a largo plazo, no una entrega de dos semanas. Hablemos de tu proyecto, requisitos y la mejor forma de avanzar.