Les pipelines vocaux traditionnels cumulaient les latences : Speech-to-Text (STT), traitement par le LLM, puis Text-to-Speech (TTS). Chaque étape ajoutait 500 à 1 000 ms, donnant aux conversations un ton robotique et artificiel.
Les modèles natifs de speech-to-speech, comme OpenAI Realtime API et Gemini Live, condensent toute la chaîne en un modèle transformer qui reçoit et produit directement de l’audio. La latence passe sous les 300 ms, proche du rythme d’une conversation humaine naturelle.
Le transport est déterminant : le polling par requêtes HTTP POST ne convient pas à la voix en temps réel. En production, on utilise WebRTC ou le streaming audio par WebSocket sur UDP/TCP, avec gestion des interruptions côté serveur (barge-in) pour que le modèle cesse de parler dès que l’utilisateur prend la parole.
Les microservices Node.js ou Python du backend gèrent les appels de fonctions pendant la conversation. Tant que le flux vocal reste actif, le modèle peut utiliser des outils — vérifier la disponibilité d’une chambre, passer une commande ou interroger un CRM — puis diffuser le résultat sans couper la connexion audio.
L’intégration de la vision multimodale permet à l’utilisateur de pointer sa caméra vers un objet ou un écran. Des images sont transmises avec l’audio pour permettre un raisonnement visuel immédiat, un diagnostic ou l’examen d’un document.
Donnez à votre prochain produit quelqu’un qui reste.
Prêt à commencer ? Écrivez-moi — je peux démarrer immédiatement et rester dans la durée. Des collaborations à long terme, pas une passation après deux semaines. Discutons de votre projet, de vos exigences et de la meilleure façon d’avancer.