Le problème avec la plupart des systèmes vocaux IA au téléphone n’est pas la qualité de la voix. Ce n’est pas non plus le contenu de la réponse. C’est le silence entre la question et la réponse.
Une seconde et demie. C’est ce que prennent beaucoup de systèmes actuels pour traiter une phrase, formuler une réponse et la prononcer. Au téléphone, sans interface visuelle, sans barre de progression, ce silence est pesant. L’appelant ne sait pas si le système réfléchit, s’il a planté, ou s’il a raccroché.
OpenAI vient de rendre GPT-Realtime disponible en production. Le modèle ne suit pas le chemin classique (transcrire l’audio en texte, traiter le texte, synthétiser la réponse en audio). Il traite l’audio directement, de bout en bout. Un seul modèle pour tout le processus. La Realtime API est ouverte pour un usage en production, et pour le secteur de la téléphonie IA, les implications méritent qu’on s’y arrête.
Voix à voix : ce que ça change concrètement
Le pipeline traditionnel d’IA vocale ressemble à une chaîne de trois maillons. Le Speech-to-Text (STT) convertit la voix de l’appelant en texte. Un modèle de langage (LLM) lit ce texte et rédige une réponse. Le Text-to-Speech (TTS) transforme cette réponse en audio. Chaque étape ajoute entre 100 et 300 millisecondes de latence. Total : 1 à 2 secondes entre la fin de la phrase de l’appelant et le début de la réponse.
Le temps n’est qu’un aspect du problème. Chaque conversion efface des informations. Quand l’audio est transcrit, le ton disparait. L’agacement dans la voix. L’hésitation. Le soulagement. La transcription affiche “d’accord” que l’appelant l’ait dit avec résignation ou avec enthousiasme. Le LLM répond au mot, pas à l’émotion. Et le TTS génère l’audio dans le profil vocal qu’on lui a donné, sans lien avec l’état émotionnel de la conversation.
GPT-Realtime traite le signal audio tel quel. Le modèle perçoit le ton, le rythme, les variations émotionnelles de l’appelant, et produit une réponse qui en tient compte, aussi bien dans le contenu que dans la tonalité. OpenAI annonce une latence de 250 à 500ms de bout en bout. C’est dans la zone où les conversations paraissent naturelles.
En France, où les interactions téléphoniques professionnelles accordent une importance particulière au ton et à la courtoisie, cette capacité à capter et reproduire des nuances émotionnelles n’est pas anecdotique. Un système qui répond de façon plate à un appelant mécontent produit l’effet inverse de celui recherché.
Pipeline classique vs. Realtime : pourquoi l’architecture compte
Au téléphone, la latence ne se mesure pas pareil que sur un écran. Voici ce que les appelants vivent à chaque niveau :
Moins de 500ms : La conversation coule. L’appelant ne perçoit pas de retard. On dirait quelqu’un qui prend un instant pour formuler sa pensée.
500ms à 1 seconde : Perceptible mais supportable. Les appelants commencent à ralentir leur débit, à allonger leurs pauses entre les phrases.
Plus de 1 seconde : La conversation se dégrade. L’appelant parle en même temps que l’IA, répète ses questions, s’énerve. Certains raccrochent.
Le pipeline classique (STT + LLM + TTS) tombe en général dans la plage 1-2 secondes. Les implémentations bien optimisées avec du streaming peuvent descendre sous la seconde. GPT-Realtime vise 250-500ms, ce qui le place dans la catégorie “on dirait qu’on parle à une personne.”
Il y a un autre avantage au-delà de la vitesse. Parce que le modèle traite l’audio nativement, il capte des signaux que la transcription rate. Un soupir. Un rire. Un changement de rythme qui signale de la confusion. Ces signaux influencent la façon dont le modèle répond.
Pour comprendre comment un pipeline vocal se construit dans la pratique, nous avons détaillé l’architecture de Safina, y compris les choix sur la reconnaissance vocale et la synthèse vocale.
Appels SIP : l’IA branchée sur le réseau téléphonique
L’une des nouveautés les plus concrètes de la Realtime API est le support SIP. Le SIP (Session Initiation Protocol) est le standard utilisé par les réseaux téléphoniques pour établir et gérer les appels. En France, la téléphonie d’entreprise repose sur SIP depuis des années. Les centraux IP, les trunks SIP chez OVH, Orange Business ou Free Pro, tout passe par ce protocole.
Avant ce support natif, raccorder un agent vocal IA au réseau téléphonique nécessitait des couches intermédiaires. Un fournisseur de téléphonie comme Twilio, un pont WebSocket, du code maison pour acheminer l’audio entre le réseau et l’IA. Ça fonctionnait, mais ça ajoutait de la complexité, du coût et de la latence.
Avec le support SIP natif, l’agent IA se branche directement sur l’infrastructure téléphonique existante. Attribuer des numéros, configurer le routage des appels, gérer les appels entrants et sortants sans construire une couche de téléphonie supplémentaire. Pour les entreprises françaises qui envisagent l’automatisation téléphonique, c’est une simplification réelle.
Le marché français reste fortement attaché au téléphone pour les interactions commerciales. Un standard médical, un cabinet d’avocats, une agence immobilière : le téléphone reste le premier point de contact. Avoir une IA qui se branche sur l’infrastructure SIP existante sans passer par trois services tiers rend l’adoption plus accessible.
Les chiffres : benchmark par benchmark
Le modèle GPT-Realtime mis à jour affiche des progrès mesurables par rapport à la version de décembre 2024 :
Intelligence (BigBench Audio) : de 65,6% à 82,8%. Le modèle comprend ce que les appelants disent et demandent avec une précision nettement supérieure.
Suivi d’instructions (MultiChallenge Audio) : de 20,6% à 30,5%. Quand on lui donne des consignes précises (demander un nom, confirmer un rendez-vous, collecter des informations), le modèle les suit de manière plus fiable.
Appels de fonctions (ComplexFuncBench Audio) : de 49,7% à 66,5%. Le modèle peut déclencher des actions externes (prise de rendez-vous, recherche dans une base de données, envoi de notifications) en se basant sur la conversation.
Deux nouvelles voix font leur apparition : Cedar et Marin, exclusives à la Realtime API. Et une variante optimisée en coût, gpt-realtime-mini, pour les cas où la latence basse et le prix réduit comptent plus que la puissance maximale.
Limite connue : le modèle identifie parfois mal la langue des locuteurs ayant un accent prononcé. Pour la France, avec ses communautés francophones d’origines diverses et les accents régionaux, c’est un point à tester sérieusement avant un déploiement.
Les compromis : Realtime vs. Pipeline
GPT-Realtime marque un progrès net, mais ce n’est pas la seule approche valable. L’architecture pipeline (STT + LLM + TTS), comme celle qu’utilise Safina, présente des avantages concrets.
Contrôle composant par composant. Dans un pipeline, chaque pièce est interchangeable. Un meilleur modèle STT sort sur le marché, on l’intègre. Une voix TTS plus adaptée, on la remplace. Un LLM différent pour certains types d’appels, on ajuste le routage. Avec un modèle unique de bout en bout, on prend ce que le modèle fournit.
Transparence. Dans un pipeline, on peut examiner ce qui s’est passé à chaque étape. Lire la transcription, vérifier le raisonnement du LLM, évaluer la sortie TTS séparément. Avec un modèle voix-à-voix, les étapes intermédiaires restent invisibles. Le diagnostic des problèmes est plus complexe.
Indépendance vis-à-vis des fournisseurs. Un pipeline permet de combiner des prestataires. Deepgram pour le STT, Claude pour le raisonnement, Cartesia pour le TTS. Si l’un d’eux tombe en panne ou augmente ses tarifs, on remplace cette brique sans toucher au reste.
Optimisation par étape. Chaque composant se règle individuellement. Un modèle STT rapide pour les demandes simples, un plus précis pour les demandes complexes. Des paramètres TTS qui s’adaptent selon le contexte émotionnel que le LLM identifie.
L’approche realtime gagne sur la latence et la continuité émotionnelle. Le pipeline gagne sur la flexibilité et le contrôle. Les deux ont leur place. L’industrie se dirige probablement vers une combinaison des deux : des modèles de bout en bout pour le chemin rapide, des composants pipeline pour les besoins spécialisés.
Pour un panorama plus large de la voix IA, consultez notre analyse des agents vocaux IA en 2026. Et pour un autre modèle qui aborde le temps réel vocal, nous avons analysé Gemini 3.1 Flash Live.