Geleneksel sesli yapay zekâ hatlarında gecikme birikirdi: Speech-to-Text (STT), LLM işleme, Text-to-Speech (TTS). Her aşama 500–1.000 ms ekleyerek konuşmaları robotik ve doğal olmayan hâle getirirdi.
OpenAI Realtime API ve Gemini Live gibi yerel speech-to-speech modelleri, tüm hattı doğrudan ses girişi ve ses çıkışı olan tek bir transformer modelinde birleştirir. Gecikme 300 ms’nin altına iner ve doğal insan konuşmasının hızına yaklaşır.
Aktarım mimarisi önemlidir: HTTP POST polling gerçek zamanlı ses için uygun değildir. Üretim uygulamaları WebRTC veya UDP/TCP üzerinden WebSocket ses akışı kullanır; modelin kullanıcı konuşmaya başlar başlamaz susması için sunucu tarafında araya girme (barge-in) yönetimi de gerekir.
Backend’deki Node.js veya Python mikro hizmetleri konuşma sırasında function calling işlemlerini yürütür. Ses akışı devam ederken model araçları kullanabilir — otel odası müsaitliğini denetleyebilir, sipariş verebilir veya CRM’i sorgulayabilir — ve ses bağlantısını kesmeden sonucu akışa ekleyebilir.
Çok modlu görüntü desteği, kullanıcının kamerasını bir nesneye veya ekrana doğrultmasına olanak verir. Görüntü kareleri sesle birlikte aktarılır; anlık görsel akıl yürütme, tanılama yardımı veya belge incelemesi sağlanır.
Bir sonraki ürüne kalacak birini verin.
Başlamaya hazır mısınız? Bana yazın — hemen başlayabilir ve kalabilirim. İki haftalık devir değil, uzun vadeli iş birliği. Projenizi, gereksinimleri ve ilerlemenin en iyi yolunu konuşalım.