Pek çok şirketin zaten bir yapay zekâ chatbotu var ve birçoğu ondan sessizce memnun değil. Dokümantasyonda olmayan cevaplar uyduruyor, yanıt vermesi beş saniye sürüyor ve aylık API faturası büyümeye devam ediyor. Alışılmış tepki modeli değiştirmek ya da promptu bir kez daha yeniden yazmak. Deneyimime göre sorun nadiren modeldedir. Neredeyse her zaman arama katmanında, prompt sözleşmesinde ya da sistemin modeli nasıl çağırdığındadır.
Üç belirti, tek sistem
Basit bir soru: “İade süreniz ne kadar?” Bozuk bir bot 4,8 saniyede “90 gün içinde, soru sorulmadan iade” diye cevap verir. Kendinden emin görünür ama politikanızın hiçbir yerinde yazmaz. Düzeltilmiş bir bot ise “İadeler satın alımdan sonraki 60 gün içinde yapılabilir” der, Refund-Policy.pdf, sayfa 2’yi kaynak gösterir ve bunu 1,4 saniyede yapar. Aynı model, aynı belgeler. Fark mühendislikte: modelin ne aldığı, ne söylemesine izin verildiği ve her istekte ne kadar iş yapıldığı.
Yanlış cevaplar genellikle bir arama sorunudur
Bir bot bir şey uydurduğunda, model genellikle doğru pasajı almamıştır ya da onu alakasız pasajların arasında almıştır. Belgelerin nasıl ayrıştırılıp parçalara bölündüğünü, aramanın anahtar kelime ve anlamsal eşleşmeyi birleştirip birleştirmediğini, bir reranker’ın en iyi pasajı başa koyup koymadığını ve dizinde eski belgeler kalıp kalmadığını kontrol ederim. Ardından prompt kaynağa dayanmayı kural hâline getirir: yalnızca verilen kaynaklardan cevap ver, onları göster, kanıt yoksa bunu açıkça söyle ya da görüşmeyi bir insana devret. Kaynak göstermek kullanıcıların cevabı doğrulamasını sağlar ve size hangi belgenin hataya yol açtığını tam olarak gösterir.
Yavaş yanıtlar: saniyeler nereye gidiyor
Gecikme nadiren tek büyük bir sorundur; birbirine eklenen birkaç küçük sorundur. Paralel çalışabilecekken sırayla yapılan çağrılar, basit bir sınıflandırma adımı için kullanılan büyük model, beşinin yeteceği yerde getirilen otuz parça ve streaming olmaması, yani kullanıcının boş bir baloncuğa bakması. Her adımı ayrı ayrı ölçer ve önce en büyüğünü düzeltirim: yanıtı stream etmek, bağımsız adımları paralel çalıştırmak, tekrar edeni önbelleğe almak ve kolay istekleri daha küçük, daha hızlı bir modele yönlendirmek.
Yüksek API faturaları: kimsenin ihtiyaç duymadığı tokenlara ödeme
Maliyet de aynı kalıbı izler. Faturaların çoğunu gereksiz bağlam şişirir: tam sohbet geçmişleri, aşırı büyük arama sonuçları, uzun sistem promptları ve her istekte en pahalı model. Promptun sabit kısmı için prompt caching, kısaltılmış ya da özetlenmiş geçmiş, daha küçük arama sonuçları ve zorluğa göre yönlendirme çoğu zaman kaliteyi bozmadan faturayı ciddi ölçüde düşürür. Maliyet her sohbet ve her özellik için kaydedilir; böylece tasarruf görünür olur, gerilemeler yakalanır.
Nasıl düzeltiyorum: denetim, arama, promptlar, maliyet, rapor
| Adım | Ne yapıyorum | Ne kazanıyorsunuz |
|---|---|---|
| Denetim | Gerçek konuşmaları toplamak, bir değerlendirme seti kurmak, doğruluk, gecikme ve maliyeti ölçmek | Karşılaştırma için bir referans noktası |
| Arama | Ayrıştırma, parçalama, hibrit arama ve reranking’i düzeltmek; kaynak göstermeyi eklemek | Belgelerinize dayanan cevaplar |
| Promptlar | Sistem promptunu yedek senaryolar ve insana devirle bir davranış sözleşmesi olarak yeniden yazmak | Daha az uydurma cevap ve dürüst bir “bilmiyorum” |
| Maliyet | Prompt caching, model yönlendirme, bağlam sınırları, maliyet kaydı | Daha düşük ve öngörülebilir bir API faturası |
| Rapor | Aynı test setinde önce ve sonra rakamları | İyileşmenin kanıtı ve yeniden kullanılabilir bir test seti |
Denetimden önce hiçbir şey değişmez. Bir referans noktası olmadan her düzeltme bir görüştür. Referansla birlikte prompt, arama ya da modeldeki her değişiklik aynı gerçek sorular üzerinde dakikalar içinde kontrol edilir ve iş bittiğinde bu test seti sizde kalır.
Chatbotunuzu düzeltmem için benimle çalışın
11 yılı aşkın yazılım deneyimine, Upwork’te %100 Job Success puanına ve 200 bin doların üzerinde kazanca sahip bir Senior Full-Stack AI Engineer’ım. Yalnızca promptla değil, tüm sistemle çalışırım: veri hatları, backend, frontend, deployment ve izleme. Ve düzeltmeden sonra da kalırım. Uzun vadeli iş birliklerini tercih ederim, çünkü belgeleriniz, ürünleriniz ve modeller değiştikçe bir chatbot sürekli bakım ister.
Chatbotunuz yanlış cevap veriyor, yavaş yanıtlıyor ya da çok pahalıya mal oluyorsa bana birkaç örnek konuşma ve stack’inizin kısa bir açıklamasını gönderin. Sorunun büyük olasılıkla nerede olduğunu ve düzeltmenin neler gerektireceğini söyleyeyim.
Bir sonraki ürüne kalacak birini verin.
Başlamaya hazır mısınız? Bana yazın — hemen başlayabilir ve kalabilirim. İki haftalık devir değil, uzun vadeli iş birliği. Projenizi, gereksinimleri ve ilerlemenin en iyi yolunu konuşalım.