Viele Unternehmen haben bereits einen KI-Chatbot, und viele sind insgeheim unzufrieden damit. Er erfindet Antworten, die nicht in der Dokumentation stehen, braucht fünf Sekunden für eine Antwort, und die monatliche API-Rechnung wächst. Die übliche Reaktion: das Modell wechseln oder den Prompt noch einmal umschreiben. Nach meiner Erfahrung ist das Modell selten die Ursache. Das Problem liegt fast immer im Retrieval, im Prompt-Vertrag oder darin, wie das System das Modell aufruft.
Drei Symptome, ein System
Eine einfache Frage: „Wie lange gilt Ihr Rückgaberecht?“ Ein kaputter Bot antwortet in 4,8 Sekunden „Rückgabe innerhalb von 90 Tagen, ohne Fragen“. Das klingt sicher und steht nirgends in Ihren Richtlinien. Ein reparierter Bot antwortet „Rückerstattungen sind innerhalb von 60 Tagen nach dem Kauf möglich“, verweist auf Refund-Policy.pdf, Seite 2, und braucht dafür 1,4 Sekunden. Gleiches Modell, gleiche Dokumente. Der Unterschied ist Engineering: was das Modell bekommt, was es sagen darf und wie viel Arbeit bei jeder Anfrage passiert.
Falsche Antworten sind meist ein Retrieval-Problem
Wenn ein Bot etwas erfindet, hat das Modell meist nicht die richtige Passage bekommen oder sie zwischen irrelevanten Treffern begraben. Ich prüfe, wie Dokumente geparst und in Chunks geteilt werden, ob die Suche Schlüsselwort- und semantische Treffer kombiniert, ob ein Reranker die beste Passage nach vorne setzt und ob veraltete Dokumente noch im Index liegen. Dann macht der Prompt die Quellenbindung zur Regel: nur aus den gelieferten Quellen antworten, sie zitieren und es offen sagen oder an einen Menschen übergeben, wenn Belege fehlen. Zitate lassen Nutzer die Antwort prüfen und zeigen Ihnen genau, welches Dokument einen Fehler verursacht hat.
Langsame Antworten: wohin die Sekunden gehen
Latenz ist selten ein großes Problem, sondern mehrere kleine, die sich addieren. Sequenzielle Aufrufe, die parallel laufen könnten, ein großes Modell für einen einfachen Klassifizierungsschritt, dreißig abgerufene Chunks, wo fünf reichen würden, und kein Streaming, sodass der Nutzer auf eine leere Sprechblase starrt. Ich messe jeden Schritt einzeln und behebe zuerst den größten: Antwort streamen, unabhängige Schritte parallel ausführen, Wiederholtes cachen und einfache Anfragen an ein kleineres, schnelleres Modell leiten.
Hohe API-Rechnungen: bezahlte Tokens, die niemand braucht
Bei den Kosten ist es dasselbe Muster. Die meisten Rechnungen werden durch Kontext aufgebläht, der nicht nötig ist: komplette Chatverläufe, zu große Retrieval-Ergebnisse, ausschweifende System-Prompts und das teuerste Modell für jede Anfrage. Prompt Caching für den stabilen Teil des Prompts, gekürzter oder zusammengefasster Verlauf, kleinere Retrieval-Ergebnisse und Routing nach Schwierigkeit senken die Rechnung oft deutlich, ohne die Qualität zu verschlechtern. Kosten werden pro Gespräch und pro Funktion geloggt, sodass Einsparungen sichtbar sind und Rückschritte auffallen.
So behebe ich es: Audit, Retrieval, Prompts, Kosten, Bericht
| Schritt | Was ich tue | Was Sie bekommen |
|---|---|---|
| Audit | Echte Gespräche sammeln, ein Evaluationsset aufbauen, Genauigkeit, Latenz und Kosten messen | Einen Ausgangswert zum Vergleich |
| Retrieval | Parsing, Chunking, hybride Suche und Reranking reparieren; Quellenangaben ergänzen | Antworten, die auf Ihren Dokumenten beruhen |
| Prompts | Den System-Prompt als Verhaltensvertrag mit Fallbacks und Übergabe an Menschen neu schreiben | Weniger erfundene Antworten und ein ehrliches „Das weiß ich nicht“ |
| Kosten | Prompt Caching, Modell-Routing, Kontextlimits, Kosten-Logging | Eine niedrigere, planbare API-Rechnung |
| Bericht | Vorher-nachher-Zahlen am selben Testset | Nachweis der Verbesserung und eine wiederverwendbare Testsuite |
Vor dem Audit wird nichts geändert. Ohne Ausgangswert ist jede Korrektur eine Meinung. Mit ihm lässt sich jede Änderung an Prompt, Retrieval oder Modell in Minuten an denselben echten Fragen prüfen, und diese Testsuite bleibt nach Abschluss der Arbeit bei Ihnen.
Beauftragen Sie mich mit Ihrem Chatbot
Ich bin Senior Full-Stack AI Engineer mit über 11 Jahren in der Softwareentwicklung, 100 % Job Success und mehr als 200.000 $ Umsatz auf Upwork. Ich arbeite am gesamten System, nicht nur am Prompt: Datenpipelines, Backend, Frontend, Deployment und Monitoring. Und ich bleibe nach der Reparatur. Ich bevorzuge langfristige Retainer, denn ein Chatbot braucht laufende Pflege, wenn sich Ihre Dokumente, Produkte und Modelle ändern.
Wenn Ihr Chatbot falsch antwortet, langsam reagiert oder zu viel kostet, schicken Sie mir ein paar Beispielgespräche und eine kurze Beschreibung Ihres Stacks. Ich sage Ihnen, wo das Problem am wahrscheinlichsten liegt und was die Behebung erfordert.
Geben Sie dem nächsten Produkt jemanden, der bleibt.
Bereit für den Start? Schreiben Sie mir – ich kann sofort beginnen und bleiben. Langfristige Mandate statt Übergabe nach zwei Wochen. Lassen Sie uns über Ihr Projekt, die Anforderungen und den besten Weg nach vorn sprechen.