Ein LLM kann flüssig antworten und trotzdem die Aufgabe verfehlen. Evaluation macht aus dem Eindruck „das neue Modell wirkt besser“ wiederholbare Evidenz. Sie gehört zum Entwurf und zur Veröffentlichung der Funktion, nicht nur zu einem einmaligen Modellvergleich.
Beginnen Sie mit der Nutzeraufgabe und den Fehlerfolgen. Definieren Sie Korrektheit, Vollständigkeit, Quellenbezug, Format, Ton, Latenz und Kosten getrennt. Legen Sie fest, wann das System nachfragen, ablehnen oder an einen Menschen übergeben soll; ein Gesamtwert kann eine starke Regression in einer Dimension verdecken.
Erstellen Sie einen versionierten Datensatz mit typischen, schwierigen, mehrdeutigen, mehrsprachigen und bekannten Fehlerfällen. Speichern Sie Eingabe, relevanten Kontext und erwartete Eigenschaften; verwenden Sie Referenzantworten nur, wenn es eine belastbare gibt. Entfernen Sie personenbezogene Daten, dokumentieren Sie die Herkunft und halten Sie Testfälle zurück, an denen Prompts nicht optimiert werden.
Nutzen Sie deterministische Prüfungen für objektive Anforderungen wie Schema, Pflichtfelder, Zitate und Berechtigungen. Für offene Qualitätsfragen kombinieren Sie Expertenurteile mit Rubriken und Modell-Gradern. Kalibrieren Sie diese anhand menschlicher Bewertungen und prüfen Sie Abweichungen; ein Modellrichter ist ein Messwerkzeug, keine Wahrheit.
Lassen Sie aktuelle und vorgeschlagene Versionen auf denselben Fällen laufen. Vergleichen Sie Einzelfälle und Gruppen nach Sprache, Aufgabe und Risiko; behalten Sie behobene Fehlerfälle bei und wiederholen Sie Läufe, wenn Modellvariabilität zählt. Überwachen Sie in Produktion Aufgabenerfolg, Korrekturen, Eskalationen, Ablehnungen, Latenz, Kosten und Sicherheitsvorfälle. Legen Sie Schwellen und Rollback-Bedingungen vorher fest und ergänzen Sie bestätigte Fehler in den Datensatz. NIST empfiehlt dokumentierte Tests und laufende Beobachtung; OpenAI Evals beschreibt wiederverwendbare Datensätze und Grader. Quellen: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/ und https://platform.openai.com/docs/guides/evals
Geben Sie dem nächsten Produkt jemanden, der bleibt.
Bereit für den Start? Schreiben Sie mir – ich kann sofort beginnen und bleiben. Langfristige Mandate statt Übergabe nach zwei Wochen. Lassen Sie uns über Ihr Projekt, die Anforderungen und den besten Weg nach vorn sprechen.