Bir LLM özelliği yayına almadan önce ve sonra nasıl değerlendirilir?

Bir LLM akıcı yanıtlar verip kullanıcının işini yine de başaramayabilir. Değerlendirme, «yeni model daha iyi gibi» izlenimini tekrarlanabilir kanıta dönüştürür. Model seçildikten sonra yapılan tek seferlik kıyaslama değil, özellik tasarımının ve sürümün parçası olmalıdır.

Kullanıcı görevi ve hata maliyetiyle başlayın. Doğruluk, kapsam, kaynaklara dayanma, biçim, ton, gecikme ve maliyeti ayrı tanımlayın. Ne zaman açıklama isteyeceğini, yanıt vermekten kaçınacağını veya insana aktaracağını belirleyin; tek bir toplam puan ciddi bir gerilemeyi gizleyebilir.

Yaygın, zor, belirsiz, çok dilli ve bilinen hata örneklerinden sürümlenmiş bir veri kümesi oluşturun. Girdi, ilgili bağlam ve beklenen özellikleri kaydedin; referans yanıtı yalnızca savunulabilir olduğunda ekleyin. Kişisel verileri çıkarın, kaynağı belgeleyin ve promptların ayarlanmayacağı ayrı bir test kümesi tutun.

Şema, zorunlu alan, kaynak gösterimi ve erişim sonucu gibi nesnel koşullar için deterministik kontroller kullanın. Açık uçlu kalite için uzman incelemesini rubrik tabanlı model değerlendiricileriyle birleştirin. İnsan etiketleriyle kalibre edin ve anlaşmazlıkları inceleyin; model yargıcı ölçüm aracıdır, gerçekliğin kendisi değildir.

Aynı örnekleri mevcut sisteme ve önerilen her değişikliğe uygulayın. Dil, görev ve riske göre sonuçları karşılaştırın; düzeltilmiş hataları veri kümesinde tutun ve değişkenliği hesaba katmak için tekrar çalıştırın. Üretimde görev başarısını, düzeltmeleri, aktarımları, retleri, gecikmeyi, maliyeti ve güvenlik olaylarını izleyin. Eşik ve geri alma koşullarını önceden belirleyin, doğrulanmış hataları kümeye ekleyin. NIST belgeli test ve sürekli izleme önerir; OpenAI Evals yeniden kullanılabilir veri kümeleri ve değerlendiricileri açıklar. Kaynaklar: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/ ve https://platform.openai.com/docs/guides/evals