Jak oceniać funkcję LLM przed wdrożeniem i po nim

LLM może odpowiadać płynnie, a mimo to nie realizować zadania użytkownika. Ewaluacja zamienia wrażenie „nowy model wydaje się lepszy” w powtarzalne dowody. Powinna być częścią projektu i wdrożenia funkcji, a nie jednorazowym benchmarkiem po wyborze modelu.

Zacznij od zadania użytkownika i kosztu błędu. Osobno określ poprawność, kompletność, oparcie w źródłach, format, ton, opóźnienie i koszt. Ustal, kiedy system ma dopytać, odmówić odpowiedzi lub przekazać sprawę człowiekowi; jeden wynik łączny może ukryć poważne pogorszenie.

Zbuduj wersjonowany zbiór typowych, trudnych, niejednoznacznych, wielojęzycznych przypadków oraz znanych błędów. Zapisuj wejście, kontekst i oczekiwane właściwości; odpowiedzi referencyjne dodawaj tylko wtedy, gdy są uzasadnione. Usuń dane osobowe, udokumentuj pochodzenie i zachowaj osobny zestaw testowy, na którym nie stroi się promptów.

Stosuj deterministyczne kontrole dla obiektywnych wymagań, takich jak schemat, wymagane pola, cytaty czy uprawnienia. Przy otwartej ocenie jakości połącz przegląd ekspercki z oceniającymi modelami opartymi na rubryce. Kalibruj je na ludzkich etykietach i analizuj rozbieżności: modelowy sędzia to narzędzie pomiarowe, nie prawda.

Uruchom te same przypadki dla obecnego systemu i każdej proponowanej zmiany. Porównuj wyniki według języka, zadania i ryzyka; zachowuj naprawione przypadki błędów i powtarzaj testy, gdy liczy się zmienność. W produkcji monitoruj realizację zadań, poprawki, eskalacje, odmowy, opóźnienie, koszt i incydenty. Z góry ustal progi oraz warunki wycofania, a potwierdzone błędy dodawaj do zbioru. NIST zaleca udokumentowane testy i ciągłe monitorowanie; OpenAI Evals opisuje wielokrotnego użytku zbiory i oceniających. Źródła: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/ oraz https://platform.openai.com/docs/guides/evals