Come valutare una funzione LLM prima e dopo il rilascio

Un LLM può rispondere in modo fluido e non svolgere comunque il compito. La valutazione trasforma l’impressione «il nuovo modello sembra migliore» in prove ripetibili. Deve far parte della progettazione e del rilascio, non essere un benchmark occasionale dopo la scelta del modello.

Parti dall’attività dell’utente e dal costo dell’errore. Definisci separatamente correttezza, completezza, fondamento nelle fonti, formato, tono, latenza e costo. Specifica quando chiedere chiarimenti, astenersi o passare a una persona; un punteggio unico può nascondere una regressione seria.

Crea un dataset versionato con casi comuni, difficili, ambigui, multilingue e fallimenti noti. Registra input, contesto utile e proprietà attese; usa risposte di riferimento solo se giustificabili. Rimuovi dati personali, documenta la provenienza e mantieni un insieme di test separato su cui non si ottimizzano i prompt.

Usa controlli deterministici per requisiti oggettivi come schemi, campi obbligatori, citazioni e autorizzazioni. Per la qualità aperta combina la revisione di esperti con valutatori basati su rubriche. Calibrali con etichette umane e analizza i disaccordi: un giudice basato su modelli è uno strumento di misura, non la verità.

Esegui gli stessi casi sul sistema attuale e su ogni modifica proposta. Confronta casi e gruppi per lingua, attività e rischio; conserva i fallimenti corretti e ripeti i test quando conta la variabilità. In produzione monitora completamento, correzioni, escalation, rifiuti, latenza, costi e incidenti. Definisci soglie e rollback prima del rilascio e aggiungi i fallimenti confermati al dataset. NIST raccomanda test documentati e monitoraggio continuo; OpenAI Evals illustra dataset riutilizzabili e grader. Fonti: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/ e https://platform.openai.com/docs/guides/evals