Cómo evaluar una función LLM antes y después de lanzarla

Un LLM puede responder con fluidez y aun así no resolver la tarea. La evaluación convierte la impresión «el nuevo modelo parece mejor» en evidencias repetibles. Debe formar parte del diseño y del lanzamiento, no ser una prueba aislada tras elegir el modelo.

Empieza por la tarea del usuario y el coste del error. Define por separado exactitud, cobertura, fundamento en fuentes, formato, tono, latencia y coste. Especifica cuándo preguntar, abstenerse o derivar a una persona; una puntuación única puede ocultar una regresión importante.

Crea un conjunto de datos versionado con casos comunes, difíciles, ambiguos, multilingües y fallos conocidos. Guarda la entrada, el contexto y las propiedades esperadas; añade respuestas de referencia solo cuando sean defendibles. Elimina datos personales, registra su procedencia y reserva ejemplos de prueba que no se utilicen para ajustar los prompts.

Usa comprobaciones deterministas para requisitos objetivos como esquemas, campos obligatorios, citas y permisos. Para calidad abierta, combina revisión experta con evaluadores basados en rúbricas. Calíbralos con etiquetas humanas y analiza desacuerdos: un juez basado en modelos ayuda a medir, pero no es la verdad.

Ejecuta los mismos casos con el sistema actual y cada cambio propuesto. Compara casos y grupos por idioma, tarea y riesgo; conserva los fallos corregidos y repite ejecuciones si hay variabilidad. En producción mide éxito, correcciones, derivaciones, rechazos, latencia, coste e incidentes. Define umbrales y reversión antes del despliegue e incorpora fallos verificados al conjunto. NIST recomienda pruebas documentadas y seguimiento continuo; OpenAI Evals describe conjuntos reutilizables y evaluadores. Fuentes: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/ y https://platform.openai.com/docs/guides/evals