قد يقدم نموذج اللغة الكبير إجابات سلسة من دون أن ينجز المهمة المطلوبة. يحول التقييم انطباع «النموذج الجديد يبدو أفضل» إلى أدلة قابلة للتكرار. اجعله جزءًا من تصميم الميزة وإطلاقها، لا اختبارًا لمرة واحدة بعد اختيار النموذج.
ابدأ بمهمة المستخدم وكلفة الخطأ. حدّد الدقة والاكتمال والاستناد إلى المصادر وصحة التنسيق والنبرة والكمون والتكلفة كلًّا على حدة. وضّح متى ينبغي للنظام طلب توضيح أو الامتناع أو إحالة الطلب إلى إنسان؛ فقد تخفي النتيجة الإجمالية تراجعًا كبيرًا في جانب واحد.
أنشئ مجموعة بيانات ذات إصدارات تضم حالات شائعة وصعبة وملتبسة ومتعددة اللغات وأنماط إخفاق معروفة. سجّل المدخل والسياق المطلوب والخصائص المتوقعة، ولا تستخدم إجابة مرجعية إلا عند وجود إجابة يمكن الدفاع عنها. أزل البيانات الشخصية، ووثّق المصدر، واحتفظ بمجموعة اختبار لا تُستخدم لضبط التعليمات.
استخدم اختبارات حتمية للمتطلبات الموضوعية مثل المخطط والحقول المطلوبة والاستشهادات ونتائج الأذونات. وللجودة المفتوحة، اجمع بين مراجعة الخبراء ومقيّمين يعتمدون معايير محددة. عايرهم بتسميات بشرية وافحص الاختلافات؛ فالمقيّم الآلي أداة قياس وليس حقيقة مطلقة.
شغّل الحالات نفسها على النظام الحالي وكل تغيير مقترح. قارن النتائج حسب اللغة والمهمة والمخاطر، واحتفظ بالإخفاقات التي عولجت وكرر التشغيل عند وجود تباين. راقب في الإنتاج إنجاز المهمة والتصحيحات والتصعيدات والرفض والكمون والتكلفة والحوادث الأمنية. حدّد عتبات الإصدار والتراجع مسبقًا وأضف الإخفاقات المؤكدة إلى مجموعة التقييم. توصي NIST بالاختبارات الموثقة والمراقبة المستمرة، ويشرح OpenAI Evals مجموعات البيانات والمقيّمين القابلين لإعادة الاستخدام. المصادر: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/ وhttps://platform.openai.com/docs/guides/evals
امنح المنتج القادم شخصاً يبقى معه.
هل أنت مستعد للبدء؟ أرسل لي رسالة؛ أنا متاح للبدء الآن والبقاء. عقود طويلة الأمد، لا تسليم خلال أسبوعين. لنتحدث عن مشروعك ومتطلباته وأفضل طريقة للمضي قدماً.