بناء مجموعة تقييم قائمة على السيناريوهات لنظام ذكاء اصطناعي للأعمال

تصل إلى مساعد داخلي لطلبات الشراء حزمة تبدو مكتملة، لكن رقم المورد في الطلب يخالف الرقم في عرض السعر، وخدمة استرجاع السياسة لا تستجيب، ويتضمن الملف المرفوع تعليمات موجهة إلى المساعد نفسه. لن تكشف مجموعة من الأسئلة المصقولة ما إذا كان النظام سيتوقف عند الأدلة الناقصة، أم سيخترع قاعدة، أم يتجاوز الموافقة البشرية. الدليل الأقوى يبدأ بسير عمل محدود ويعيد إنشاء هذه الظروف في حالات قابلة للتكرار، مع تعريف النتيجة المقبولة والسلوك المحظور وطريقة الحكم قبل رؤية مخرجات النظام.

ما الذي ينبغي أن تغطيه مجموعة التقييم القائمة على السيناريوهات؟

ينبغي أن تغطي المجموعة مزيج العمل المعتاد وحدوده المؤثرة والإخفاقات المعروفة والسلوكيات المحظورة ضمن سير عمل واحد محدد. ثبّت أولاً نسخة النظام، والمستخدمين المسموح لهم، والمدخلات والمعرفة والأدوات والصلاحيات، والقرار الذي ستدعمه النتائج. بهذه الحدود يصبح ممكناً بناء حالات واقعية وتوثيق طريقة القياس، بدلاً من اختبار «مساعد عام» لا يملك تعريفاً مستقراً للنجاح أو الفشل.

ابنِ خريطة التغطية من سجلات عمل مصرح بها، وطلبات الدعم، وأبحاث المستخدمين، وسجلات الحوادث، وجولات الخبراء في خطوات العملية. قد تساعد البيانات التشغيلية أو التاريخية أو التخصصية أو الاصطناعية أو المنسقة بشرياً، لكن لا تفترض أن السجلات التشغيلية كاملة أو ممثلة أو مسموحاً بنسخها. عندما تكون المراقبة ناقصة أو يكون النظام قبل الإطلاق، دوّن أن نسب العمل العادي فرضيات تحتاج إلى مراجعة، ولا تمنحها دقة مصطنعة.

• العمل الممثل: الحالات اليومية وأدوار المستخدمين والمدخلات والظروف بنسب تستند إلى أدلة التشغيل المتاحة.
• الحالات الطرفية المهمة: الغموض والنقص والتعارض والملفات غير المعتادة وحدود الصلاحية وفشل الأدوات.
• الإخفاقات المعروفة: إعادة إنتاج مصغرة ومصرح بها لعيب أو حادث أو شكوى تم التحقق منها.
• السلوك المحظور: محاولات مباشرة أو غير مباشرة لدفع النظام إلى إفشاء أو تنفيذ أو قرار غير مسموح.

في مثال مساعد طلبات الشراء، تشمل الحالات العادية طلباً كاملاً وسياسة متاحة، بينما تختبر الحدود مستنداً ناقصاً أو معرفات موردين متعارضة أو حقيقة لازمة غير موجودة. وتغطي الحالات المحظورة طلب اعتماد الإنفاق أو تجاوز بوابة بشرية أو اتباع تعليمات مخفية داخل عرض السعر. هذه القواعد توضيحية وخاصة بالمؤسسة؛ المهم هو تحديد الشرائح وبوابات الحظر وقرار الإصدار قبل إنشاء المخرجات أو فحصها، ثم عرض النتائج حسب المهمة والشريحة والعاقبة.

كيف ينبغي تسجيل كل سيناريو تقييم؟

ينبغي تسجيل كل سيناريو كسجل حالة يستطيع مقيّم آخر إعادة إنشائه وفهم ما يعد نجاحاً أو بديلاً مقبولاً أو نتيجة محظورة. ابدأ بمعرف ثابت ومالك وسجل تغييرات ونسخة، ثم أضف عائلة التغطية والمهمة والشرائح والعاقبة والمنشأ وإثبات الإذن ومجموعة الانتماء. لا تضع رابطاً إلى سجل أصلي حساس إلا عندما تسمح ضوابط الوصول بذلك؛ فالغرض هو قابلية التكرار لا توسيع الاطلاع.

صف الممثل وهدفه، وحالة سير العمل عند البداية، والطلب والملفات والسياق السابق، والمعرفة المصرح بها، والأدوات والصلاحيات ونتائج الأدوات والظروف البيئية وتعليمات النظام. بعد ذلك افصل التوقعات عن الإعداد: ما الحقائق أو تغييرات الحالة المطلوبة، وما المسارات البديلة الصحيحة، ومتى يلزم الاستيضاح أو الامتناع أو الرفض أو التصعيد؟ وسجّل المخرجات والإفصاحات واستدعاءات الأدوات وتغييرات الحالة المحظورة في حقل مستقل.

• الهوية: معرف ثابت ومالك وحالة ونسخة ومنشأ وإذن وشريحة ومجموعة مقصودة.
• الإعداد: دور المستخدم والحالة الأولية والمدخلات والسياق والأدوات والصلاحيات والتعليمات.
• التوقعات: حقائق ونتائج مطلوبة وبدائل مقبولة ومحظورات وقواعد تصحيح وبوابات.
• التشغيل: عدد المحاولات عند الحاجة، وقاعدة التجميع، ومؤهلات المراجع، ومسار التحكيم، وإصدارات جميع المكونات.

إذا كان النظام غير حتمي أو متعدد الخطوات، حدّد مسبقاً عدد المحاولات عند الحاجة وكيف ستجمع نتائجها؛ لا تختَر القاعدة بعد رؤية أفضل تشغيل. ثبّت أيضاً إصدارات النموذج والموجه ومستودع الاسترجاع والأدوات والسياسة وحزمة الاختبار. يمكن لحل مرجعي صالح أن يثبت قابلية إنجاز المهمة ويفضح مقيّماً معطلاً، لكنه ليس النص الوحيد المقبول عندما تسمح المهمة بصياغات أو مسارات متعددة. سجل الحالة الكامل هنا تركيب تحريري قابل للتكييف، لا معياراً مفروضاً.

الحالة المفيدة لا تطرح سؤالاً صعباً فحسب؛ بل تعيد إنشاء عمل محدود وتجعل النجاح والبدائل المقبولة والمحظورات قابلة للفحص.

كيف نقيّم كل سيناريو من دون مكافأة السلوك الخطأ؟

قيّم كل حالة بأضيق طريقة تستطيع التمييز بصورة صالحة بين النجاح والفشل. استخدم فحصاً حتمياً لحقائق أو مخطط بيانات أو عملية حسابية أو وسيطات أداة أو حالة سجل يمكن التحقق منها موضوعياً، مع التأكد من أن الفحص كامل وأن المهمة قابلة للحل. وإذا كانت الحقائق أو الحالة النهائية محدودة لكن الصياغات والمسارات متعددة، فقارن بالعناصر المطلوبة في مرجع بدلاً من المطابقة الحرفية لإجابة نموذجية واحدة.

للجودة المفتوحة، افصل الأبعاد مثل الاكتمال والاستناد إلى الأدلة ووضوح التفسير، واربط كل درجة بعلامات يمكن ملاحظتها وأمثلة. يمكن لمقيّم قائم على نموذج أن يساعد، لكنه يحتاج إلى معايرة بأحكام بشرية مؤهلة في السياق نفسه؛ وقد أفادت OpenAI بأن المقيّم الآلي في GDPval لم يكن موثوقاً بما يكفي ليحل محل المقيّمين المهنيين ذوي الخبرة. أما التفسير التخصصي أو المنظم فيبقى لدى أشخاص مخولين.

• فحص حتمي للحقائق والحسابات والمخططات وحالات السجلات والإجراءات المحظورة.
• حقائق أو حل مرجعي عندما تكون النتيجة محدودة وتظل طرق الوصول إليها متعددة.
• قاعدة ذات أبعاد وعلامات مشاهدة عندما تكون الجودة مفتوحة ولا تختزل في مطابقة.
• حكم خبير مؤهل عندما لا تستطيع الأدوات الآلية حسم التفسير أو العاقبة بصورة صالحة.

امنح رصيداً جزئياً فقط عندما تمثل مكونات المهمة تقدماً ذا معنى، وأظهر المكوّن الذي فشل. أما إفشاء محظور أو إجراء بلا صلاحية فيفشل بوابة مستقلة مهما كانت الإجابة مصقولة؛ وهذا تصميم تحريري يجب أن يحدده مالك المنتج ومالك المخاطر مسبقاً. ثبّت نسخة القاعدة ومنطق البوابة وتعريفات الشرائح وتجميع المحاولات وقاعدة القرار قبل مقارنة الأنظمة، وسجّل أي تعديل لاحق كنسخة تقييم جديدة.

كيف نساعد المراجعين على تطبيق معايير التقييم باتساق؟

يتطلب الاتساق دليلاً موجزاً يضع المراجع داخل سير العمل قبل عرض المخرج. اشرح الغرض ودور المستخدم والأدلة المتاحة والسلوك المسموح وحدود المنتج ونسخة قاعدة التقييم، ثم عرّف علامات مشاهدة لكل درجة مع أمثلة إيجابية وسلبية وحالات عند الحد. أضف خيار «أدلة غير كافية» أو «يتعذر التقييم» حتى لا يضطر المراجع إلى منح درجة لحالة ناقصة أو بيئة معطلة.

1. شغّل حالات معايرة قبل المراجعة الحية وكررها عند تغير المهمة أو السياسة أو القاعدة أو فريق المراجعين.
2. أخفِ هوية النظام ورتّب المخرجات عشوائياً عندما يكون ذلك عملياً في المقارنات.
3. اجمع الدرجات والمبررات بصورة مستقلة قبل أي نقاش جماعي.
4. افحص الخلاف بحثاً عن حالة معيبة أو حد غامض أو سياق ناقص أو بدائل مشروعة.
5. عيّن مالكاً للتحكيم واحفظ التصنيفات والمبررات ونسخة القاعدة والقرار النهائي.

الخلاف ليس ضوضاء يجب محوها تلقائياً. قد يكشف أن سؤال الحالة غير قابل للحل، أو أن المقيّم رفض بديلاً صحيحاً، أو أن المؤسسة لم تحسم بعد ما ينبغي للنظام فعله. صحّح العيب عندما تكون الأدلة واضحة، وارفع قرار المنتج أو السياسة إلى صاحبه المخول عندما لا تكون كذلك، ولا تفرض الإجماع إذا كانت عدة نتائج مقبولة فعلاً. يوفر حفظ المبررات مادة لإعادة معايرة المراجعين والمقيّمين الآليين لاحقاً.

كيف تظل مجموعة التقييم مفيدة خلال التطوير وقرار الإصدار؟

تظل المجموعة مفيدة بفصل حالات التطوير المرئية عن اختبار إصدار محمي، ثم إدارة التعرض والتكرار والإصدارات في سجل واحد. يستطيع الفريق تشغيل مجموعة التطوير مراراً لتحسين الموجهات والاسترجاع والأدوات والسياسة وسير العمل، لكن نتيجتها تظل دليل تطوير لأن الفريق تعلّم من حالاتها. أما اختبار الإصدار فيُعيّن قبل التشغيل المعتاد، ويُستخدم على نحو محدود للمقارنة النهائية أو قرار الإصدار.

لا يكفي اختلاف أسماء المجموعات. ابحث عن النسخ المتطابقة وشبه المتطابقة والسجلات المصدرية المشتركة وإعادة الصياغة والحالات الشقيقة الناتجة من قالب واحد، وتتبع الوصول إلى المحتوى والإجابات المرجعية والقواعد والنتائج. إذا ساهمت حالة محمية في تشخيص عيب أو اختيار تعديل، فانقلها إلى التطوير أو الانحدار وأضف بديلاً مستقلاً ذا نسخة جديدة. يمكن للاختبار المحمي تغطية فئة الإخفاق نفسها، لكن عبر حالة غير مكررة لم توجه الإصلاح.

• سجّل مالك الحالة ومنشأها وإذن استخدامها ومجموعتها وتعرضها وآخر مراجعة.
• أصدر نسخاً مترابطة من المحتوى والتصنيفات والقواعد والسياسة وحزمة التشغيل.
• أضف الإخفاقات المتحققة بعد تقليل البيانات الحساسة وتأكيد السلوك المتوقع.
• أعد فحص التغطية بعد تغير المستخدمين أو السياسة أو المعرفة أو النموذج أو الأدوات أو الصلاحيات.
• احتفظ بسبب كل تغيير أو نقل أو تقاعد حتى تظل مقارنة النتائج قابلة للتفسير.

اعرض النتائج حسب عائلة المهمة والتغطية والشريحة والعاقبة والبوابة، لا كمتوسط منفرد. ولا توجد قاعدة عامة لعدد الحالات أو نسبة التقسيم أو فترة التحديث؛ فالتركيب يعتمد على قرار الإصدار وتنوع العمل والعواقب وموثوقية التصحيح والأدلة المصرح بها. اجتياز الاختبار غير المتصل دليل واحد، وليس شهادة بالقيمة أو السلامة أو العدالة أو الامتثال أو الجاهزية. اربطه بالمراقبة وأبحاث المستخدمين ومراجعة الحوادث، وأبقِ الأحكام المنظمة لدى أشخاص مؤهلين ومخولين.