حزمة عامة
عشر مهام اصطناعية باللغة الإنجليزية مع حلول مرجعية وفحص للحالة النهائية.
تفاصيل الحزمة →لا بناءً على ما يصرّحون به. هل حُدِّثت السجلات الصحيحة، وهل تضرّر أي سجل آخر، وهل امتنع الوكيل عن التغيير حين كان الصواب ألا يتغيّر شيء.
صفحات التفاصيل المرتبطة أدناه متاحة بالإنجليزية.
افحص المثال العام، أو حدّد تجربة تقييم محدودة، أو ناقش بيئة مخصصة لإجراء إداري بعينه.
عشر مهام اصطناعية باللغة الإنجليزية مع حلول مرجعية وفحص للحالة النهائية.
تفاصيل الحزمة →نتفق مسبقاً على الإجراء والواجهة وشروط النجاح والاستثناءات والأدلة المطلوبة.
نطاق التجربة →نمذجة إجراء محدد بسجلات اصطناعية وحالة قابلة لإعادة الضبط ومُحقّقات واضحة.
تعرف على البيئة →قد يعلن الوكيل النجاح بعد تعديل سجل خاطئ أو ترك متطلب غير مكتمل أو تغيير حساب غير ذي صلة. يقرأ المُحقّق الحالة المحفوظة بدلاً من الاعتماد على الرد النهائي.
آلية التحقق →الأشخاص والسجلات اصطناعية. لا اتصال بأي نظام حكومي تشغيلي.
وجود واجهات وتعليمات عربية في أعمال البيئة الأوسع لا يعني أن الحزمة العامة تقيس أداء النماذج بالعربية. المعايرة الحالية باللغة الإنجليزية فقط.
تغطي بيئتنا الأولى إدارة العمل والإقامة، وهي من أصعب المجالات التنظيمية في النمذجة: شروط أهلية موزعة على ثلاثة أنظمة منفصلة، واشتراكات تأمينات اجتماعية تتفرع بحسب الفئات وتخضع لحدود قصوى، ونظامان للتقويم، وقواعد تتغير حسب فترة السريان.
البيئة مبنية ومعايرة، وجزء منها منشور. نُشرت عشر مهام بترخيص Apache-2.0، ومعها حلول مرجعية وفحوص حتمية وحدود ثقة موثقة. وعندما شغّلنا نموذجين متقدمين عبر ثمانين محاولة، وجدنا وكلاء يكملون جزءاً من عمل متعدد الخطوات ثم يعلنون انتهاءه، ويحدّثون السجل الصحيح مع تغيير سجل آخر غير ذي صلة، ويختارون معدلاً منشوراً فعلاً لكنه يعود إلى فترة سريان خاطئة. لم تنتج أي من هذه الحالات رسالة خطأ.
كل قاعدة ننمذجها مرتبطة بمصدر رسمي منشور أو موسومة صراحة بأنها من إنشاء مَيْدان، ويُشحن جدول المصادر مع البيئة.
تظل الآلية نفسها في أي سير عمل يكلّف فيه تغيير الوكيل للسجل الخطأ مالاً. تنتقل الواجهة والمُحقّق ومجموعة الاختبارات الخصومية وبنية العزل ومنهج توثيق المصادر كما هي. الذي يتغير هو محتوى المجال.
يشمل العمل الحالي مشتريات التصنيع، ومطابقة أوامر الشراء بالفواتير، ووكلاء خدمة العملاء الذين يحدّثون السجلات بعد المكالمة. إذا كنتم تنشرون وكلاء في إجراءات ذات عواقب وتريدون معرفة ما إذا كانوا ينهون العمل قبل أن يلمسوا البيانات التشغيلية، فـالحزمة المنشورة هي أسرع طريقة لمعرفة كيف نقيّم.
أرسل وصف الإجراء وواجهة الوكيل والقرار الذي ستدعمه نتائج التقييم.
talal@maydanlabs.comتعرّف على رؤى بحثية إقليمية ومثال بصري مقارن ومتطلبات عملية لتقييمات مخصصة ومجموعات بيانات حسب الطلب.
استكشف ميدان للصور ←