كيف تصمم مساعد ذكاء اصطناعي محدود الأدوات والصلاحيات والسياق؟

المساعد المحدود ليس نموذجاً طُلب منه في موجه النظام ألا يتجاوز الخطوط الحمراء؛ إنه خدمة تفرض حدودها في البيانات والأدوات والهوية ومسار التنفيذ. قد تمنع التعليمات المساعد من إرسال رسالة، لكن وجود أداة إرسال ورمز وصول صالح يترك القدرة التنفيذية قائمة. لذلك يبدأ التصميم من عقد خدمة يمكن فحصه: من يطلب المهمة، وما القدرة المستخدمة، وأي معلومات تدخلها، وبأي هوية تعمل، وما الإجراء الأقصى، ومن يوافق، وما الدليل الذي يبقى بعد التنفيذ. تقسيم هذه القرارات على مستوى القدرة يمنع طلباً روتينياً من وراثة وصول أو صلاحية لا يحتاج إليهما.

ما الذي ينبغي السماح للمساعد بفعله؟

ينبغي أولاً كتابة ميثاق خدمة من جملة واحدة، ثم تفكيكه إلى قدرات ظاهرة للمستخدم مع ذكر ما لا يدخل في الخدمة صراحة. يمكن أن تكون الصيغة: «للمستخدمين المؤهلين، يجوز للمساعد تنفيذ عائلة المهام المحددة باستخدام نطاق المعلومات المعتمد لإنتاج النتيجة المسموح بها، لكنه لا يجوز أن يتخذ القرارات أو ينفذ الإجراءات المستبعدة». يدعو الإطار الأساسي لإدارة مخاطر الذكاء الاصطناعي من NIST إلى توثيق الغرض المقصود، وبيئة النشر، والمهام المدعومة، وحدود المعرفة، ونطاق التطبيق، والإشراف البشري، وتحمل المخاطر.

• استبدل «يساعد فريق الخدمة» بعمليات مستقلة مثل البحث عن حالة، أو تلخيصها، أو اقتراح رد.
• افصل إنشاء المسودة عن حفظها في سجل نهائي، وافصل الحفظ عن الإرسال إلى العميل.
• حدد المستخدمين المؤهلين وبيئة الاستخدام والمهام المدعومة والنتائج المحظورة قبل توصيل أي أداة.
• سمِّ مالك الخدمة ومالك مخاطرها ومالك منح الوصول والجهة التي تستقبل الإحالة البشرية.
• اجعل القدرة ضيقة بما يكفي لاختبار نجاحها ورفضها ومراقبتها منفردة.

الأفعال العامة مثل «يدير» أو «يتصرف» تخفي قرارات مختلفة جذرياً. البحث يطلب وصولاً للقراءة، والتوصية تنتج مقترحاً، والمسودة تنشئ مادة غير نهائية، بينما الإرسال أو الحذف يغير حالة خارجية. وتوصي OWASP بألا تتجاوز وظائف الأداة الحد الأدنى اللازم، وباختيار عملية ضيقة عندما تفي بالغرض بدل امتداد مفتوح. أما اتخاذ القدرة الظاهرة للمستخدم وحدة للتحكم، فهو تركيب تحريري عملي مستند إلى هذه المبادئ وإلى إطار NIST، وليس متطلباً حرفياً تفرضه أي من الجهتين. قيمته أنه يحول النقاش من «هل المساعد آمن؟» إلى قرارات محددة يمكن لفرق المنتج والهوية والأمن والخدمة مراجعتها.

ما المعلومات التي يجوز لكل قدرة استخدامها؟

حد السياق هو غلاف معلومات يحدد البيانات المؤهلة وحدود الثقة، وليس مجرد عدد من الرموز يستطيع النموذج استيعابه. لكل قدرة، سجل الأنظمة وأنواع السجلات والتصنيفات المسموح بها، ومرشحات الحساب أو الكائن، والفترة الزمنية، وتوقعات الحداثة، واستحقاقات المستخدم، وما يجب استبعاده. وتدعم نتائج وظيفة Map في إطار NIST توثيق حدود المعرفة ونطاق التطبيق وكيفية استخدام المخرجات والإشراف عليها. لا يوسع طول نافذة السياق سلطة المستخدم، ولا يجعل السجل القديم حديثاً، ولا يحول معلومة غير مسندة إلى حقيقة.

• المصادر: ما الأنظمة والمستودعات المعتمدة لهذه القدرة دون غيرها؟
• النطاق: ما الحسابات والسجلات والحقول والتواريخ التي يجوز استرجاعها؟
• الأهلية: هل يرى المستخدم السجل نفسه في النظام الأصلي بهذه الهوية؟
• الحداثة: متى يوصف الدليل بأنه قديم أو غير كاف، ومن يقرر تحديثه؟
• الثقة: أي المحتوى تعليمات خدمة، وأيه مادة غير موثوقة للقراءة فقط؟
• الذاكرة: ما الذي يبقى للجلسة، وما الذي قد يستمر بعدها، ومتى يحذف؟
• الحظر: ما الأسرار والرموز والحقول الحساسة التي لا تدخل السياق أو الذاكرة؟

وتوصي OWASP بمعاملة الرسائل الخارجية والوثائق والمرفقات واستجابات الواجهات والمحتوى المسترجع بوصفها مدخلات غير موثوقة، وفصلها عن تعليمات الخدمة. يجب ألا تصبح عبارة داخل مرفق أمراً جديداً للأداة لمجرد أن المسترجع أدخلها إلى المحادثة. افصل كذلك سجل الجلسة عن الذاكرة المستمرة: حدد أهلية كل عنصر للحفظ، وعزل المستخدم والجلسة، وآلية الحذف، والحماية من التلاعب. وتغطي إرشادات OWASP التحقق قبل الحفظ، وعزل المستخدمين والجلسات، وحدود الحجم والانتهاء، ومراجعة البيانات الحساسة، وحماية سلامة الذاكرة. عندما يكون الدليل المطلوب غائباً أو محجوباً أو قديماً، فالسلوك الصحيح هو تأهيل الإجابة أو رفضها، لا تعويض النقص بتخمين سلس.

كيف تفرض الهوية والأدوات والصلاحيات تلك الحدود؟

يجب فصل المصادقة والتفويض والموافقة، ثم فرض حدود المورد والعملية في بوابة الأداة والنظام النهائي، لا داخل تقدير النموذج. المصادقة تجيب: من المستخدم أو العميل أو هوية عبء العمل؟ والتفويض يجيب: هل يسمح لهذه الهوية بتنفيذ هذا الفعل على هذا المورد؟ أما الموافقة فتجيب: هل قَبِل الشخص المخول هذا الإجراء المقترح بعينه؟ وتميز مواصفة تفويض MCP بين العميل الذي يعمل لصالح مالك المورد، وخادم المورد المحمي، وخادم التفويض الذي يصدر رمز الوصول. وتوصي المواصفة بنطاقات تبدأ بالحد الأدنى من الصلاحيات، وتدعم ربط التفويض بخادم المورد المقصود في تكاملات MCP المحمية.

اختر بوضوح بين سلطة مفوضة من المستخدم وهوية عبء عمل مضبوطة؛ لا تجعل المساعد يرث حساب مشغل ذي صلاحيات مرتفعة لمجرد سهولة التكامل. عرّض عمليات محددة بمعاملات متحقق منها، مثل قراءة ملخص حالة مؤهلة أو إنشاء مسودة، بدلاً من وصول عام إلى صندوق بريد أو قاعدة بيانات أو متصفح أو واجهة أوامر. وتوصي OWASP بأقل صلاحيات ممكنة في الأنظمة النهائية، والحفاظ على سياق تفويض المستخدم، وإجراء التحقق في النظام الذي يحمي المورد. كما توصي OWASP بربط الموافقة ذات الأثر العالي بالفاعل والأداة والمورد والمعاملات المطبعة والوقت والانتهاء.

• قيد الأفعال والموارد والكائنات والحقول والوجهات في مسار التنفيذ.
• اجعل عمر بيانات الاعتماد وجمهور الرمز متناسبين مع العملية المقصودة.
• تحقق من أنواع المعاملات وقيمها وعلاقة المستخدم بالمورد قبل كل طلب.
• حدد حدود المعدل وإعادة المحاولة وطول السلسلة والدفعة والإنفاق والزمن حسب الخدمة.
• أضف منع التكرار أو التراجع أو قاطع الدائرة حيث يتطلب أثر العملية ذلك.

لا تعد التعليمات اللغوية أو شاشة التأكيد وسيلة تفويض، حتى لو ساعدتا في تحسين السلوك وتجربة المستخدم. ويوصي المركز الوطني للأمن السيبراني في المملكة المتحدة بالحد الأدنى من الصلاحيات، والإعدادات الآمنة افتراضياً، وتقييد الإجراءات، واستخدام وسائل إيقاف خارجية عند الحاجة. لا تعني الإشارة إلى MCP أن بروتوكوله إلزامي لكل أداة؛ قيمته هنا أنه يوضح فصل الأدوار وربط الرمز بمورده في التكاملات المحمية. في أي بنية أخرى، يبقى المبدأ نفسه: النظام الذي يملك المورد هو الذي يقرر السماح، وفق هوية ونطاق صالحين، في لحظة التنفيذ.

قد تبدو المحادثة متصلة، لكن سلطتها ينبغي أن تُقسَّم إلى قدرات صغيرة تُفرض حدود كل منها بصورة مستقلة.

ما مقدار الفعل الذي ينبغي أن تملكه كل قدرة؟

تحتاج كل قدرة إلى سقف إجراء صريح، وتزداد الضوابط المستقلة كلما انتقلت من الإجابة إلى تغيير حالة خارجية. السلم العملي يبدأ بإجابة أو تلخيص، ثم توصية أو مقترح، ثم مسودة قابلة للتحرير، ثم كتابة محدودة قابلة للعكس، ثم إجراء خارجي ذي أثر، وينتهي بقرار محظور لا توفره الخدمة أصلاً. هذا السلم تركيب تحريري، وليس تصنيفاً رسمياً من NIST أو OWASP أو NCSC. فائدته هي منع التسوية بين إعداد مسودة وحيدة وبين إرسالها، أو بين اقتراح تحديث وبين اعتماده في نظام الإنتاج.

1. الإجابة أو التلخيص: قراءة مؤهلة دون تغيير حالة خارجية، مع إظهار أساس الإجابة.
2. التوصية أو المقترح: عرض خطوة أو حمولة إجراء قابلة للفحص دون تنفيذها.
3. المسودة: إنشاء مادة في مساحة غير نهائية مع مراجع مسمى.
4. الكتابة المحدودة القابلة للعكس: تعديل حقول معتمدة عبر عملية ضيقة قابلة للتدقيق.
5. الإجراء الخارجي: إرسال أو نشر أو حذف أو منح وصول أو التزام مادي بعد الضوابط المستقلة.
6. القرار المحظور: قدرة غائبة من الخدمة، مع رفض نهائي وإحالة إلى مسار مؤهل.

في الإجراء ذي الأثر، اعرض معاينة يمكن فحصها، ثم اربط الموافقة بالفاعل والأداة والمورد والوجهة والمعاملات المطبعة والوقت والانتهاء. وتوصي OWASP بفصل قرار الإجراء العالي الأثر عن تنفيذه، وربط الموافقة بتفاصيل الفعل المحدد والتحقق منها قبل التنفيذ. وتوصي OWASP بموافقة بشرية قبل الإجراءات العالية الأثر، مع بقاء التحقق من التفويض في الأنظمة النهائية لكل طلب. الموافقة لا توسع الصلاحية القائمة ولا تبيح قراراً محظوراً. كما يوصي NCSC بتقييد الإجراءات التي يمكن لمكون الذكاء الاصطناعي تشغيلها، وإضافة وسائل أمان خارجية عند الحاجة.

احتفظ بالمدفوعات ومنح الوصول والحذف والتغييرات الإنتاجية والالتزامات الخارجية والأحكام المهنية عالية الأثر تحت تحكم إنساني مؤهل وسياسة حتمية تناسب المؤسسة. لا توجد قيمة عالمية صحيحة لحد الإنفاق أو عدد المحاولات أو حجم الدفعة؛ عيّنها انطلاقاً من أثر الخدمة وإمكان التراجع وسرعة اكتشاف الخطأ. وإذا تغير المستلم أو المحتوى أو المورد بعد الموافقة، يصبح المقترح فعلاً مختلفاً يتطلب تحققاً جديداً. يجب أن تمنع آلية منع التكرار إعادة تنفيذ الإجراء نفسه عند إعادة المحاولة، وأن يوقف قاطع الدائرة سلسلة غير طبيعية بدلاً من انتظار أن يستنتج النموذج وحده ضرورة التوقف.

ماذا يحدث عندما يصل المساعد إلى حدوده؟

يجب تصميم الرفض والمساعدة الجزئية والإحالة البشرية والتصعيد الأمني بوصفها نتائج خدمة صريحة، مع شرط توقف حقيقي يمنع التنفيذ المعلق. استخدم أسباباً مفهومة مثل خروج المهمة عن النطاق، أو عدم أهلية المعلومات، أو نقص التفويض، أو الحاجة إلى موافقة، أو غياب الدليل وحداثته، أو الحاجة إلى حكم متخصص، أو تعطل الاعتماد، أو بلوغ حد تشغيلي، أو ظهور إشارة أمنية. وتتضمن نتائج القياس في إطار NIST الفشل الآمن خارج حدود المعرفة الموثقة، والاختبار في ظروف تشبه النشر.

• اذكر الحد بلغة واضحة من دون كشف تفاصيل سياسة حساسة يمكن استغلالها.
• لا تدّع أن استدعاء أداة أو فحص مصدر أو موافقة أو كتابة نجحت إذا لم تنجح.
• قدم الجزء الآمن فقط، مثل مسودة أو قائمة تحقق أو طلب معلومات ناقصة.
• أرسل الهدف والسياق غير الحساس والقدرة المجربة والسبب والدليل والخطوة التالية ومعرف التتبع.
• أوقف التنفيذ إلى أن يتصرف المالك الصحيح، وأعد التحقق إذا تغير الفعل المقترح.

افصل بين ثلاثة مسارات قد تتشارك بعض الأدلة لكنها لا تتشارك المالك أو الاستعجال: إحالة مستخدم روتينية عندما تعجز الخدمة، وموافقة أعمال من شخص مسؤول عن الالتزام، وتصعيد أمني عند الاشتباه في إساءة أو اختراق. ويوصي NCSC بخطط حوادث تشمل سيناريوهات الاستجابة والتصعيد والمعالجة، ومستجيبين مدربين، وسجلات تدقيق عالية الجودة. وتدرج OWASP تجاوز الموافقات، ورفع الصلاحيات، وتسريب البيانات، وتسميم الذاكرة، والاستخدام التكراري للأدوات ضمن حالات إساءة استخدام الوكلاء. لذلك يجب أن يستطيع مالك الحادث إيقاف القدرة أو سحب منحها، لا أن يكتفي باستلام نص المحادثة.

الإحالة الجيدة لا ترمي المحادثة إلى موظف آخر بلا سياق، ولا تنقل أسراراً غير لازمة. ينبغي أن تصل الجهة المسؤولة إلى الغرض الأصلي، والقدرة التي حاولت العمل، وما هو متاح أو مفقود من الأدلة، وسبب المنع، والحالة الحالية، والخطوة المقترحة، ومعرف يمكن الرجوع إليه في السجل. إذا كانت المشكلة مجرد مصدر قديم، يمكن للمساعد إعداد أسئلة التحقق. وإذا كانت إشارة أمنية، يتوقف المسار ويذهب الدليل إلى مستجيبي الحوادث. أما الحكم القانوني أو التنظيمي أو المهني العالي الأثر فينتقل إلى مختص مؤهل وعملية محكومة منفصلة.

كيف تتحول الحدود إلى تصميم تشغيلي قابل للإدارة؟

تتحول الحدود إلى تصميم تشغيلي عندما يكمل الفريق صفاً مستقلاً في لوحة تصميم القدرات لكل عملية يراها المستخدم، ويربط الصف بضوابط قابلة للفرض وأدلة واختبارات ومقاييس ومالك. سجل الفاعل المؤهل والمصادقة وغلاف المعلومات وقواعد الجلسة والذاكرة وعملية الأداة والهوية العاملة ونطاق المورد وسقف الإجراء والموافقة والحدود التشغيلية وسلوك الرفض وسجل الأدلة وسيناريوهات التقييم والمقياس ووجهة التصعيد. لا تكتب «يصل المساعد إلى نظام العملاء»؛ اكتب عملية مثل «يلخص حالة مؤهلة يراها الموظف الحالي».

وتدعم توصيات OWASP بشأن الحد الأدنى من وظائف الأدوات والصلاحيات النهائية فصل القراءة عن إنشاء المسودة وعن الإرسال. وتشمل إرشادات المراقبة لدى OWASP القرارات واستدعاءات الأدوات ونتائج التفويض ومعرفات الموافقات وإصدارات السياسات والنتائج واستخدام الموارد والأنماط الشاذة، مع تنقيح البيانات الحساسة. لا تجعل اللوحة وثيقة تموت بعد الإطلاق؛ اربط معرف القدرة والسياسة والأداة في السجل وفي مجموعة الاختبار ولوحة التشغيل. وتدعو نتائج الحوكمة في إطار NIST إلى أدوار واضحة، وقنوات اتصال، وتمييز مسؤوليات البشر والذكاء الاصطناعي، ومراقبة مستمرة، ومراجعة دورية.

في المثال، يمكن للمستخدم الانتقال داخل المحادثة نفسها من سؤال عن الحالة إلى طلب مسودة ثم إلى طلب إرسال، لكن كل انتقال يستدعي قدرة مختلفة. لا تمنح قدرة التلخيص حق إنشاء المسودة، ولا تمنح مساحة المسودة حق الإرسال. ويجب أن يستطيع الفريق قياس كل مرحلة منفردة: هل وصل الاسترجاع إلى سجل مؤهل؟ هل وضعت المسودة علامة على الادعاء غير المسند؟ هل رفض الإرسال عند تغير المستلم؟ عندها تصبح الحدود قابلة للملاحظة، ويصبح واضحاً أي مالك يحقق في خلل البيانات، وأي مراجع يحسم محتوى الرد، وأي مالك يعالج فشل التنفيذ.

ما الأدلة اللازمة للإصدار واستمرار التشغيل؟

يتطلب الإصدار دليلاً على أن الخدمة المسموحة وحالات المنع المتوقعة تعملان في ظروف تشبه النشر، ثم مراقبة مستمرة وإعادة تقييم عند التغيير. لا يكفي اختبار إجابات ناجحة لمستخدم مثالي. اختبر الوصول العابر للحسابات، والأداة غير المصرح بها، والدليل القديم، والمحتوى المسترجع المسموم، والبيانات المحظورة، وتجاوز الموافقة، وتغيير المعاملات، وتكرار المحاولة، وتعطل الاعتماد، ومحاولة تسريب البيانات، والسلاسل المنفلتة. ويدعو إطار NIST إلى اختبارات تمثل ظروف النشر، ومراقبة الإنتاج، وتوثيق حدود التعميم، والفشل الآمن، والتقييم المنتظم للسلامة والأمن.

• اختبر المهمة الصحيحة والحد القريب منها والطلب المرفوض والهجوم وتعطل الاعتماد لكل قدرة.
• تحقق من أن السجل يعيد بناء الفاعل والقدرة والسياسة والمصادر والأداة والتفويض والموافقة والنتيجة والإصدارات.
• نقح الأسرار وحدد المحتوى الحساس اللازم للتحقيق بدلاً من حفظ السياق الخام بلا حدود.
• راقب الاستخدام غير المتوقع للأدوات وتكرار الرفض وفشل التفويض وتغير الموافقات وتسلسل الإجراءات والانجراف والكمون والموارد.
• امنح مالكي الخدمة والوصول والموافقة والحوادث سلطة إيقاف القدرة أو تعديلها أو سحبها.

ويوصي NCSC بتقييم أمني مناسب قبل الإصدار، مع توضيح القيود وأنماط الفشل المعروفة. ينبغي أن يجيب سجل التشغيل عن أسئلة التحقيق من دون الاحتفاظ بأسرار أو سياق حساس غير محدود: من طلب ماذا، وأي قدرة وسياسة طبقتا، وما فئات المصادر والأدوات المستخدمة، وما نتائج التفويض والموافقة، وما الفعل الذي وقع، وما الإصدارات النشطة؟ كما يوصي NCSC بمراقبة المخرجات والأداء لرصد التغيرات الأمنية المفاجئة أو التدريجية، مع احترام الخصوصية ومتطلبات حماية البيانات. المراقبة الجيدة موجهة بأسئلة تشغيلية، وليست تفويضاً بجمع كل شيء.

أعد فتح الاختبارات وأدلة الإصدار عندما يتغير نموذج أو موجه أو مسترجع أو ذاكرة أو أداة أو صلاحية أو سياسة أو مصدر بيانات أو مزود أو سياق تشغيل على نحو يؤثر في القدرة. ويبين NCSC أن تغييرات البيانات والنماذج والموجهات قد تغير سلوك النظام، ولذلك ينبغي أن تنعكس في نظم الاختبار والتقييم. ابدأ بأصغر قدرة مفيدة، ولا توسع سلطتها بتعديل الموجه وحده؛ اجعل التوسع تغييراً مراجعاً في العقد التنفيذي والمنح والاختبارات والمراقبة. أشرك مالكي الأمن والهوية والخصوصية والسجلات والمخاطر والخدمة عندما تمس القدرة معلومات حساسة أو ذاكرة مستمرة أو وصولاً مميزاً أو التزاماً خارجياً أو استجابة لحادث.