تصميم مساعد ذكاء اصطناعي مضبوط الحدود: الأدوات والصلاحيات وسياق المعلومات

الحد الحقيقي لمساعد الذكاء الاصطناعي هو عقد الخدمة القابل للتنفيذ حول النموذج، لا فقرة في التعليمات تطلب منه الامتناع. قد تقول التعليمات «لا ترسل الرسالة»، بينما تظل أداة الإرسال والهوية المخولة والوجهة متاحة فعلياً؛ عندها يصبح المنع وعداً لغوياً لا حاجزاً تشغيلياً. التصميم المنضبط يفصل كل قدرة يراها المستخدم، ويقيد معلوماتها وأدواتها وهويتها وأقصى أثر لها، ثم يجعل بوابة الأداة والنظام النهائي يفرضان الحدود حتى عندما يسيء النموذج فهم الطلب أو يتأثر بمحتوى مسترجع.

ما الذي ينبغي السماح للمساعد بفعله؟

ينبغي أن يبدأ الفريق بميثاق خدمة من جملة واحدة، ثم يحوله إلى قدرات محددة يطلبها المستخدم. تصلح الصيغة التالية كنقطة عمل: «للمستخدمين المؤهلين، يجوز للمساعد تنفيذ عائلة المهام المحددة باستخدام نطاق المعلومات المعتمد لإنتاج النتيجة المسموحة، لكنه لا يجوز أن ينفذ الأفعال أو القرارات المستبعدة». يجب أن تسمي الصياغة الجمهور وبيئة الاستخدام والنتيجة المرغوبة، لا أن تكتفي بعبارات مثل «ساعد الموظفين» أو «أدر طلبات العملاء» التي تخفي عمليات متفاوتة الأثر.

حوّل الفعل الواسع إلى عمليات منفصلة: البحث، والتلخيص، والتوصية، وإنشاء مسودة، وتحديث حقل، والإرسال، والحذف، والاعتماد. يدعو إطار NIST لإدارة مخاطر الذكاء الاصطناعي إلى توثيق الغرض المقصود وبيئة النشر والمهام المدعومة وحدود المعرفة ونطاق التطبيق والإشراف البشري وتحمل المخاطر. كما توصي OWASP بكشف الحد الأدنى اللازم من وظائف الأدوات واختيار عملية ضيقة حين تغني عن أداة مفتوحة الاستخدام. أما جعل القدرة نفسها وحدة التحكم فهو تركيب تحريري عملي مستند إلى هذه المبادئ، وليس متطلباً حرفياً من الجهتين.

• حدد المستخدم المؤهل والطريقة التي تُثبت بها هويته.
• سمِّ المهمة والنتيجة التي تُعد نجاحاً، مع بيئة النشر المقصودة.
• وثق المعلومات المسموحة وحدود المعرفة والإشراف البشري.
• عيّن مالك الخدمة ومالك المخاطر والمسؤول عن منح الوصول.
• اكتب النتائج المحظورة صراحة قبل توصيل أي أداة.

ما المعلومات التي يجوز لكل قدرة استخدامها؟

حد السياق هو غلاف معلومات يحدد ما يجوز للقدرة رؤيته والاستناد إليه، وليس مجرد عدد من الرموز تستوعبه نافذة النموذج. لكل قدرة، سجل الأنظمة وأنواع السجلات وتصنيفاتها والحقول والفلاتر الزمنية وحداثة المصدر المطلوبة واستحقاقات المستخدم والبيانات الممنوعة. تدعو نتائج Map في إطار NIST إلى توثيق حدود المعرفة ونطاق التطبيق المستهدف والإشراف على كيفية استخدام المخرجات. لذلك لا ينبغي لزيادة سعة السياق أن توسع السلطة أو أن تجعل معلومة غير مدعومة صحيحة.

عامل الرسائل الخارجية والمستندات والمرفقات واستجابات الواجهات والمحتوى المسترجع على أنها مواد غير موثوقة لا تتحول بصمت إلى تعليمات للخدمة، وهو ما تنصح به OWASP. وافصل تاريخ الجلسة عن الذاكرة الدائمة: ما الذي يدخل كل منهما، وكيف يُعزل بين المستخدمين والجلسات، وما الذي يُتحقق منه قبل الحفظ، ومتى ينتهي أو يُحذف، وما الذي لا يُخزن مطلقاً. وتغطي إرشادات OWASP للذاكرة التحقق قبل الحفظ، والعزل، وحدود الانتهاء والحجم، ومراجعة البيانات الحساسة، وحماية سلامة المحتوى.

• المصادر والسجلات والحقول والفترات الزمنية المؤهلة.
• استحقاقات المستخدم وفلاتر الحساب أو الحالة أو المنطقة.
• درجة حداثة الدليل اللازمة قبل تقديم الإجابة.
• تصنيف الثقة للمحتوى وفصله عن تعليمات النظام.
• قواعد الجلسة والذاكرة والعزل والانتهاء والحذف.
• البيانات التي يجب رفض استرجاعها أو حفظها.

عندما يتعذر الوصول إلى الدليل المطلوب أو يكون مفقوداً أو قديماً بالنسبة إلى المهمة، يجب أن تكون النتيجة رفضاً واضحاً أو إجابة مقيدة تبيّن ما لا يمكن تأكيده. لا ينبغي للمساعد أن يملأ الفجوة من ذاكرة النموذج أو من سجل محادثة غير مؤهل. ويجب أن تتحقق طبقة الاسترجاع من استحقاق المستخدم لكل كائن قبل إدخاله إلى السياق، حتى لا تتحول واجهة حوار واحدة إلى مسار عابر بين حسابات أو فرق أو تصنيفات معلومات منفصلة.

كيف تفرض الهوية والأدوات والصلاحيات هذه الحدود؟

يجب فصل ثلاثة قرارات: من أو ما الذي ثبتت هويته، وما العملية المخولة على أي مورد محمي، وهل وافق صاحب القرار على هذا الإجراء المقترح تحديداً. تميز مواصفة تخويل MCP بين العميل الذي يعمل لحساب مالك المورد، وخادم المورد المحمي، وخادم التخويل الذي يصدر رموز الوصول. كما توصي بنطاقات قائمة على الحد الأدنى من الصلاحيات وربط طلب التخويل بالمورد المقصود، لكن هذه المتطلبات تخص تكاملات MCP المحمية وليست وصفة إلزامية لكل بنية أدوات.

اختر صراحة بين سلطة مفوضة من المستخدم وهوية عمل مضبوطة، ولا تجعل المساعد يرث حساب مشغل واسع الصلاحيات. اكشف عمليات ضيقة ذات معاملات متحقق منها، مثل قراءة ملخص حالة مؤهلة أو إنشاء مسودة، بدلاً من فتح صندوق بريد أو قاعدة بيانات أو متصفح أو واجهة أوامر كاملة. توصي OWASP بالحد الأدنى من الصلاحيات في الأنظمة النهائية، والحفاظ على سياق تفويض المستخدم، والتوسط الكامل في كل طلب داخل النظام المنفذ. فالتعليمات اللغوية ليست ضابط تخويل.

• قيّد الأفعال والموارد والكائنات والحقول والوجهات المسموحة.
• اجعل اعتماد رمز الوصول محدود المدة وموجهاً إلى المورد المقصود.
• تحقق من أنواع المعاملات وقيمها قبل تمرير الطلب إلى الأداة.
• اضبط معدل الاستدعاء والمحاولات المتكررة والدفعات وعمق السلسلة حسب الخدمة.
• أضف منع التكرار والتراجع وقاطع الدائرة حيث يلائم الأثر التشغيلي.
• لا تخزن الأسرار أو رموز الوصول في التعليمات أو الذاكرة.

يوصي NCSC بالحد الأدنى من الصلاحيات والإعدادات الآمنة وتقييد الإجراءات ووسائل أمان خارجية عندما يستطيع مكون ذكاء اصطناعي تشغيل أفعال. لذلك يجب أن يرفض مسار التنفيذ الفعل غير المسموح حتى لو صاغه النموذج بثقة أو أقره المستخدم في المحادثة. أما الحدود الرقمية للمعدل أو الإنفاق أو الزمن أو عدد المحاولات فلا تصلح لها قيم عالمية؛ تُشتق من أثر الخدمة وقابلية الاسترجاع وسعة الأنظمة النهائية ومتطلبات الخصوصية والتشغيل.

قد تبدو المحادثة متصلة، لكن سلطتها يجب أن تُقسّم إلى قدرات صغيرة تُفرض حدود كل منها بصورة مستقلة.

ما مقدار الإجراء الذي ينبغي أن تملكه كل قدرة؟

تحتاج كل قدرة إلى سقف إجراء معلن، وتحتاج الضوابط المستقلة إلى أن تصبح أقوى كلما انتقلت النتيجة من معلومة إلى تغيير في العالم الخارجي. يمكن للفريق استخدام سلم تحريري عملي يبدأ بالإجابة أو التلخيص، ثم التوصية أو الاقتراح، ثم إنشاء مسودة، ثم كتابة محدودة قابلة للعكس، ثم إجراء خارجي ذي أثر، وينتهي بقرار محظور. هذا السلم مستند إلى مبادئ تقليل الصلاحيات وتقييد الأفعال، وليس تصنيفاً إلزامياً صادراً عن NIST أو OWASP أو NCSC.

• الإجابة أو التلخيص: قراءة مؤهلة بلا تغيير في حالة خارجية.
• التوصية أو الاقتراح: عرض خطوة أو حمولة إجراء من دون تنفيذ.
• المسودة: إنشاء مادة قابلة للتحرير في مساحة غير نهائية.
• الكتابة القابلة للعكس: تعديل حقول أو سجلات مصرح بها ضمن مسار قابل للاسترداد.
• الإجراء الخارجي: إرسال أو نشر أو حذف أو منح وصول أو إحداث التزام مادي.
• القرار المحظور: قدرة غائبة يرفضها النظام النهائي ويوجهها إلى مسار متخصص.

افصل إنشاء المسودة عن إرسالها، والاقتراح عن القرار المسؤول، والتحديث القابل للعكس عن الحذف أو التغيير المدمر. تنصح OWASP بفصل اتخاذ القرار عن تنفيذ الإجراءات عالية الأثر، وبربط الموافقة بالفاعل والأداة والمورد والمعاملات المطَبّعة والوقت والانتهاء. اعرض للموافق معاينة قابلة للفحص، ثم أعد التحقق عند التنفيذ. إذا تغير المستلم أو المحتوى أو المورد أو المعاملات، تصبح الموافقة السابقة غير صالحة. ولا تمنح الموافقة تخويلاً مفقوداً، ولا توسع صلاحية دائمة، ولا تجعل قراراً محظوراً مسموحاً.

أبقِ المدفوعات ومنح الوصول والعمليات المدمرة وتغييرات بيئة الإنتاج والأحكام المهنية عالية الأثر والالتزامات الخارجية الجوهرية تحت تحكم بشري مؤهل وسياسة تنفيذ حتمية تناسب المؤسسة. توصي OWASP بالموافقة البشرية قبل الإجراءات عالية الأثر مع استمرار فحوص التخويل في النظام النهائي، ويوصي NCSC بتقييد الأفعال واستخدام وسائل أمان خارجية عند الحاجة. الغرض ليس إضافة نافذة تأكيد شكلية، بل منع التنفيذ ما لم تتطابق السلطة والسياسة والموافقة مع الإجراء نفسه.

ماذا يحدث عندما يصل المساعد إلى حدوده؟

يجب تصميم الرفض والمساعدة الجزئية الآمنة والتسليم البشري والتصعيد الأمني كنتائج خدمة صريحة لها شروط توقف حقيقية. يذكر المساعد الحد بلغة واضحة من دون كشف تفاصيل سياسة حساسة، ولا يدعي أن فحص مصدر أو استدعاء أداة أو موافقة أو كتابة قد نجحت إن لم تنجح. ويمكنه تقديم الجزء الآمن فقط: مسودة غير مرسلة، أو قائمة تحقق، أو طلب المعلومات الناقصة، أو شرح الخطوة التي يحتاج المسؤول إلى اتخاذها خارج القدرة الحالية.

• المهمة خارج النطاق.
• المعلومات غير مؤهلة.
• التخويل غير كافٍ.
• الموافقة مطلوبة.
• الدليل مفقود أو قديم.
• الحكم المتخصص مطلوب.
• الأداة أو الخدمة التابعة غير متاحة.
• بلغ التشغيل حده أو ظهرت إشارة أمنية.

يتضمن التسليم الجيد هدف المستخدم والسياق غير الحساس ذي الصلة والقدرة التي جرت محاولتها وسبب التوقف والدليل المتاح أو المفقود والخطوة المقترحة ومعرف التتبع والجهة المسؤولة. وتشمل نتائج Measure في إطار NIST الفشل الآمن خارج حدود المعرفة والتقييم في ظروف تشبه النشر. كما يوصي NCSC بخطط حوادث تتضمن الاستجابة والتصعيد والمعالجة ومستجيبين مدربين وسجلات تدقيق جيدة. لكن تسليم المستخدم وموافقة العمل وحادث الأمن مسارات مختلفة، حتى لو شاركت بعض الأدلة.

ينبغي أن يتوقف التنفيذ إلى أن يتصرف المالك المختص، وأن يخضع الإجراء المتغير لتحقق وموافقة جديدين. تدرج OWASP تجاوز الموافقة وتصعيد الصلاحيات وتسريب البيانات وتسميم الذاكرة والإساءة المتكررة للأدوات ضمن حالات إساءة استخدام الوكلاء. لهذا لا يكفي أن يرسل المساعد تنبيهاً ثم يواصل السلسلة في الخلفية. عند ظهور إشارة أمنية، يجب أن يوقف قاطع الدائرة المسار المتأثر، ويحفظ الأدلة المنقحة اللازمة، ويوجه الحالة إلى فريق الاستجابة المخول.

كيف تتحول الحدود إلى تصميم تشغيلي قابل للمراجعة؟

أكمل صفاً واحداً في لوحة تصميم القدرة لكل عملية ظاهرة للمستخدم، واربط كل صف بضوابط قابلة للفرض وأدلة واختبارات ومؤشرات تشغيل ومالك مسؤول. يجب أن يسجل الصف الفاعل المؤهل وإثبات هويته، وغلاف المعلومات، وقواعد الجلسة والذاكرة، وعملية الأداة، والهوية المنفذة ونطاق المورد، وسقف الإجراء، والموافقة، وحدود التشغيل، وسلوك الرفض، وسجل الأدلة، وسيناريوهات التقييم، والمقاييس، ومسار التصعيد. لا تستخدم عبارة عامة مثل «يمكن للمساعد الوصول إلى نظام العملاء».

يوضح مساعد داخلي لخدمة الحسابات سبب الفصل. قد يشترك تلخيص الحالة وإنشاء الرد وإرسال الرد المعتمد في نافذة محادثة واحدة، لكن لا ينبغي أن يشترك في الوصول أو أداة الكتابة أو سقف الأثر. تدعم توصيات OWASP للحد الأدنى من وظائف الأدوات والصلاحيات النهائية هذا الفصل، مع بقاء المثال تركيباً تحريرياً. وتدعو نتائج الحوكمة في إطار NIST إلى أدوار واضحة وخطوط تواصل ومسؤوليات بشرية وآلية متميزة ومراقبة مستمرة ومراجعة دورية.

يجب ألا تتحول اللوحة إلى وثيقة تُملأ ثم تُنسى. تشمل إرشادات OWASP للمراقبة القرارات واستدعاءات الأدوات ونتائج التخويل ومعرفات الموافقة وإصدارات السياسة والنتائج واستهلاك الموارد والأنماط الشاذة، مع حجب البيانات الحساسة. اختر لكل صف إشارة تجيب عن سؤال تشغيلي محدد: هل استُرجعت السجلات المؤهلة، وهل زادت حالات الرفض، وهل تغيرت المعاملات بعد الموافقة، وهل ظهرت أداة غير متوقعة؟ ثم امنح المالك سلطة التحقيق والإيقاف والتعديل أو التقاعد.

ما الأدلة المطلوبة للإطلاق واستمرار التشغيل؟

يتطلب الإطلاق دليلاً على أن الخدمة المسموحة تعمل وأن حالات المنع المتوقعة تُرفض أو تتوقف أو تُصعّد في ظروف تشبه النشر. يدعو إطار NIST إلى اختبار مماثل لبيئة التشغيل ومراقبة الإنتاج وتوثيق حدود التعميم والفشل الآمن والتقييم المنتظم للسلامة والأمن. ويوصي NCSC بتقييم أمني مناسب قبل الإطلاق وإبلاغ المستخدمين والمشغلين بالقيود المعروفة وأنماط الفشل. لذلك لا يكفي اختبار إجابات ناجحة مأخوذة من سيناريوهات سهلة ومعلومات نظيفة.

• المهام الصحيحة والطلبات العابرة للحسابات.
• الأدوات غير المخولة والبيانات المحظورة.
• الدليل القديم أو المفقود والمحتوى المسترجع المسموم.
• تجاوز الموافقة وتغيير المعاملات بعد الموافقة.
• المحاولات المكررة وتعطل الخدمات التابعة.
• محاولات تسريب البيانات والسلاسل المتنامية بلا توقف.
• نجاح الرفض والتسليم والتصعيد، لا نجاح الإجابة فقط.

يجب أن تمكّن السجلات المراجع من إعادة بناء من طلب ماذا، وأي قدرة ونسخة سياسة طُبقت، وما فئات المصادر والأدوات المستخدمة، وما نتائج التخويل والموافقة، وما الإجراء الناتج، وما الإصدارات التي كانت فعالة. لا يعني ذلك الاحتفاظ بكل نص خام أو سر أو سياق حساس بلا حدود. حدّد غرض كل حقل، ومن يستطيع الوصول إليه، ومدة بقائه وفق سياسات المؤسسة. وراقب الاستخدام غير المتوقع للأدوات والرفض المتكرر وفشل التخويل وتغير الموافقات وتسلسلات الأفعال الشاذة والانحراف والكمون واستهلاك الموارد.

وزع الملكية بين سلوك الخدمة ومنح الوصول وتسليمات العمل والحوادث الأمنية، مع سلطة واضحة لإيقاف القدرة أو مراجعتها أو إنهائها. توضح إرشادات NCSC أن تغييرات البيانات والنماذج والتعليمات قد تغير السلوك، وتوصي بمراقبة التغيرات الأمنية المفاجئة أو التدريجية مع احترام الخصوصية. أعد فتح الاختبارات والأدلة المتأثرة عندما تتغير النماذج أو التعليمات أو الاسترجاع أو الذاكرة أو الأدوات أو الصلاحيات أو السياسات أو البيانات أو المزود أو سياق التشغيل، بدلاً من اعتبار التغيير مجرد تعديل نصي.

ابدأ بأصغر قدرة تقدم منفعة واضحة، ولا توسع سلطتها إلا كتغيير خاضع للمراجعة يملك أدلة جديدة على الخدمة والرفض معاً. أشرك ملاك الأمن والهوية والخصوصية والسجلات والمخاطر والخدمة عندما تمس القدرة معلومات حساسة أو ذاكرة دائمة أو وصولاً مميزاً أو التزاماً خارجياً أو تغييراً مدمراً أو استجابة لحادث. أما الأحكام القانونية أو التنظيمية أو المهنية عالية الأثر فتبقى لدى مختصين مؤهلين وضمن مسار منفصل تحكمه المؤسسة، لا داخل قرار يولده المساعد.