أطلقت مايكروسوفت أدوات RAMPART وClarity مفتوحة المصدر لمساعدة المطورين في تعزيز أمن عملاء الذكاء الاصطناعي واختبارها ضد التهديدات، وفق متابعة تيكبامين.
كشفت شركة مايكروسوفت النقاب عن أداتين جديدتين مفتوحتي المصدر تحت مسمى RAMPART وClarity، تهدفان إلى تمكين المطورين من اختبار أمن وسلامة عملاء الذكاء الاصطناعي (AI Agents) بشكل أفضل خلال مراحل التطوير. تأتي هذه الخطوة في ظل تزايد الاعتماد على الأنظمة الذكية والحاجة الملحة لحمايتها من الهجمات المعقدة.
ما هي أداة RAMPART وكيف تحمي عملاء الذكاء الاصطناعي؟
تُعد أداة RAMPART، وهي اختصار لمنصة تقييم المخاطر وقياس أداء الفرق الحمراء للوكلاء، إطار عمل متخصصاً لاختبار الأمان والسلامة. تعمل هذه الأداة بشكل طبيعي مع بيئة Pytest، مما يسمح للمهندسين بكتابة وتشغيل اختبارات تغطي القضايا العدائية والبريئة على حد سواء.
وفقاً لما ذكره تقرير تيكبامين، تتيح الأداة للمستخدمين القدرة على القيام بالمهام التالية:
- كتابة حالات اختبار لمحاكاة الهجمات على عملاء الذكاء الاصطناعي.
- اكتشاف ثغرات "حقن المطالبات المتقاطع" (Cross-prompt injections).
- رصد عمليات تسريب البيانات غير المصرح بها.
- تحديد التراجعات السلوكية غير المقصودة في أداء النموذج.
تقوم RAMPART بتقييم نتائج هذه الاختبارات وتقديم تقارير مفصلة، حيث تتطلب فقط محولاً (Adapter) يربط الوكيل الذكي بمجموعة الاختبار. وتعتمد هذه الأداة على نجاح أداة PyRIT التي أطلقتها مايكروسوفت سابقاً، ولكنها تركز بشكل أكبر على المطورين أثناء عملية البناء.
كيف تساهم أداة Clarity في تحسين تصميم الأنظمة؟
على الجانب الآخر، تصف مايكروسوفت أداة Clarity بأنها "لوحة تفكير هيكلية" تساعد الفرق التقنية على الوصول إلى النهج الصحيح حتى قبل كتابة سطر واحد من الكود البرمجي. تعمل الأداة كشريك تفكير مدعوم بالذكاء الاصطناعي يقوم بتوجيه المطورين عبر مراحل حاسمة.
مميزات أداة Clarity للمطورين:
- توضيح المشكلات التقنية المعقدة في بداية المشروع.
- استكشاف الحلول الممكنة وتحليل مخاطر الفشل.
- تتبع القرارات التصميمية وتوثيق الافتراضات.
- توفير الوقت والجهد عبر تصحيح المسار في مراحل مبكرة.
لماذا تطلق مايكروسوفت هذه الأدوات الآن؟
تهدف مايكروسوفت من خلال طرح هذه الأدوات للعموم إلى معالجة أسباب اتخاذ قرارات معينة في المراحل الأولى من تطوير البرمجيات. هذا النهج يضمن التعامل مع أي مشكلة محتملة، مثل صلاحيات وصول الوكيل الذكي للأدوات، قبل بناء النظام بالكامل بفترة طويلة.
أوضح خبراء الأمن في مايكروسوفت أن الهدف هو تمكين مديري المنتجات والمهندسين من اختبار افتراضاتهم تحت الضغط في بداية المشروع، حيث يكون تغيير المسار غير مكلف مقارنة بإعادة العمل لشهور طويلة لاحقاً. كما تهدف الشركة إلى جعل الحوادث الأمنية قابلة لإعادة الإنتاج والتحقق من فاعلية الإصلاحات بشكل منهجي.
في الختام، يمثل دمج RAMPART وClarity في سير العمل انتقالاً من مراجعات الأمان لمرة واحدة إلى عملية مستمرة طوال دورة حياة التطوير، مما يضمن بناء وكلاء ذكاء اصطناعي أكثر أماناً وموثوقية في المستقبل القريب كما أشار فريق تيكبامين التقني.
