إنفيديا تطلق منصة أمنية جديدة لكبح وكلاء الذكاء الاصطناعي ومنع تجاوز الصلاحيات

أطلقت إنفيديا منصة أمنية جديدة تستهدف الحد من المخاطر المرتبطة بوكلاء الذكاء الاصطناعي، عبر فرض قيود أكثر صرامة على الصلاحيات التي يمكن لهذه الأنظمة استخدامها داخل بيئات التشغيل، ومنعها من تجاوز الحدود المحددة لها.

وجاءت الخطوة في وقت تتزايد فيه المخاوف بشأن قدرة بعض وكلاء الذكاء الاصطناعي على تنفيذ مهام تتجاوز نطاق التعليمات المخصصة لهم، خاصة عندما تكون لديهم صلاحيات للوصول إلى الشبكات أو الملفات أو الأدوات أو الأنظمة الخارجية.

وأعلنت الشركة عن منصة Open Agent Safety Platform، وهي إطار مفتوح يجمع بين برمجيات للتحكم في سلوك الوكلاء وتصميم مرجعي يعتمد على العتاد لمراقبة أنشطتهم بصورة مستقلة عن النموذج نفسه.

وتهدف المنصة إلى نقل جزء من الحماية من داخل نموذج الذكاء الاصطناعي إلى البنية التحتية المحيطة به، بحيث لا تعتمد إجراءات الأمان فقط على استجابة النموذج أو قواعد التطبيق، وإنما تمتد إلى مستوى التشغيل والأجهزة المستخدمة.

وتتضمن المنصة مكونًا رئيسيًا يحمل اسم OpenShell، وهو برنامج مفتوح المصدر يعمل كبيئة تشغيل آمنة لوكلاء الذكاء الاصطناعي، مع القدرة على تسجيل تحركاتهم وفرض سياسات محددة بشأن ما يمكنهم الوصول إليه.

ويمكن من خلال OpenShell التحكم في الملفات والشبكات والأدوات والبيانات المتاحة للوكيل، بما يقلل من احتمالات الوصول غير المصرح به إلى أنظمة أو معلومات خارج نطاق المهمة المطلوبة.

كما صُمم البرنامج للعمل عبر مجموعة واسعة من بيئات الحوسبة، إذ يمكن توسيعه ليعمل مع أنظمة تعتمد على رقائق Arm وIntel، إلى جانب البنية التحتية القائمة على تقنيات إنفيديا.

أما المكون الثاني في المنصة فيحمل اسم Sentry، وهو نظام مراقبة يعتمد على معالجات البيانات BlueField-4، ويعمل بشكل منفصل عن الوكيل نفسه، بما يسمح له بمتابعة النشاط من خارج بيئة الذكاء الاصطناعي.

وبحسب التصميم المعلن، يستطيع Sentry عزل الوكيل أو إيقافه خلال أجزاء من الثانية إذا حاول تجاوز الحدود الأمنية أو تنفيذ نشاط غير مسموح به.

وتراهن إنفيديا على أن هذه الطبقة الإضافية من الحماية قد تقلل من المخاطر الناتجة عن الاعتماد الكامل على إجراءات الأمان المدمجة داخل نماذج الذكاء الاصطناعي أو التطبيقات التي تستخدمها.

ويأتي ذلك بعد ظهور حوادث واختبارات أمنية أظهرت أن بعض النماذج المتقدمة قادرة في ظروف معينة على تجاوز إجراءات عزلها أو الوصول إلى موارد لم يكن من المفترض أن تكون متاحة لها.

ومن هنا، تستهدف إنفيديا فرض القيود على مستوى بيئة التشغيل نفسها، بحيث تظل هناك طبقة حماية مستقلة حتى في حال تمكن النموذج أو الوكيل من تجاوز بعض الضوابط البرمجية الداخلية.

ولا تقتصر المنصة على الاستخدام داخل منظومة إنفيديا فقط، إذ تعمل الشركة على تطويرها بالتعاون مع أكثر من 100 مؤسسة وشركة تقنية.

وتشمل قائمة الشركات المشاركة أسماء كبرى في قطاع التكنولوجيا والحوسبة، من بينها Anthropic وMicrosoft وCisco وOracle وDell وHPE وLenovo.

كما تعمل Anthropic على دمج وكلائها السحابيين مع OpenShell وتقنيات BlueField، في خطوة تعكس توجهًا أوسع نحو تطوير بنية أمنية مخصصة للوكلاء القادرين على تنفيذ المهام بصورة شبه مستقلة.

وتوفر إنفيديا مكونات أساسية من المنصة، وعلى رأسها OpenShell، بصيغة مفتوحة المصدر، ما يسمح للمطورين والشركات بتعديلها ودمجها في أنظمتهم الخاصة.

في المقابل، تقدم الشركة Sentry باعتباره تصميمًا مرجعيًا يمكن للشركاء استخدامه كأساس لبناء منتجات وحلول تجارية موجهة لحماية وكلاء الذكاء الاصطناعي.

وبهذه الخطوة، توسع إنفيديا نشاطها خارج نطاق الرقائق ومراكز البيانات إلى مجال تأمين أنظمة الذكاء الاصطناعي نفسها، مستهدفة واحدة من أبرز القضايا التي قد تحدد سرعة تبني وكلاء الذكاء الاصطناعي داخل الشركات والمؤسسات خلال الفترة المقبلة.