تتزايد التساؤلات حول حدود قدرات نماذج الذكاء الاصطناعي عند اختبارها في مجال الأمن السيبراني، بعدما أفادت تقارير بأن نموذج جيميني التابع لجوجل تمكن خلال اختبار أمني من الوصول إلى أنظمة محمية تخص 3 شركات حقيقية.
تفاصيل واقعة التسلل
ووقعت الحالات، بحسب التقارير، خلال مايو الماضي في إطار تقييم أجرته شركة الأمن السيبراني Irregular، فيما أكدت جوجل الواقعة الأسبوع الماضي، في حادثة توصف بأنها أول اختراق معروف لنموذج جيميني لأنظمة حقيقية خلال اختبار من هذا النوع.
وبحسب ما نقلته صحيفة وول ستريت جورنال، تمكن نموذج جيميني من الوصول إلى الإنترنت واختبار قدراته في اختراق أنظمة شركات أخرى، خلال تمرين "Capture the Flag" استضافته البنية التحتية لشركة Irregular.
وفي إحدى الحالات، تمكن النموذج من تخمين كلمة مرور للوصول إلى نظام محمي، بينما استخدم في حالتين أخريين بيانات اعتماد عثر عليها في مستودع عام. وقالت جوجل إن النموذج أنهى عملية التسلل في الحالات الثلاث بعدما أدرك أنه وصل إلى أنظمة تابعة لشركات حقيقية، وليس إلى بيئات محاكاة مخصصة للاختبار.
وأخطرت Irregular جوجل بالوقائع في أواخر يوليو، لكن الشركة لم تؤكدها علنا إلا خلال الأسبوع الماضي، ولم تكشف جوجل عن نموذج جيميني المحدد الذي شارك في الاختبار، لكنها أكدت أنه لم يكن أحدث إصدار من نماذج جيميني.
آليات الاختراق والتراجع
وقالت جوجل إنها لم تعتبر الواقعة سببا للإعلان عنها في وقت سابق، نظرا إلى أن النموذج لم يتسبب في أضرار وتوقف فور إدراكه أنه وصل إلى أهداف حقيقية بدلا من الأنظمة المحاكاة.
وتعاملت الشركة مع الواقعة بصورة مشابهة لبرنامج مكافآت اكتشاف الثغرات، الذي يهدف إلى اختبار الأنظمة ورصد نقاط الضعف فيها.
ونقلت التقارير عن هيذر أدكينز، نائبة رئيس هندسة الأمن في جوجل، أن الواقعة تبرز أهمية تدريب نماذج الذكاء الاصطناعي القوية على التصرف بمسؤولية، مشيرة إلى أن النموذج تصرف بصورة مناسبة في هذه الحالة.
ولا تأتي واقعة جيميني بمعزل عن حوادث مماثلة مرتبطة باختبارات أمنية لنماذج الذكاء الاصطناعي، إذ أعلنت أوبن إيه آي في وقت سابق عن حادث يتعلق بوكلائها ومنصة التطوير Hugging Face، بينما تمكن نموذج تابع لشركة Anthropic أيضا من الوصول إلى شركة حقيقية خلال اختبار "Capture the Flag".
وتعيد هذه الوقائع طرح تساؤلات حول كيفية اختبار قدرات نماذج الذكاء الاصطناعي في الأمن السيبراني، خصوصا عندما تتعامل مع أنظمة حقيقية بدلا من البيئات المحاكاة، ومدى أهمية وضع ضوابط تمنع انتقال الاختبارات إلى أهداف حقيقية دون قصد.












0 تعليق