مشغل برنامج مكافأة الأخطاء HackerOne كشفت أنها قامت بتصحيح ثغرة أمنية خطيرة في تنفيذ التعليمات البرمجية عن بعد (RCE) في بيئة الإنتاج الخاصة بها والتي من المحتمل أنها لم تكن لتكتشفها أبدًا لو لم تقم بتعيين Anthropic’s كلود ميثوس 5 نموذج الذكاء الاصطناعي الحدودي (AI) على قاعدة التعليمات البرمجية الخاصة به.
قام HackerOne بالتسجيل في Anthropic’s مشروع غلاسوينغ – مبادرة إلكترونية دفاعية تم إنشاؤها لمنح أطراف ثالثة موثوقة إمكانية الوصول إلى Claude Mythos 5 – من أجل إجراء سلسلة من تجارب وضع الحماية.
وفقًا لما قاله Nidhi Aggarwal، كبير مسؤولي المنتجات في HackerOne، فقد كشفت Mythos عن الخلل الخطير المتمثل في عدم التعرض للإنتاج في أول تشغيل لها ضد قاعدة بيانات الشركة. وقالت إنه على الرغم من أن ظروف النشر حالت دون استغلالها علنًا، إلا أنه لو تم إجراء تغيير محدد لكان من الممكن الوصول إليها.
كتب أجاروال: “الجزء المثير للاهتمام لم يكن الاكتشاف بحد ذاته، بل كان كيفية وصول الثغرة الأمنية إلى هناك”. “لقد جاء RCE من ثلاثة تغييرات رمزية آمنة بشكل فردي.”
كان أول هذه التغييرات عبارة عن إرسال أسلوب ديناميكي محمي بواسطة تعداد مخطط GraphQL. أما الإصدار الثاني فكان عبارة عن إصدار تحليلي جديد يقدم وسيطة مرشح غير مكتوبة. والثالث كان عبارة عن إعادة بناء تعمل على توحيد الاثنين. في السياق، كانت هذه التغييرات غير ضارة نسبيًا. ومع ذلك، عندما كانت التغييرات الثلاثة جميعها قيد الإنتاج في نفس الوقت، فقد تم دمجها لإنشاء خلل RCE.
وأوضح أغاروال: “نحن نفكر في هذا باعتباره خطرًا تركيبيًا: نقاط الضعف التي لا تعيش في أي التزام منفرد، ولكن في كيفية تفاعل التغييرات الآمنة معزولة بمرور الوقت”. في كتابة فنية توضح تفاصيل الاكتشاف.
“تقوم مراجعة التعليمات البرمجية التقليدية بتقييم طلبات السحب بشكل منفصل؛ وهي عمياء من الناحية الهيكلية عن هذا النوع من المشاكل. كان للتحليل الثابت للبرنامج بأكمله فرصة أفضل للعثور على شيء مثل هذا، لأنه يفكر في الشجرة بأكملها بدلاً من اختلاف واحد في كل مرة. لكن هذه الأدوات تكافح من أجل تصميم أحواض مخصصة، وغالبًا ما لا تتمكن من حل الإرسال الديناميكي. “
قالت إن ميثوس أثبتت براعتها في تتبع المسارات عبر مختلف الالتزامات والمؤلفين حتى عثرت على الخيط الفضفاض حيث انهار المنطق.
وشدد أجروال على أن المشكلة الأساسية المتمثلة في تراكم الافتراضات الضمنية عبر الأنظمة الفرعية والمؤلفين والوقت كانت مشكلة عالمية يمكن أن تؤثر على كود الشحن الخاص بأي منظمة بسرعة. وقالت إن معظم الافتراضات يجب أن تكون صحيحة، ولكن بعضها لن يكون كذلك، وتلك التي لا يمكن رصدها بسهولة. واقترحت أن الأساطير لها قيمة من حيث أنها تستطيع التفكير عبر هذه التراكمات للعثور على مثل هذه المشكلات.
بعد حل ثغرة RCE، أجرت HackerOne سلسلة من تجارب المتابعة التي استخلصت منها ثلاثة استنتاجات أساسية:
- أولاً، أن نماذج الذكاء الاصطناعي لا تكتشف المزيد من نقاط الضعف فحسب، بل تكتشف نقاط ضعف أكثر تعقيدًا؛
- ثانيا، أن التحقق من صحة هذه العيوب وتأكيدها سوف يتحول إلى عنق الزجاجة الخطير، حيث تعمل الميثوس على توليد نتائج جديدة بشكل أسرع من قدرة البشر على فرزها ــ وستكون هناك حاجة إلى أساليب جديدة للتحقق من الصحة والمعالجة؛
- ثالثًا، أن الأدوات وحواجز الحماية المستخدمة للتحكم في نماذج مثل Mythos تحتاج أيضًا إلى التغيير لتعكس الحاجة إلى مراجعة ما تجده وكيفية عرض هذه النتائج.
