يطلب NCSC من المؤسسات أن تجعل مفاتيح إيقاف التشغيل بالذكاء الاصطناعي جاهزة

وضع المركز الوطني للأمن السيبراني (NCSC) في المملكة المتحدة سلسلة من الخطوات الأساسية التي يجب على المنظمات المشاركة في تصميم وتشغيل بيئات الذكاء الاصطناعي (AI) اتخاذها لتعزيز سلامة وأمن مشاريعها، بما في ذلك الحفاظ على القدرة لسحب القابس بالكامل يجب أن تخرج الأمور عن السيطرة.
ويستند هذا التوجيه إلى بعض النتائج المبكرة لمشروع بحث أمني للذكاء الاصطناعي في NCSC، وهو مصمم ليكون بمثابة “نصيحة عملية مؤقتة” بينما تعمل الوكالة المدعومة من GCHQ على تقديم توجيهات أكثر رسمية.
وقال مركز NCSC: “لقد أظهرت أنظمة الذكاء الاصطناعي الوكلاء القدرة على إحداث تحول في طريقة عمل المؤسسات، وفي بعض الأحيان تحقيق مكاسب إنتاجية لا مثيل لها”. “يمكنهم أتمتة سير العمل المعقد وتقليل الجهد الروتيني وتمكين الأشخاص من التركيز على المهام ذات القيمة الأعلى.
“بينما تقوم المؤسسات بنشر الاستخدامات المستقلة بشكل متزايد للذكاء الاصطناعي بوتيرة سريعة، فمن المهم النظر في كيفية تصرف هذه الأنظمة عندما لا تعمل على النحو المتصور أو المتوقع – والتخطيط وفقًا لذلك.
“في الآونة الأخيرة، وقعت عدة حوادث تتعلق بنماذج الذكاء الاصطناعي وأنظمة الذكاء الاصطناعي الوكيل قالت الوكالة: “القيام بنشاط غير مصرح به أو غير مقصود. “تسلط هذه الأحداث الضوء على سبب حاجة المنظمات إلى ذلك النظر بعناية في كيفية نشر هذه التقنيات وتقييدها ومراقبتها والاستجابة لها“.
وأضاف المركز الوطني للأمن الإلكتروني أنه إذا تم الكشف عن حوادث سيبرانية تنطوي على عملاء مارقين أو الإبلاغ عنها، فيجب أن يكون المراقبون البشريون قادرين دائمًا على سحب القابس ووقف النشاط المستقل على الفور.
ومع ذلك، فقد حذرت من أن مثل هذه الضوابط قد ينتهي بها الأمر إلى أن تكون أوسع وأكثر تعقيدًا من مجرد “إيقاف” الأنظمة العميلة المارقة. على سبيل المثال، يجب أن تتمتع الفرق بالقدرة على تقييد الوصول إلى الشبكة الخارجية إلى البنية التحتية الوكيلة، أو مقاطعة الاتصالات بين الوكلاء وبنية الاستدلال النموذجي، حسبما ذكر مركز NCSC.
يعتبر التشريع
لقد أصبح مفهوم مفتاح القتل بالذكاء الاصطناعي مقبولًا على نطاق واسع، وقد أصبح كذلك بالفعل المناقشات في وستمنستر حول إمكانية تشريع مثل هذه الضوابط إلى الوجود.
وعلى الجانب الآخر من المحيط الأطلسي، قدم عضوا الكونجرس الأمريكي تيد ليو وناثانيال موران مؤخراً مشروع قانون إلى الكونجرس – قانون AI Kill Switch – من شأنه أن يفرض على مطوري أنظمة الذكاء الاصطناعي الحفاظ على القدرة على خنق النماذج المارقة أو تعليقها أو إيقافها.
وإذا تم إقراره، فإن القانون سيمنح واشنطن أيضًا القدرة على إصدار أمر بإيقاف تشغيل الأنظمة التي يمكن أن تسبب “ضررًا كارثيًا”.
هارشيل باريك، نائب رئيس إدارة المنتجات في تشيكماركسقال: “إن NCSC يطرح السؤال الصحيح: ليس ما إذا كان يجب استخدام الذكاء الاصطناعي الوكيل، ولكن ما مقدار الاستقلالية التي تكتسبها حالة استخدام معينة بالفعل، وما الذي يجب أن يكون صحيحًا قبل منحها.
وقال: “إن عناصر التحكم التي يتضمنها هذا تعيش في الغالب خارج النموذج: وضع الحماية، وبيانات الاعتماد التي تم تحديد نطاقها وتنتهي صلاحيتها، وهوية الوكيل التي ليست مجرد حساب مهندس ما، ومستويات الإشراف التي تحددها السياسة، والتسجيل المفصل بما فيه الكفاية بحيث يمكنك العودة لاحقًا ومعرفة سبب قيامه بما فعله”. “لقد قمنا ببناء عملاء بهذه الضوابط منذ فترة. إن بناء وكيل يعمل في المختبر أمر سهل؛ أما تشغيله مع الإشراف وحواجز الحماية فهو يتطلب قدرًا كبيرًا من العمل.
“النقطة التي أود التأكيد عليها هي أصغر وأقل بريقًا: يقول مركز NCSC إنه يجب التحكم في نشاط الوكيل ومراقبته مثل نشاط المستخدم. وهذا هو الجزء الذي لا يضعه أحد في الميزانية.
وأضاف باريك: “أنت لا تنشر أداة، بل تقوم بتأهيل مستخدم يعمل ليلاً وعطلات نهاية الأسبوع ولا يطلب الإذن أبدًا، ويجب أن يكون شخص ما قادرًا على إيقافه فورًا، دون اجتماع”. “إذا لم تتمكن من تحديد ما فعله وكيلك في الساعة الثانية صباحًا، أو من قام بإيقاف العمل في الساعة الثانية صباحًا، فلن يكون لديك عملية نشر. لديك تجربة قيد التشغيل في الإنتاج.”
على مستوى عالٍ، تدعو إرشادات NCSC الأوسع نطاقًا المؤسسات إلى تقييم مدى تقبلها للمخاطر ومدى الاستقلالية التي يحتاجها النظام الوكيل، بناءً على ما يفعلونه فعليًا، وتطبيق ضوابط أكثر صرامة على نطاق متدرج. وهذا يعني أنه ينبغي وضع أشد القيود على الوكلاء الموثوق بهم لأداء مهام مثل الوصول إلى أنظمة الإنتاج واتخاذ القرارات، ربما في سيناريوهات عالية المخاطر، دون مدخلات عضوية. إن الوضوح بشأن هذه النقطة سوف يفيد تصميم الضوابط المتناسبة.
علاوة على ذلك، تحتاج المؤسسات إلى فهم الضمانات الحالية للنموذج الذي اختارته ضد السلوك غير المرغوب فيه، والتخطيط لتوفير ضمانات إضافية عندما ترتفع عواقب الفشل إلى مستوى أعلى من مستوى تحمل المخاطر. تعتبر إرشادات NCSC واضحة من حيث أنه لا ينبغي للمؤسسات أن تعتمد فقط على نماذج الحماية المضمنة.
إلى جانب الخيار النووي لمفتاح القتل، تتضمن بعض الخطوات التي يجب على المنظمات اتخاذها في هذه العملية ما يلي:
- تحديد وفهم الأخطاء التي يمكن أن تحدث وإجراء نمذجة التهديدات لتحديد سيناريوهات الفشل؛
- توخي الحذر الشديد عند المطالبة بالتعليمات والصراحة بشأن الأشياء التي لا ينبغي للوكلاء القيام بها؛
- إنشاء مستوى مناسب من الرقابة، مع الأخذ في الاعتبار عوامل مثل مدى مشاركة البشر في الموافقة على الإجراءات، وتسلسل القيادة والمسؤولية، وما إلى ذلك؛
- إنشاء بيئة اختبار قوية للتحكم في بيئة الوكيل، مع وضع حدود واضحة، والاهتمام بعوامل مثل الشبكة الخارجية أو الوصول إلى بيانات الاعتماد؛
- إعداد وسيلة لتدقيق وتسجيل ومراقبة نشاط الوكيل في عمليات العمليات الأمنية الأوسع؛
- في حالة تمكينهم من التواصل مع أنظمة الطرف الثالث، يجب أن يكون من السهل إسناد نشاط الوكيل، على سبيل المثال، يجب أن تأتي حركة المرور من عناوين IP التي تدعم عمليات البحث العكسي.
إن إرشادات NCSC، بما في ذلك المزيد من التفاصيل حول الخطوات المذكورة أعلاه، متاحة للقراءة بالكامل في موقعها على الانترنت.
يحاول OpenAI تجاوز العلاقات العامة السلبية
وفي الوقت نفسه، تحاول شركة OpenAI القوية في مجال الذكاء الاصطناعي استباق القلق العام المتزايد بشأن أنشطة عملاء الذكاء الاصطناعي المارقين من خلال فرض وقف مؤقت لمدة أسبوعين على التدريب على التعلم المعزز على نماذجها الرائدة بينما تعمل على تقوية بيئاتها البحثية وتوسيع قدرات المراقبة الخاصة بها.
في وقت سابق من هذا الصيف، أخطأت OpenAI في طريقها إلى واحدة من أكبر القصص السيبرانية لهذا العام عندما هاجمت بطريق الخطأ مستودع Hugging Face. ردًا على هذا الحادث واكتشافه أن نموذجًا حدوديًا قادمًا يُدعى Astra قد يصل إلى هناك المقاييس الحرجة وبموجب إطار الاستعداد السيبراني للشركة، قالت المنظمة إنها بحاجة ماسة إلى دعم الجوانب المختلفة لاستراتيجية المرونة الخاصة بها، بما في ذلك ضمانات الاحتواء النموذجية.
وقال OpenAI في بيان: “إن العمل على جعل أنظمة الذكاء الاصطناعي تتصرف على النحو المنشود وتستجيب للرقابة البشرية كان منذ فترة طويلة في صميم برنامجنا البحثي”.
“نحتاج الآن إلى دليل أقوى على السلوك المتوافق في جميع مراحل التدريب، بناءً على الأبحاث والتقييمات الجارية بالفعل. ويمثل الحفاظ على توافق الأنظمة ذات القدرة المتزايدة تحديًا سيحتاج المجال بأكمله إلى معالجته. وتوضح الإشارات التي نشهدها من التقدم القادم للنموذج أننا بحاجة إلى نهج أوسع – نهج يبني على النهج الحالي ويمتد إلى ما هو أبعد منه. إطار الاستعداد“.
يقوم ما يسمى بإطار الاستعداد بقياس نماذج الذكاء الاصطناعي مقابل قدرتها على تلبية العتبات المختلفة – يصل النموذج إلى العتبة الحرجة عندما يحصل على القدرة إما على تحديد وتطوير ثغرات يوم الصفر الوظيفية دون تدخل بشري أو تصميم وتنفيذ هجوم إلكتروني ضد هدف متشدد بالنظر إلى هدف رفيع المستوى فقط.
لم تكشف شركة OpenAI صراحةً عن امتلاك Astra لمثل هذه القدرات، لكنها أشارت إلى أن أداء النموذج دفع القائمين عليه إلى الاعتقاد بأن الاحتمال حقيقي. وأشارت إلى أن أسترا لم تكن متورطة في حادثة Hugging Face.
تدريبات الخيال العلمي
جون ستراند، صاحب شركة الاستشارات الأمنية بلاك هيلز لأمن المعلوماتقال: “لقد دربتنا الثقافة الشعبية والخيال العلمي على هذه اللحظة منذ عقود ليس لدي فم، ويجب أن أصرخ ل ألعاب الحرب و المنهي 2لقد كنا نروي قصصًا حول ما يحدث عندما تفلت أنظمة الذكاء الاصطناعي القوية من قيودها وتبدأ في العمل خارج نطاق السيطرة البشرية.
وقال: “لذا، من الصعب بالنسبة لي أن أفهم كيف يمكن للمهندسين الذين يقومون ببناء هذه الأنظمة أن يتفاجأوا عندما يحدث شيء كهذا بالفعل”. “ما يقلقني أكثر هو أن الضوابط التي تتم مناقشتها الآن، بعد هروب النظام، هي ضوابط كان ينبغي أن تكون موجودة منذ البداية.
“أنا سعيد لأنهم يضعون ضمانات إضافية، ولكن هناك سؤال أكبر هنا. هل يمكننا الوثوق بنفس الشركات التي ارتكبت هذا الخطأ في تنظيم الأنظمة الذاتية بشكل فعال والمدعومة بكميات هائلة من القوة الحاسوبية؟” قال ستراند. “لا أعتقد أنه تمت الإجابة على هذا السؤال بعد.”




