مع انتشار تقنيات الذكاء الاصطناعي/التعلم الآلي لتقديم قيمة الأعمال، أصبحت الحاجة إلى حماية خصوصية البيانات وتأمين تطبيقات الذكاء الاصطناعي/التعلم الآلي من المخاطر الأمنية أمرًا بالغ الأهمية. ان حوكمة الذكاء الاصطناعي إن نموذج إطار العمل مثل NIST AI RMF لتمكين ابتكار الأعمال وإدارة المخاطر لا يقل أهمية عن اعتماد المبادئ التوجيهية لتأمين الذكاء الاصطناعي. يبدأ الذكاء الاصطناعي المسؤول بتأمين الذكاء الاصطناعي من خلال التصميم وتأمين الذكاء الاصطناعي باستخدامه بنية الثقة المعدومة مبادئ.
نقاط الضعف في ChatGPT
كشفت ثغرة أمنية تم اكتشافها مؤخرًا في الإصدار gpt-3.5-turbo عن معلومات تعريفية. تم الإبلاغ عن الثغرة الأمنية في الأخبار في أواخر نوفمبر 2023. ومن خلال تكرار كلمة معينة بشكل مستمر على برنامج الدردشة الآلي، أدى ذلك إلى ظهور الثغرة الأمنية. قامت مجموعة من الباحثين الأمنيين في Google DeepMind، وجامعة كورنيل، وCMU، وUC Berkeley، وETH Zurich، وجامعة واشنطن بدراسة “الحفظ القابل للاستخراج” لبيانات التدريب التي يمكن للخصم استخراجها عن طريق الاستعلام عن نموذج تعلم الآلة دون معرفة مسبقة بالتدريب. dataset.
الباحثون’ تقرير يُظهر أن الخصم يمكنه استخراج غيغابايت من بيانات التدريب من نماذج اللغة مفتوحة المصدر. في اختبار الثغرات الأمنية، تسبب هجوم تباعدي متطور جديد على ChatGPT المتوافق في قيام النموذج بإصدار بيانات تدريب أعلى بمقدار 150 مرة. تظهر النتائج أن طلاب LLM الأكبر حجمًا والأكثر قدرة هم أكثر عرضة لهجمات استخراج البيانات، مما يؤدي إلى إصدار المزيد من بيانات التدريب المحفوظة مع زيادة الحجم. في حين تم توثيق هجمات مماثلة باستخدام نماذج غير محاذية، فقد كشفت ثغرة ChatGPT الجديدة عن هجوم ناجح على نماذج LLM المبنية عادةً بأسوار حماية صارمة موجودة في النماذج المحاذية.
وهذا يثير تساؤلات حول أفضل الممارسات والأساليب في كيفية قيام أنظمة الذكاء الاصطناعي بتأمين نماذج LLM بشكل أفضل، وبناء بيانات تدريب موثوقة وجديرة بالثقة، وحماية الخصوصية.
جهود الأمن السيبراني الثنائية التي تبذلها الولايات المتحدة والمملكة المتحدة بشأن تأمين الذكاء الاصطناعي
تدعم وكالة البنية التحتية والأمن السيبراني الأمريكية (CISA) والمركز الوطني للأمن السيبراني في المملكة المتحدة (NCSC) بالتعاون مع 21 وكالة ووزارة من 18 دولة أخرى المبادئ التوجيهية العالمية الأولى لأمن الذكاء الاصطناعي. تم الإعلان عن المبادئ التوجيهية الجديدة التي تقودها المملكة المتحدة لتأمين الذكاء الاصطناعي كجزء من جهود الأمن السيبراني الثنائية بين الولايات المتحدة والمملكة المتحدة في نهاية نوفمبر 2023.
يعد هذا التعهد اعترافًا بمخاطر الذكاء الاصطناعي من قبل قادة الدول والوكالات الحكومية في جميع أنحاء العالم، وهو بداية تعاون دولي لضمان سلامة وأمن الذكاء الاصطناعي حسب التصميم. تهدف المبادئ التوجيهية المشتركة لوزارة الأمن الداخلي (DHS) وCISA وUK NCSC لتطوير نظام الذكاء الاصطناعي الآمن إلى ضمان دمج قرارات الأمن السيبراني في كل مرحلة من مراحل دورة حياة تطوير الذكاء الاصطناعي منذ البداية وطوال الوقت، وليس كفكرة لاحقة.
تأمين الذكاء الاصطناعي حسب التصميم
يعد تأمين الذكاء الاصطناعي حسب التصميم نهجًا رئيسيًا للتخفيف من مخاطر الأمن السيبراني ونقاط الضعف الأخرى في أنظمة الذكاء الاصطناعي. يعد التأكد من أن عملية دورة حياة تطوير نظام الذكاء الاصطناعي بأكملها آمنة، بدءًا من التصميم وحتى التطوير والنشر والعمليات والصيانة، أمرًا بالغ الأهمية لتحقق المؤسسة فوائدها الكاملة. تتوافق الإرشادات الموثقة في إرشادات تطوير نظام الذكاء الاصطناعي الآمن بشكل وثيق مع ممارسات دورة حياة تطوير البرامج المحددة في إرشادات التطوير والنشر الآمنة الخاصة بـ NSCS وإطار تطوير البرامج الآمنة (SSDF) الخاص بالمعهد الوطني للمعايير والتكنولوجيا (NIST).
ال 4 أعمدة التي تجسد إرشادات لتطوير نظام الذكاء الاصطناعي الآمن يقدم إرشادات لموفري الذكاء الاصطناعي لأي أنظمة سواء تم إنشاؤها حديثًا من الألف إلى الياء أو مبنية على الأدوات والخدمات المقدمة من الآخرين.
1. تصميم آمن
تغطي مرحلة التصميم في دورة حياة تطوير نظام الذكاء الاصطناعي فهم المخاطر ونمذجة التهديدات والمقايضات التي يجب مراعاتها عند تصميم النظام والنموذج.
- الحفاظ على الوعي بالتهديدات الأمنية ذات الصلة
- تثقيف المطورين حول تقنيات التشفير الآمن وأفضل الممارسات في تأمين الذكاء الاصطناعي في مرحلة التصميم
- تقييم وقياس أهمية التهديد والضعف
- تصميم نظام الذكاء الاصطناعي للحصول على الوظائف المناسبة وتجربة المستخدم وبيئة النشر والأداء والضمان والرقابة والمتطلبات الأخلاقية والقانونية
- حدد بنية نموذج الذكاء الاصطناعي والتكوين وبيانات التدريب وخوارزمية التدريب والمعلمات الفائقة باستخدام البيانات من نموذج التهديد
2. التنمية الآمنة
توفر مرحلة التطوير في دورة حياة تطوير نظام الذكاء الاصطناعي إرشادات حول أمن سلسلة التوريد والتوثيق وإدارة الأصول والديون الفنية.
- تقييم وتأمين سلسلة التوريد للنظام البيئي لدورة حياة نظام الذكاء الاصطناعي
- تتبع وتأمين جميع الأصول ذات المخاطر المرتبطة بها
- قم بتوثيق مكونات الأجهزة والبرامج لأنظمة الذكاء الاصطناعي سواء تم تطويرها داخليًا أو تم الحصول عليها من خلال مطورين وموردين آخرين
- توثيق مصادر بيانات التدريب وحساسية البيانات وحواجز الحماية للاستخدام المقصود والمحدود
- تطوير بروتوكولات للإبلاغ عن التهديدات ونقاط الضعف المحتملة
3. النشر الآمن
تحتوي مرحلة النشر في دورة حياة تطوير نظام الذكاء الاصطناعي على إرشادات حول حماية البنية التحتية والنماذج من التسوية أو التهديد أو الخسارة، وتطوير عمليات إدارة الحوادث، والإفراج المسؤول.
- تأمين البنية التحتية من خلال تطبيق ضوابط الوصول المناسبة على واجهات برمجة التطبيقات ونماذج الذكاء الاصطناعي والبيانات، وعلى مسار التدريب والمعالجة الخاص بها، في البحث والتطوير والنشر
- حماية نموذج الذكاء الاصطناعي بشكل مستمر من خلال تطبيق أفضل الممارسات القياسية للأمن السيبراني
- تنفيذ ضوابط لاكتشاف ومنع محاولات الوصول إلى المعلومات السرية أو تعديلها أو تسريبها
- تطوير خطط الاستجابة للحوادث والتصعيد والمعالجة المدعومة بسجلات تدقيق عالية الجودة وميزات وقدرات الأمان الأخرى
- قم بتقييم معايير الأمان وإبلاغ القيود وأنماط الفشل المحتملة قبل إطلاق أنظمة الذكاء الاصطناعي التوليدية
4. تأمين العمليات والصيانة
توفر مرحلة التشغيل والصيانة لدورة حياة تطوير نظام الذكاء الاصطناعي إرشادات حول الإجراءات بمجرد نشر النظام والتي تتضمن التسجيل والمراقبة وإدارة التحديث ومشاركة المعلومات.
- مراقبة سلوك نظام نموذج الذكاء الاصطناعي
- التدقيق من أجل الامتثال لضمان امتثال النظام لمتطلبات الخصوصية وحماية البيانات
- التحقيق في الحوادث وعزل التهديدات ومعالجة نقاط الضعف
- أتمتة تحديثات المنتج من خلال إجراءات التحديثات المعيارية الآمنة للتوزيع
- شارك الدروس المستفادة وأفضل الممارسات للتحسين المستمر
تأمين الذكاء الاصطناعي بمبادئ الثقة المعدومة
لقد ساهم الذكاء الاصطناعي والتعلم الآلي في تسريع اعتماد الثقة المعدومة. يتبع نهج الثقة المعدومة مبادئ الثقة في أي شيء والتحقق من كل شيء. وهي تتبنى مبدأ فرض أقل امتياز للوصول لكل طلب لكل كيان – مستخدم أو تطبيق أو خدمة أو جهاز. لا يوجد كيان موثوق به بشكل افتراضي. إنه التحول من المحيط الأمني التقليدي حيث كان أي شيء داخل محيط الشبكة يعتبر موثوقًا به إلى لا شيء يمكن الوثوق به خاصة مع ارتفاع الحركات الجانبية والتهديدات الداخلية. أدى اعتماد المؤسسات والمستهلكين للسحابة المتعددة الهجينة الخاصة والعامة في عالم متنقل بشكل متزايد إلى توسيع سطح الهجوم الخاص بالمؤسسة من خلال التطبيقات السحابية والخدمة السحابية وإنترنت الأشياء (IoT).
تعالج Zero Trust التحول من نموذج يركز على الموقع إلى نهج أكثر تركيزًا على البيانات لضوابط الأمان الدقيقة بين المستخدمين والأجهزة والأنظمة والبيانات والتطبيقات والخدمات والأصول. تتطلب الثقة المعدومة الرؤية والمراقبة المستمرة والمصادقة لكل واحد من هذه الكيانات لفرض السياسات الأمنية على نطاق واسع. تنفيذ بنية الثقة المعدومة يشمل المكونات التالية:
- الهوية والوصول – حوكمة إدارة الهوية من خلال ضوابط الوصول المشروط القائمة على المخاطر، والتفويض، والمحاسبة، والمصادقة مثل المصادقة متعددة العوامل (MFA) المقاومة للتصيد الاحتيالي
- مراقبة البيانات – توفير حماية البيانات بالتشفير وDLP وتصنيف البيانات بناءً على سياسة الأمان
- الشبكات – تشفير طلبات DNS وحركة مرور HTTP داخل بيئتهم. عزل واحتواء مع تجزئة مجهرية.
- نقاط النهاية – منع واكتشاف والاستجابة للحوادث على الأجهزة التي يمكن تحديدها والمخزونة. تحديد التهديدات المستمرة ومعالجتها من خلال حماية نقطة النهاية باستخدام التعلم الآلي. قم بتمكين الوصول إلى الثقة المعدومة (ZTA) لدعم مستخدمي الوصول عن بعد بدلاً من VPN التقليدية.
- التطبيقات – واجهات برمجة التطبيقات الآمنة والتطبيقات السحابية وأحمال العمل السحابية في النظام البيئي لسلسلة التوريد بالكامل
- الأتمتة والتنسيق – أتمتة الإجراءات للأحداث الأمنية. تنسيق التنفيذ الحديث للعمليات والاستجابة للحوادث بسرعة وفعالية.
- الرؤية والتحليلات – المراقبة باستخدام ML والتحليلات مثل UEBA لتحليل سلوك المستخدم وتحديد الأنشطة الشاذة
تأمين الذكاء الاصطناعي للبشر
أساس الذكاء الاصطناعي المسؤول هو النهج الذي يركز على الإنسان. سواء كانت الدول والشركات والمنظمات في جميع أنحاء العالم تبذل جهودًا لتأمين الذكاء الاصطناعي من خلال الاتفاقيات المشتركة والمبادئ التوجيهية القياسية الدولية والضوابط والمفاهيم الفنية المحددة، لا يمكننا أن نتجاهل أن حماية البشر هي محور كل ذلك.
البيانات الشخصية هي الحمض النووي لهويتنا في العالم الرقمي المترابط. البيانات الشخصية هي معلومات التعريف الشخصية (PII) التي تتجاوز الاسم وتاريخ الميلاد والعنوان وأرقام الهواتف المحمولة والمعلومات الطبية والمالية والعرقية والدينية والكتابة اليدوية وبصمات الأصابع والصور الفوتوغرافية والفيديو والصوت. ويتضمن أيضًا بيانات بيومترية مثل فحص شبكية العين أو التوقيعات الصوتية أو التعرف على الوجه. هذه هي الخصائص الرقمية التي تجعل كل واحد منا فريدًا ويمكن التعرف عليه.
حماية البيانات والحفاظ على الخصوصية يبقى أولوية قصوى. يستكشف علماء الذكاء الاصطناعي استخدام البيانات الاصطناعية لتقليل التحيز من أجل إنشاء مجموعة بيانات متوازنة لتعلم وتدريب أنظمة الذكاء الاصطناعي.
إن تأمين الذكاء الاصطناعي للبشر يتعلق بحماية خصوصيتنا وهويتنا وسلامتنا وثقتنا وحقوقنا المدنية وحرياتنا المدنية، وفي نهاية المطاف، قدرتنا على البقاء.
لتعلم المزيد
· اكتشف لدينا خدمات استشارات الأمن السيبراني للمساعدة.
