مع استمرار تقدم الذكاء الاصطناعي (AI) واعتماده بوتيرة مذهلة، هناك العديد من الطرق التي يمكن أن تكون بها أنظمة الذكاء الاصطناعي عرضة للهجمات. سواء تم تغذيتها ببيانات ضارة تتيح اتخاذ قرارات غير صحيحة أو تم اختراقها للوصول إلى البيانات الحساسة وغير ذلك الكثير، فليس هناك نقص في التحديات في هذا المشهد المتنامي.
اليوم، أصبح من الضروري أكثر من أي وقت مضى التفكير في اتخاذ خطوات لضمان حماية نماذج الذكاء الاصطناعي والتطبيقات والبيانات والبنية التحتية التوليدية.
في حلقة النقاش المؤرشفة هذه، سارة بيترز (أعلى اليسار في الفيديو)، رئيسة تحرير InformationWeek؛ أنطون تشوفاكين (أعلى اليمين)، مستشار أمني كبير للموظفين، مكتب CISO، لشركة Google Cloud؛ ومانوج ساكسينا (الوسط الأدنى)، الرئيس التنفيذي ورئيس مجلس الإدارة التنفيذي لشركة Trustwise AI، اجتمعوا معًا لمناقشة أهمية تطبيق الأمان الصارم لأنظمة الذكاء الاصطناعي.
كان هذا الجزء جزءًا من حدثنا الافتراضي المباشر بعنوان “حالة الذكاء الاصطناعي في الأمن السيبراني: ما وراء الضجيج”. تم تقديم الحدث بواسطة InformationWeek وDark Reading في 30 أكتوبر 2024.
نسخة من الفيديو يلي أدناه. تم إجراء تعديلات طفيفة من أجل الوضوح.
سارة بيترز: حسنًا، فلنبدأ هنا. الموضوع هو تأمين أنظمة الذكاء الاصطناعي، وهذا يمكن أن يعني الكثير من الأشياء المختلفة. يمكن أن يعني ذلك تنظيف جودة البيانات الخاصة ببيانات تدريب النموذج أو العثور على تعليمات برمجية ضعيفة في نماذج الذكاء الاصطناعي.
يمكن أن يعني ذلك أيضًا اكتشاف الهلوسة، أو تجنب تسرب IP من خلال مطالبات الذكاء الاصطناعي التوليدية، أو اكتشاف الهجمات السيبرانية، أو تجنب التحميل الزائد على الشبكة. يمكن أن يكون مليون شيء مختلف. لذا، عندما أقول تأمين أنظمة الذكاء الاصطناعي، ماذا يعني ذلك بالنسبة لك؟
ما هي أكبر المخاطر أو التهديدات الأمنية التي يجب أن نفكر فيها الآن؟ مانوج، سأرسل هذا لك أولا.
مانوج ساكسينا: بالتأكيد، مرة أخرى، شكرًا لاستضافتي هنا. أعتقد أن تأمين الذكاء الاصطناعي على نطاق واسع يعني اتباع نهج استباقي ليس فقط فيما يتعلق بالرؤية الخارجية للأمن، ولكن أيضًا النظرة الداخلية للأمن. لأن ما ندخله هو هذا العالم الجديد الذي أسميه موجه إلى x. اليوم، انها سريعة للاستخبارات.
غدا، سيتم سرعة اتخاذ الإجراء من خلال وكيل. بعد غد، سيتم مطالبتك بالاستقلالية، حيث ستخبر الوكيل بتولي العملية. لذا، ما سنراه فيما يتعلق بتأمين الذكاء الاصطناعي هو المتجهات الخارجية التي ستدخل إلى بياناتك وتطبيقاتك وشبكاتك.
سوف يتم تضخيمها بسبب الذكاء الاصطناعي. سيبدأ الناس في استخدام الذكاء الاصطناعي لإنشاء نواقل تهديد جديدة من الخارج، ولكن سيكون هناك أيضًا عدد هائل من نواقل التهديد من الداخل إلى الخارج التي ستخرج.
قد يكون هذا نتيجة لعدم معرفة الموظفين كيفية استخدام النظام بشكل صحيح، أو قد تؤدي المطالبات في نهاية المطاف إلى خلق مخاطر أمنية جديدة مثل تسرب البيانات الحساسة، أو المخرجات الضارة أو المخرجات المهلوسة. لذا، في هذه البيئة، فإن تأمين الذكاء الاصطناعي يعني تأمين التهديدات الخارجية بشكل استباقي وكذلك التهديدات الداخلية.
أنطون شوفكين: لذا، للإضافة إلى هذا، قمنا ببناء الكثير من البنية حول هذا الأمر. لذا، سأحاول الإجابة دون الاختلاف مع مانوج، ولكن بإضافة بعض البنية. أحيانًا أمزح قائلاً إنها إجابتي في الثالثة صباحًا إذا قال أحدهم، أنطون يؤمن الذكاء الاصطناعي! ماذا تقصد بهذا؟ ربما سأذهب إلى النموذج الذي بنيناه.
بالطبع، هذا جزء من نهج إطار الذكاء الاصطناعي الآمن والمأمون الخاص بنا. عندما أفكر في تأمين الذكاء الاصطناعي، أفكر في النماذج والتطبيقات والبنية التحتية والبيانات. لسوء الحظ، هذا ليس اختصارًا، لأن الاختصار سيكون MADE، وسيكون الأمر غريبًا حقًا.
ولكن بعد أن قال شخص ما إنه ليس اختصارًا، من الواضح أن الجميع اعتقد على الفور أنه اختصار. الأمر الأكثر جدية في هذا الأمر هو أنني إذا قلت تأمين الذكاء الاصطناعي، فإنني أفكر في تأمين النموذج والتطبيقات المحيطة به والبنية التحتية التابعة له والبيانات الموجودة بداخله.
ربما لن يفوتني أي شيء يقع ضمن مجال الأمن السيبراني، إذا فكرت في هذه المجموعات الأربعة. في نهاية المطاف، رأيت الكثير من الأشخاص المهووسين بواحدة من هذه الأشياء، وتحدث كل أنواع النتائج المضحكة والمحزنة أحيانًا. لذلك، على سبيل المثال، أقول إن النموذج هو الأكثر أهمية، وأؤكد على الحقن الفوري.
ثم يقتلني حقن SQL في تطبيقي. إذا لم أرغب في القيام بذلك في السحابة لسبب ما، وحاولت القيام بذلك محليًا، فسيتم التخلي عن البنية التحتية الخاصة بي. النموذج الخاص بي جيد، وطلبي رائع، ولكن تم التخلي عن البنية التحتية الخاصة بي. لذا، في النهاية، هذه الأشياء الأربعة هي ما أفكر فيه عندما أفكر في تأمين أنظمة الذكاء الاصطناعي.
آنسة: هل يمكنني فقط أن أضيف إلى ذلك؟ أعتقد أن هذه طريقة جيدة للنظر إلى المكدس وإطار العمل. وأود أن أضيف قطعة أخرى إليها، والتي تدور حول فكرة تأمين المطالبات. وهذا يمثل أمانًا وتصفية سريعة، ودفاعًا سريعًا ضد هجمات الخصم، بالإضافة إلى التحقق السريع في الوقت الفعلي.
ستقوم بتأمين المطالبة نفسها. أين تعتقد أن هذا مناسب؟
مكيف الهواء: نقوم دائمًا بإدراجها في النموذج، لأن المشكلات العاجلة بالنسبة لنا في النهاية هي مشكلات خاصة بالذكاء الاصطناعي. لا يوجد شيء في بيانات البنية التحتية للتطبيقات خاص بالذكاء الاصطناعي، لأن هذه البيانات موجودة بوضوح لغير التطبيقات. بالنسبة لنا، عندما نتحدث عن المطالبة، فهي دائمًا ما تكون موجودة داخل الجزء M من النموذج.
SP: لذا، فإن إطار عمل الذكاء الاصطناعي الآمن من Google هو شيء يمكننا جميعًا البحث عنه وقراءته. إنها قراءة شاملة ومثيرة للاهتمام، وأوصي جمهورنا بالقيام بذلك لاحقًا. لكنكم يا رفاق قد قمتم بتغطية مجموعة واسعة من الأشياء المختلفة بالفعل عندما طرحت السؤال الأول.
لذا، إذا كنت مديرًا لتكنولوجيا المعلومات أو مديرًا لتكنولوجيا المعلومات، فما الذي يجب أن أقوم بتقييمه؟ كيف يمكنني تقييم أمان أداة الذكاء الاصطناعي الجديدة أثناء مرحلة الشراء عندما تكون قد أعطيتني للتو كل هذه الأشياء المختلفة لمحاولة تقييمها؟ أنطون، لماذا لا تبدأ مع هذا؟
