لقد وصل عصر الذكاء الاصطناعي ، وعلى وجه الخصوص ، AI التوليدي ، بسرعة ملحوظة. تقوم المؤسسات بتضمين الذكاء الاصطناعي عبر الوظائف: من روبوتات خدمة العملاء ومحركات تلخيص المستندات إلى أدوات الكشف عن التهديدات ودعم القرار AI.
ولكن مع تسريع التبني ، تواجه CISO الآن فئة جديدة من الأصول الرقمية في شكل نموذج الذكاء الاصطناعى ، الذي يدمج الملكية الفكرية ، والبنية التحتية للبيانات ، ومنطق الأعمال الحرجة ، وسطح الهجوم المحتمل في مجمع واحد ، متطور.
قد لا تكون التدابير الأمنية التقليدية كافية للتغلب على هذا الواقع الجديد. من أجل حماية عمليات المؤسسات والسمعة وسلامة البيانات في العالم الأول من الذكاء الاصطناعي ، قد يحتاج قادة الأمن إلى ذلك إعادة التفكير في استراتيجيات الأمن السيبراني.
“الأصول الرقمية الحية”
أولاً وقبل كل شيء ، ينبغي التعامل مع أنظمة الذكاء الاصطناعى ونماذج Genai كأصول رقمية حية. على عكس البيانات الثابتة أو البنية التحتية الثابتة ، تتطور هذه النماذج بشكل مستمر من خلال إعادة التدريب والضبط والتعرض لمطالبات جديدة ومدخلات البيانات.
هذا يعني أن سلوك النموذج ومنطق صنع القرار ونقاط الضعف المحتملة يمكن أن يتغير بمرور الوقت ، وغالبًا بطرق غير شفافة.
لذلك يجب أن تطبق CISO عقلية الحوكمة المستمرة والتدقيق والتكيف. أمان الذكاء الاصطناعي ليس مجرد مجموعة فرعية من أمان البيانات أو أمان التطبيق ؛ إنه مجاله الخاص الذي يتطلب حوكمة وقدرات المراقبة والاستجابة للحوادث.
الخطوة الحرجة هي إعادة تعريف كيف تصنف المؤسسات البيانات داخل دورة حياة الذكاء الاصطناعي.
تقليديا ، ركزت سياسات أمان البيانات على حماية البيانات المنظمة في الراحة ، في العبور أو قيد الاستخدام. ومع ذلك ، مع الذكاء الاصطناعي ، يجب أن تعامل مدخلات النماذج ، مثل مطالبات المستخدم أو المعرفة والمخرجات المستردة ، مثل المحتوى أو التوصيات التي تم إنشاؤها ، كأصول حرجة.
لا تحمل هذه المدخلات والمخرجات فقط خطر تسرب البيانات ، بل يمكن أيضًا معالجتها بطرق تمنحها نماذج السم أو مخرجات أو فضح المنطق الداخلي الحساس. لذلك يعد تطبيق ملصقات التصنيف وعناصر التحكم في الوصول ومسارات التدقيق عبر بيانات التدريب وخطوط أنابيب الاستدلال والنتائج التي تم إنشاؤها ضرورية لإدارة هذه المخاطر.
إدارة مخاطر سلسلة التوريد
يتوسع محيط الأمن أيضًا عندما تعتمد الشركات أدوات الذكاء الاصطناعي من طرف ثالث أو واجهات برمجة التطبيقات. تحتاج إدارة مخاطر سلسلة التوريد إلى عدسة جديدة عندما يتم تطوير نماذج منظمة العفو الدولية خارجيًا أو مصادر من منصات مفتوحة.
يجب أن تتجاوز تقييمات البائعين قائمة المراجعة المعتادة لمعايير التشفير وتاريخ الخرق. بدلاً من ذلك ، يجب أن يتطلبوا رؤية مصادر بيانات التدريب وآليات تحديث النماذج ونتائج اختبار الأمان. يجب على CISO أن يدفع البائعين لإظهار الالتزام بتأمين ممارسات تطوير الذكاء الاصطناعى ، بما في ذلك التخفيف من التحيز ، ومتانة الخصوم وتتبع الأصل.
بدون هذا العناية الواجبة ، تخاطر المنظمات باستيراد صناديق سوداء معتمة قد تتصرف بشكل غير متوقع ؛ أو ما هو أسوأ ، بشكل ضار ، تحت الضغط العدائي.
داخليًا ، يعد إنشاء إطار حوكمة يحدد استخدام الذكاء الاصطناعي المقبول أمرًا بالغ الأهمية. يجب على المؤسسات تحديد من يمكنه استخدام الذكاء الاصطناعى ، لأغراض أي قيود.
يجب أن يتم دعم هذه السياسات عن طريق عناصر التحكم التقنية ، بدءًا من قيود استخدام API و API إلى التسجيل والمراقبة. يجب أن تعتمد فرق المشتريات والتطوير أيضًا قابلية التوضيح والشفافية كمتطلبات أساسية. على نطاق أوسع ، ببساطة لا يكفي لنظام الذكاء الاصطناعى أداء جيد ؛ يجب على أصحاب المصلحة أن يفهموا كيف ولماذا يصل إلى استنتاجاته ، لا سيما عندما تؤثر هذه الاستنتاجات على القرارات عالية المخاطر.
يتحول إلى ثقة الصفر
من وجهة نظر البنية التحتية ، تدمير CISO مبادئ ثقة الصفر في الهندسة المعمارية التي تدعم أنظمة الذكاء الاصطناعى سوف تساعد العمليات المقاومة في المستقبل.
هذا يعني تجزئة بيئات تطوير ، وفرض الوصول الأقل إلى الأوزان النموذجية ونقاط نهاية الاستدلال والتحقق بشكل مستمر من هويات الإنسان والآلة عبر خط أنابيب الذكاء الاصطناعي.
العديد من أعباء العمل من الذكاء الاصطناعى ، وخاصة تلك المدربة على البيانات الداخلية الحساسة ، هي أهداف جذابة للتجسس والتهديدات الداخلية والترشيح. يمكن أن تساعد التحكم في الوصول إلى الهوية والمراقبة في الوقت الفعلي على ضمان أن الجهات الفاعلة المعتمدة والمصادقة فقط يمكنها التفاعل مع موارد الذكاء الاصطناعى الحرجة.
تدريب AI-Safe
تكمن أحد أهم نقاط الضعف الناشئة في تفاعل المستخدم النهائي مع أدوات Genai. على الرغم من أن هذه الأدوات تعد بمكاسب الإنتاجية والابتكار ، إلا أنها يمكن أن تصبح أيضًا قنوات لفقدان البيانات ، والمخرجات الهلوسة وكذلك أساس الهندسة الاجتماعية. يجوز للموظفين لصق المعلومات الحساسة بشكل غير مدرك في علاقات الدردشة العامة أو التصرف بناءً على نصيحة تم إنشاؤها من الذكاء الاصطناعي دون فهم قيودها.
يجب أن تساعد CISO في مواجهة ذلك ببرامج تدريبية شاملة تتجاوز الوعي الأمنية الإلكترونية العامة. يجب أن يتم تعليم الموظفين بشأن تهديدات خاصة من الذكاء الاصطناعى مثل هجمات الحقن السريعة والتحيز النموذجي وإنشاء الهوية الاصطناعية. يجب أيضًا تعليمهم للتحقق من مخرجات الذكاء الاصطناعي وتجنب الثقة العمياء في المحتوى الذي تم إنشاؤه بواسطة الرشاشات.
استجابة الحادث
يمكن للمنظمات أيضًا تمديد استجابة الحادث الخاصة بها من خلال دمج سيناريوهات تهديد الذكاء الاصطناعي في كتب اللعب في الحوادث.
الاستجابة لخرق البيانات الناجم عن التسرب الفوري أو هلوسة منظمة العفو الدولية التي تضلل اتخاذ القرارات تتطلب بروتوكولات مختلفة عن حادث البرامج الضارة التقليدية ، لذلك ينبغي تحديث تمارين الطاولة لتشمل محاكاة لمعالجة النماذج ، وهجمات المدخلات العددية وسرقة نماذج AI أو مجموعات بيانات التدريب ، على سبيل المثال.
الاستعداد هو المفتاح: إذا كانت أنظمة الذكاء الاصطناعي أساسية في العمليات التجارية ، فيجب التعامل مع التهديدات التي تواجه هذه الأنظمة بإلحاح متساوٍ حيث أن تلك التي تستهدف الشبكات أو نقاط النهاية.
منصات معتمدة من المؤسسة
بالتوازي ، يجب على المؤسسات تنفيذ ضمانات تقنية للحد من استخدام أدوات GENAI العامة في السياقات الحساسة. سواء من خلال تصفية الويب أو قيود المتصفح أو إنفاذ السياسة ، يجب على الشركات توجيه الموظفين نحو منصات الذكاء الاصطناعى المعتمدة على المؤسسة والتي تم فحصها من أجل الامتثال والأمان والإقامة في البيانات. يشكل Shadow AI ، أو الاستخدام غير المصرح به لأدوات Genai ، خطرًا متزايدًا ويجب معالجته بنفس دقة الظل.
تهديد من الداخل
أخيرًا ، يجب أن تتطور إدارة التهديد من الداخل. غالبًا ما تمتلك فرق تطوير الذكاء الاصطناعى وصولًا مرتفعة إلى مجموعات البيانات الحساسة وأبنية نموذجية خاصة.
يمكن أن تؤدي هذه الامتيازات ، إذا تم إساءة معاملتها ، إلى سرقة الملكية الفكرية الكبيرة أو التعرض غير المقصود. التحليلات السلوكية ، ومراقبة النشاط القوي وفصل الواجبات القسري أمر حيوي لتقليل هذا الخطر. عندما تصبح الذكاء الاصطناعى مضمونة بشكل أعمق في العمل ، لا يمكن التغاضي عن المخاطر البشرية المحيطة بتطويرها ونشرها.
في عصر الذكاء الاصطناعي ، يمر دور CISO بتغيير عميق. في حين أن حماية الأنظمة والبيانات هي بالطبع ، يجب أن يساعد قادة الأمن الآن منظماتهم ضمان أن الذكاء الاصطناعى نفسه جدير بالثقة ومرونة ومتماشى مع القيم التنظيمية.
يتطلب هذا تحولًا في كل من العقلية والاستراتيجية ، والتعرف على الذكاء الاصطناعي ليس فقط كأداة ، ولكن كأصل استراتيجي يجب تأمينه ومحكمه واحترامه. عندها فقط يمكن للمؤسسات أن تسخر الإمكانات الكاملة للنيابة بأمان وثقة ومسؤولية.
مارتن رايلي هو كبير مسؤولي التكنولوجيا في BRIDEWELL الاستشارات.
