بالنظر إلى مستوى نشاط صناعة التكنولوجيا في الذكاء الاصطناعي (AI) ، إذا لم يفعلوا بالفعل ، فسيتعين على معظم قادة تكنولوجيا المعلومات النظر في الآثار الأمنية لهذه الأنظمة التي تعمل بحرية في منظماتهم. تتمثل المخاطر الحقيقية في الذكاء الاصطناعى في أنه يوفر للموظفين الوصول بسهولة إلى أدوات قوية والثقة الضمنية في الأماكن التي تم إنشاؤها في الذكاء الاصطناعى.
Javvad Malik ، داعية للتوعية الأمنية في Knowbe4 ، يحث ذلك وقادة الأمن على معالجة كليهما. في حين أن إمكانية حل وسط نظام الذكاء الاصطناعى قد تبدو بعيدة ، فإن مالك يحذر من أن المخاطر الفورية الأكبر تأتي من الموظفين الذين يتخذون قرارات بناءً على محتوى تم إنشاؤه بواسطة الذكاء الاصطناعى دون التحقق المناسب.
يقول: “فكر في الذكاء الاصطناعى كمتدرب واثق بشكل استثنائي. إنه مفيد ومليء بالاقتراحات ، لكنه يتطلب الرقابة والتحقق”.
يقول Heinen: “هناك تسرب داخلي للبيانات – المشاركة الزائدة – والذي يحدث عندما تطرح على النموذج سؤالًا ويعطي معلومات مستخدم داخلية لا ينبغي مشاركتها. ثم هناك تسربًا خارجيًا للبيانات”.
يقول: “إذا كنت تفكر في نموذج الذكاء الاصطناعى كموظف جديد جاء للتو إلى الشركة ، فهل تتيح لهم الوصول إلى كل شيء؟ لا ، أنت لا تثق بهم تدريجياً بمرور الوقت لأنهم يثبتون الثقة والقدرة على القيام بالمهام”.
يوصي Heinen اتخاذ هذا النهج نفسه عند نشر أنظمة الذكاء الاصطناعى في جميع أنحاء المنظمة.
يلاحظ Malik’s Knowbe4 أن المحادثة المتعلقة بمخاطر الذكاء الاصطناعي قد استمرت أيضًا. يقول: “لم يعد الأمر يتعلق بتسرب البيانات بعد الآن ، على الرغم من أن هذا لا يزال مصدر قلق كبير”. “نحن الآن ننقل الأراضي حيث يمكن للخطر أنظمة الذكاء الاصطناعى أو معالجتها أو حتى” Gamed “، للتأثير على قرارات العمل.”
في حين أن التلاعب على نطاق واسع من الذكاء الاصطناعي غير واضح على نطاق واسع ، فإن إمكانية هذه الهجمات موجودة وتنمو عندما تصبح المنظمات أكثر اعتمادًا على هذه الأنظمة.
في مؤتمر RSA في وقت سابق من هذا العام ، تساءل معلم أمن تكنولوجيا المعلومات بروس شنير عن حياد الردود التي توفرها أنظمة الذكاء الاصطناعى ، مع الإشارة إلى أنه إذا وصي chatbot بشركة طيران أو فندق معين ، فهل أنها لأنها أفضل صفقة حقيقية ، أو لأن شركة الذكاء الاصطناعى تتلقى ركلة للتوصية؟
ضمانات الأمن
هناك اتفاق عام في الصناعة بأن رؤساء أمن تكنولوجيا المعلومات وقادة الأعمال يجب أن يعملوا على تطوير الأطر التي تتبنى قيمة الذكاء الاصطناعى مع دمج الضمانات اللازمة والمناسبة. يقول مالك إن هذا يجب أن يشمل توفير أدوات منظمة العفو الدولية الآمنة والمصرح بها تلبي احتياجات الموظفين أثناء تنفيذ عمليات التحقق للمخرجات التي أنشأتها الذكاء الاصطناعى.
فكر في الذكاء الاصطناعي كمتدرب واثق بشكل استثنائي. إنه مفيد ومليء بالاقتراحات ، لكنه يتطلب الرقابة والتحقق
Javvad Malik ، knowbe4
هناك حاجة أيضًا إلى ضمانات لتجنب إمكانات فقدان البيانات. Aditya K Sood ، نائب رئيس هندسة الأمن واستراتيجية الذكاء الاصطناعي في Aryakaيوصي أولئك المسؤولين عن أمن المعلومات تحديث سياسات الاستخدام المقبولة الحالية لمعالجة استخدام أدوات الذكاء الاصطناعى ، ويحظر صراحة إدخال بيانات الشركة الحساسة أو السرية أو الملكية في نماذج AI العامة أو غير المعتمدة.
توصي Sood بأن تحدد السياسات بوضوح ما الذي يشكل البيانات “الحساسة” في سياق الذكاء الاصطناعى ، وتلك السياسات التي تغطي معالجة البيانات تحتاج أيضًا إلى تفصيل متطلبات عدم الكشف عن هويتها ، والاستيلاء عليها ، ورمز البيانات المستخدمة للتدريب على نموذج الذكاء الاصطناعى الداخلي أو التكييف. يقول: “يمكن أن تشمل البيانات الحساسة المعلومات الشخصية للعميل أو السجلات المالية أو الأسرار التجارية”.
إلى جانب التغييرات في السياسة ، تحث Sood صانعي قرار تكنولوجيا المعلومات على التركيز على سلامة نظام الذكاء الاصطناعى والأمن من خلال نشر الممارسات الأمنية في جميع أنحاء خط أنابيب تطوير الذكاء الاصطناعي.
يقول: “حتى عندما تتوفر مجموعات البيانات أو معلمات التوليف ، فإنها غالبًا ما تكون كبيرة جدًا على التدقيق”.
يمكن تدريب السلوكيات الخبيثة ، عن قصد أم لا ، والطبيعة غير المحددة لمنظمة العفو الدولية تجعل الاختبار الشامل مستحيلًا. ما يجعل منظمة العفو الدولية قوية تجعلها غير متوقعة ومحفوفة بالمخاطر ، كما يحذر.
نظرًا لأن الإخراج الذي ينتجه نظام الذكاء الاصطناعى يرتبط ارتباطًا مباشرًا ببيانات الإدخال التي يتم تدريبها عليها ، فإن Sood يحث على صانعي القرار لضمان تنفيذ مرشحات قوية ومقاتلين لجميع البيانات التي تدخل نظام الذكاء الاصطناعي. يجب أن يتم اختبار نماذج الذكاء الاصطناعى بدقة من أجل نقاط الضعف مثل الحقن السريع وتسمم البيانات وانعكاس النموذج ، كما يقول ، لمنع هجمات العدوانية.
وبالمثل ، لتجنب الحقن الخبيثة ، تنصح Sood قادة تكنولوجيا المعلومات للتأكد من أن المخرجات التي تم إنشاؤها من الذكاء الاصطناعى يتم تطهيرها والتحقق من صحتها قبل تقديمها للمستخدمين أو استخدامها في الأنظمة المصب. أينما كان ذلك ممكنًا ، يقول إنه يجب نشر الأنظمة بقدرات AI التي يمكن تفسيرها ، مما يسمح بالشفافية في كيفية اتخاذ القرارات.
التحيز هو واحد من أكثر المخاطر الدقيقة والخطورة لأنظمة الذكاء الاصطناعى. كما يشير فوكس ، تخبز بيانات التدريب المنحرفة أو غير المكتملة في العيوب الجهازية. تقوم المؤسسات بنشر نماذج قوية دون فهم تمامًا لكيفية عملها أو كيفية تأثير مخرجاتها على أشخاص حقيقيين. يحذر Fox من أن قادة تكنولوجيا المعلومات بحاجة إلى النظر في الآثار المترتبة على نشر نماذج غير شفافة ، مما يجعل التحيز من الصعب اكتشافه ويكاد يكون من المستحيل إصلاحه.
يقول: “إذا تم استخدام نموذج متحيز في التوظيف أو الإقراض أو الرعاية الصحية ، فيمكنه تعزيز الأنماط الضارة بهدوء تحت ستار الموضوعية. هذا هو المكان الذي تصبح فيه طبيعة الذكاء الاصطناعي الأسود مسؤولية”.
بالنسبة لقرارات المخاطر العالية ، تحث Sood مديري المعلومات على تفويض الإشراف البشري على التعامل مع البيانات الحساسة أو إجراء عمليات لا رجعة فيها كوسيلة لتوفير حماية نهائية ضد ناتج الذكاء الاصطناعي المعرض للخطر.
إلى جانب تأمين البيانات وتدريب الذكاء الاصطناعى ، يجب على قادة تكنولوجيا المعلومات العمل أيضًا على إنشاء خطوط أنابيب لتطوير الذكاء الاصطناعى مرنة وآمنة.
يقول: “يعد تأمين خطوط أنابيب تطوير الذكاء الاصطناعى أمرًا بالغ الأهمية لضمان جدارة ومرونة تطبيقات الذكاء الاصطناعي المدمجة في البنية التحتية للشبكات والمنتجات الأمنية والحلول التعاونية. إنه يستلزم تضمين الأمان طوال دورة حياة الذكاء الاصطناعي بأكملها”.
يتضمن ذلك رمز الذكاء الاصطناعي التوليدي (GENAI) ، حيث تعد النماذج ومجموعات البيانات التدريبية جزءًا من سلسلة توريد البرمجيات الحديثة. يحثها على قادة توفير الآمنة منظمة العفو الدولية لعمليات تكنولوجيا المعلومات (AIOPS) خطوط الأنابيب مع التكامل المستمر/التسليم المستمر (CI/CD) أفضل الممارسات ، توقيع الكود وفحوصات النموذج. يحتاج هذا إلى تضمين مجموعات بيانات التدريب المسحّب والمصنوعات اليدوية للنماذج للرمز الضار أو الأوزان الطرفية ، وفحص نماذج ومكتبات الطرف الثالث للالتفاف والامتثال للترخيص.
بالنظر إلى الانفتاح المتزايد لنماذج الذكاء الاصطناعى ، والتي تعزز الشفافية والتعاون والتكرار الأسرع عبر مجتمع الذكاء الاصطناعي ، يلاحظ Fox أن نماذج الذكاء الاصطناعى لا تزال برمجيات. يمكن أن يتضمن هذا البرنامج عبارة عن مواد شاملة وتبعيات وخطوط أنابيب البيانات. “مثل أي مشروع مفتوح المصدر ، يمكنهم إيواء نقاط الضعف أو المكونات القديمة أو حتى الخلفية الخفية التي تتوسع مع التبني” ، يحذر.
في تجربة Fox ، لا تملك العديد من المؤسسات بعد الأدوات أو العمليات للكشف عن مكان استخدام نماذج الذكاء الاصطناعى في برامجها. دون رؤية تبني النموذج ، سواء كانت مضمنة في الطلبات أو خطوط الأنابيب أو واجهات برمجة التطبيقات (API) ، أمر مستحيل. يقول: “لا يمكنك إدارة ما لا يمكنك رؤيته”. على هذا النحو ، تشير فوكس إلى أنه ينبغي على قادة تكنولوجيا المعلومات إثبات رؤية منظمة العفو الدولية.
بشكل عام ، يُنصح قادة تكنولوجيا المعلومات والأمن بتنفيذ إطار شامل لحوكمة الذكاء الاصطناعي (انظر نصائح لاستراتيجية AI آمنة صندوق).
يقول إن مخاطر الذكاء الاصطناعي تحتاج إلى نسجها في ممارسات إدارة المخاطر والامتثال على مستوى المؤسسة.
يحتاج إطار الحوكمة إلى تحديد الأدوار والمسؤوليات الصريحة لتطوير الذكاء الاصطناعي والنشر والإشراف على إنشاء عملية إدارة المخاطر المتمحورة حول الذكاء الاصطناعي. ويوصي بوضع مخزون مركزي من أدوات الذكاء الاصطناعى المعتمدة ، والتي يجب أن تشمل تصنيفات المخاطر.
ويضيف: “يساعد إطار الحوكمة بشكل كبير في إدارة المخاطر المرتبطة بـ Shadow AI – استخدام أدوات أو خدمات الذكاء الاصطناعى غير المعروفة”.
وأخيراً ، تحتاج فرق تكنولوجيا المعلومات إلى تفويض أن أدوات الذكاء الاصطناعى المعتمدة فقط يتم تشغيلها في المنظمة. يجب حظر جميع أدوات وخدمات الذكاء الاصطناعي الأخرى.
يوصي Gartner’s Heiner بأن تتبع CISOs مقاربة قائمة على المخاطر. أدوات مثل الكشف عن البرامج الضارة أو الداما الإملائية ليست عالية المخاطر ، في حين أن أنظمة الموارد البشرية أو السلامة تحمل خطرًا أكبر بكثير.
يقول: “تمامًا كما هو الحال مع كل شيء آخر ، ليس كل جزء من AI الذي يعمل في بيئتك مكونًا مهمًا أو مخاطر عالية”. ويضيف: “إذا كنت تستخدم الذكاء الاصطناعي لتوظيف أشخاص ، فربما يكون هذا مجالًا تريد الانتباه إليه”. “إذا كنت تستخدم الذكاء الاصطناعي لمراقبة السلامة في المصنع ، فقد ترغب في إيلاء المزيد من الاهتمام إليه.”
