يدرك قادة أمن تكنولوجيا المعلومات المخاطر والفرص التي يوفرها الذكاء الاصطناعي التوليدي (GenAI) لتكنولوجيا المعلومات في المؤسسات. في أبريل 2023، وجد استطلاع تم إجراؤه مع مجتمع نظراء Gartner’s Peer Community من قادة تكنولوجيا المعلومات والأمن أن جميع الأشخاص الـ 150 الذين شملهم الاستطلاع تقريبًا قالوا إن فرقهم شاركت في أمن GenAI وإدارة المخاطر، مع إرشادات البيانات وأبطال الذكاء الاصطناعي من بين الاستراتيجيات المعمول بها.
راسيكا سوماسيري، خبيرة الأمن السيبراني في شركة PA Consultingيعتقد أن عام 2024 سيكون العام الذي سيبدأ فيه الإجماع على الدفاع ضد الهجمات القائمة على الذكاء الاصطناعي، خاصة وأن مثل هذه الهجمات أصبحت أكثر وضوحًا. ويقول: “نرى أن هذا يؤدي إلى ارتفاع كبير في الطلب على الخبراء الذين يمكنهم التنقل بين مجالات الذكاء الاصطناعي والأمن السيبراني حيث يصبح “الآمن افتراضيًا” ضرورة”.
هناك أيضًا خطر من أن الصور والنصوص التي ينشئها الذكاء الاصطناعي يمكن أن تنتهك حقوق الملكية الفكرية، كما يحذر بول جوزيف، شريك الملكية الفكرية في شركة لينكلاترز للمحاماة. عند استخدام المحتوى الناتج عن الذكاء الاصطناعي، يقول: “لا تزال هناك حاجة إلى إجراء فحوصات قانونية وتحليل المخاطر”.
منع تسرب البيانات
التعمق في مخاطر تسرب البيانات المرتبطة نماذج اللغات الكبيرة (LLMs)يقول جيف شوارتزينتروبر، أحد كبار علماء التعلم الآلي في eSentire: “يمكن أن يُظهر تنفيذ تمرين نمذجة التهديدات المواضع التي قد تحتاج فيها إلى تقوية أنظمتك، أو المواضع التي يتعين عليك فيها مراعاة مسؤولياتك القانونية فيما يتعلق بالبيانات.”
ويقترح أن يولي المسؤولون عن تنفيذ تطبيقات LLM اهتمامًا خاصًا لمشاركة البيانات والخصوصية والأمان لضمان دقة الردود.
تعمل LLMs بناءً على المطالبات التي يدخلها المستخدمون. ويشير إلى أن هذه المطالبات يمكن أن تتضمن بيانات الشركة أو معلومات التعريف الشخصية (PII) عن العملاء. ثم يتم إرسال هذه البيانات إلى LLM للمعالجة. يجب على المسؤولين عن أمن تكنولوجيا المعلومات النظر في ما يحدث للبيانات بعد إدخالها وتقييم مدى فعالية إدارتها لضمان بقائها آمنة.
وكمثال على ما يمكن أن يحدث من خطأ، يشير شوارتزنتروبر إلى مثال مهندسي سامسونج الذين استخدموا البيانات السرية في ChatGPT جلسات. تم الكشف عن البيانات التي أدخلها فريق Samsung للآخرين الذين أجروا جلسات استعلام عن ChatGPT بطريقة اعتمدت على البيانات المدخلة من Samsung، مما أدى إلى تسرب البيانات.
يعد Schwartzentruber جزءًا من الفريق الذي قام ببناء خدمة الذكاء الاصطناعي التوليدية الخاصة بـ eSentire. ويقول إن استخدام خدمة ChatGPT القياسية من OpenAI يسمح لمنشئها بإعادة استخدام أي بيانات يتم تحميلها، ولكن البيانات المرسلة عبر ChatGPT Enterprise أو واجهة برمجة التطبيقات (API) لا يمكن استخدامها لتدريب نماذج OpenAI. وبالمثل، يقول، إذا كنت تستخدم خدمة Azure OpenAI، فلن تتم مشاركة البيانات فيما بعد.
في تجربة Schwartzentruber، هناك العديد من الطرق لإجبار LLM على كسر قواعدها أو تقديم بيانات إضافية. ويضيف: “يجب على المطورين بذل العناية الواجبة بشأن أي أدوات، حتى يتمكنوا من فهم سلسلة التوريد للبيانات التي يستخدمونها”.
نماذج مفتوحة ومغلقة
عند تقييم مخاطر تسرب البيانات أو انتهاك الملكية الفكرية مع مجموعات البيانات المستخدمة لتدريب حاملي شهادة الماجستير في القانون، يجب على رؤساء أمن تكنولوجيا المعلومات أيضًا الموازنة بين إيجابيات وسلبيات النماذج مفتوحة المصدر مقابل حقوق الملكية أو ماجستير الحقوق المغلقة.
أندريا ميرابيل، المدير العالمي لأبحاث الذكاء الاصطناعي في شركة Zebra Technologiesيقول إن التمييز الأساسي بين LLM مغلق المصدر ومفتوح المصدر يكمن في الشفافية التي يقدمونها. موضحًا الفرق، يقول: “تعمل برامج LLM المغلقة كصناديق سوداء، حيث توفر الحد الأدنى من المعلومات حول بيانات التدريب وتقنيات التحسين ومصادر المعلومات الإضافية التي تعزز أداء النموذج. من ناحية أخرى، تصبح الشفافية ميزة محورية لبرامج LLM مفتوحة المصدر. ومن وجهة نظر أمنية، لا يوجد فائز نهائي، حيث أن كل نهج له مجموعة من القيود الخاصة به.
عند النظر إلى المصدر المغلق، يقول ميرابيل إن طبيعة ملكية النموذج قد توفر الأمان من خلال الغموض، مما يجعل من الصعب على الجهات الفاعلة الخبيثة استغلال نقاط الضعف. ومع ذلك، يشير إلى أن تحديد ومعالجة المشكلات الأمنية قد يكون عملية طويلة لأن النظام مغلق.
“مع المصادر المفتوحة، لدينا مكاسب أمنية من الجهود التعاونية للمجتمع. ويضيف أن التدقيق في التعليمات البرمجية من قبل العديد من الأشخاص يسهل الكشف السريع عن الثغرات الأمنية وحلها.
ومع ذلك، كما يشير ميرابيل، فإن التدقيق العام في الكود قد يكشف عن نقاط الضعف المحتملة التي يمكن استغلالها.
يقول شوارتزنتروبر: “إذا قررت تنفيذ ماجستير إدارة الأعمال الخاص بك باستخدام خيار مفتوح المصدر، فسيكون لديك المزيد من التحكم في النموذج الخاص بك وكيفية مشاركة البيانات.”
سواء اختارت المؤسسة نموذجًا مفتوح المصدر أو مغلقًا، يقول شوارتزينتروبر إن فريق أمن تكنولوجيا المعلومات يجب أن يضمن اتخاذ تدابير أمنية قياسية، مثل تشفير حركة المرور، وعناصر التحكم في الوصول المستندة إلى الدور.
هجمات الحقن الفوري
يحدد ميرابيلي “الحقن الفوري” باعتبارها ثغرة أمنية يمكن استغلالها للتلاعب بسلوك LLM. ويقول إن هذه الثغرة الأمنية تسمح للمهاجم بإدخال مطالبات ضارة إلى النظام، مما يجبر النموذج على تنفيذ إجراءات غير مقصودة.
ويستشهد بمثال حديث تم نشره عبر الإنترنت، حيث أظهر الباحثون سيناريو الحقن الفوري باستخدام ChatGPT. ويقول: “عندما طُلب مني تكرار كلمة “قصيدة” إلى أجل غير مسمى، أنشأ ChatGPT بشكل غير متوقع ما بدا وكأنه عنوان بريد إلكتروني حقيقي ورقم هاتف حقيقي في ردوده”.
ووفقًا لميرابيل، فقد سلطت هذه الحادثة الضوء على المخاطر المحتملة المرتبطة بالحقن الفوري، حيث كشفت عن عناصر من بيانات تدريب النموذج التي لم يكن من المفترض الكشف عنها. تسلط مثل هذه الحالات الضوء على أهمية معالجة وتخفيف نقاط ضعف الحقن الفوري للحماية من الكشف غير المقصود عن البيانات وانتهاكات الخصوصية.
في تجربة ميرابيلي، هناك العديد من التقنيات والأساليب التي يمكن استخدامها في هجمات الحقن السريع، كل منها مصمم للتأثير على استجابات النموذج بطرق محددة.
هجوم “الحقن الأساسي” هو عندما يرسل الدخيل هجمات مباشرة إلى الهدف دون تحسينات سريعة للحصول على إجابات لأسئلة غير ذات صلة أو إملاء الإجراءات. على سبيل المثال، يقول ميرابيل إن المهاجم يمكن أن يتظاهر بأنه المطور، مستفيدًا من أنواع الهجمات مثل Carnegie Mellon Jailbreak أو Typoglycemia، حيث يمكن قراءة الكلمات على الرغم من اختلاطها. يمكن لمثل هذا الهجوم أن يتحايل على حواجز الحماية الأمنية في نماذج اللغات الكبيرة.
“حقن الترجمة” هو نوع آخر من الهجوم، والذي يقول ميرابيل إنه يستغل القدرات اللغوية لطلاب LLM عن طريق حقن مطالبات بلغات أخرى غير الإنجليزية لاختبار ما إذا كان النموذج يستجيب وفقًا لذلك. على سبيل المثال، يقول، يمكن للمهاجم أن يطرح سؤالاً مثل: “هل كانت Hauptstadt der Deutschland؟” لتقييم قدرة النموذج على التعامل مع المطالبات باللغة الألمانية. (هاوبتشتات هي الكلمة الألمانية للعاصمة.)
“حقن الرياضيات” هو المكان الذي يُطلب فيه من LLM إجراء حسابات رياضية لقياس قدرته على التعامل مع المهام المعقدة. على سبيل المثال، يقول ميرابيل إن المهاجم يمكنه صياغة هجوم يتعلق بالسياق المستهدف لماجستير في القانون (ماجستير في القانون تم تدريبه على الرد على الاستفسارات حول التأمل، على سبيل المثال)، مثل السؤال عن تقنيات التأمل بعد تضمين الحسابات الرياضية.
وبالمثل، يحدث هجوم “تبديل السياق” عندما يبدو الاستعلام من المهاجم وكأنه سؤال مشروع تم وضعه ضمن السياق الذي تم تدريب LLM عليه، ولكن المهاجم يطرح أسئلة غير ذات صلة لتقييم ما إذا كان من الممكن استخراج معلومات حساسة. وبالنظر إلى مثال LLM للتأمل، يقول ميرابيل إن المهاجم يمكنه الجمع بين أسئلة حول تقنيات التأمل واستفسارات غير ذات صلة حول منطقة معينة في تركيا لاختبار قدرة النموذج على تقديم إجابات خارج السياق المخصص له.
هجوم “التصفح الخارجي” هو المكان الذي يختبر فيه المهاجم ما إذا كان مثيل LLM يمكنه التصفح إلى عنوان URL المقدم واسترداد المحتوى ودمجه في استجاباته. وكمثال على مثل هذا الهجوم، يقول Mirabile إن المهاجم يمكن أن يطلب من النموذج تصفح عنوان URL محدد وتقديم معلومات من مقال يتعلق بفوائد التأمل بقلم خبير مشهور.
شكل آخر من أشكال الهجوم هو “الحقن الفوري الخارجي”، والذي، وفقًا لميرابيل، يحدد أن LLM يمكنه تفسير عناوين URL، ثم يستخدم عنوان URL لمحاولة استرداد مطالبات إضافية من مصادر خارجية. ويقول إنه من الناحية العملية، سيطلب المهاجم من النموذج استكشاف موقع ويب محدد ودمج رؤى من المحتوى الموجود هناك في ردوده حول موارد التأمل الموصى بها.
تقييم المخاطر
توضح هذه الأمثلة بعض التقنيات التي يمكن للمهاجم استخدامها لاختبار أمان ومتانة نموذج لغة كبير. توصي ميرابيلي أن يقوم قادة تكنولوجيا المعلومات بوضع إجراءات أمنية قوية للحماية من التلاعب غير المصرح به بنماذج اللغة.
ويقول: “من الضروري أن يكون المطورون والمؤسسات على دراية بنقاط الضعف هذه وأن ينفذوا ضمانات لتأمين نماذج اللغة ضد مثل هذه الهجمات”.
بعيدًا عن حاملي شهادات LLM والذكاء الاصطناعي، يوصي Somasiri من PA Consulting بأن يضمن قادة أمن تكنولوجيا المعلومات دمج الأمن في الأنظمة والعمليات وعقلية المنظمة. ويقول إن هذا سيمكنهم من فهم الفرص وتأثير أي تقنية جديدة وتصميم كيف يمكن لهذه التقنيات أن تساعد مؤسساتهم على النمو في العالم الرقمي.
