مع استمرار دورة Genai Hype ، هناك مناقشة موازية حول الطرق التي سيتم بها إساءة استخدام هذه التكنولوجيا وسلاحها من قبل الجهات الفاعلة للتهديد. في البداية ، كان الكثير من هذه المناقشة تكهنات ، بعضها مريح. مع مرور الوقت ، ظهرت أمثلة في العالم الحقيقي. تستفيد الجهات الفاعلة للتهديدات من Deepfakes ويقوم محللو التهديدات بالإنذار على حملات التصيد الأكثر تطوراً التي شحذها Genai.
كيف يتم إساءة استخدام هذه التكنولوجيا اليوم ، وما الذي يمكن أن يفعله قادة المؤسسات مع استمرار الجهات الفاعلة للتهديد في الاستفادة من Genai؟
الجهات الفاعلة التهديد وحالات استخدام Genai
من الصعب ألا تجرف في Genai Fever. لا يزال القادة في كل صناعة تقريبًا يسمعون عن إمكانيات الابتكار ومكاسب الإنتاجية. لكن Genai هي أداة مثل أي شيء آخر يمكن استخدامه للخير أو مريض.
“المهاجمون فضوليون مثلنا. إنهم يريدون أن يروا إلى أي مدى يمكنهم الذهاب مع LLM مثلما نستطيع. ما هي نماذج Genai التي ستسمح لهم بإنتاج رمز ضار؟ أي منها سيسمح لهم بفعل المزيد؟ أيهم لا؟ ” Crystal Morin ، استراتيجي الأمن السيبراني في sysdig، منصة حماية التطبيق السحابية الأصلية (CNAPP) ، تخبر Information Week.
مثلما تكون حالات استخدام الأعمال في أيامها الأولى ، يبدو أن الأمر هو نفسه بالنسبة للنية الضارة.
“على الرغم من أن الذكاء الاصطناعى يمكن أن يكون أداة مفيدة لممثلي التهديدات ، إلا أنه لم يتم تصويره في بعض الأحيان ،” تقرير جديد من مجموعة Google That Intelligence Group (GTIG).
أشار GTIG إلى أن فاعلات المجموعات وعمليات المعلومات المستمرة المتقدمة (IO) تضع كل من Genai في العمل. لاحظت الجماعات المرتبطة بالصين وإيران وكوريا الشمالية وروسيا باستخدام الجوزاء.
تستخدم الجهات الفاعلة للتهديد نماذج لغة كبيرة (LLMS) بطريقتين ، وفقًا للتقرير. إما يستخدمون LLMs لدفع هجمات أكثر كفاءة ، أو يعطون تعليمات نماذج الذكاء الاصطناعى لاتخاذ إجراءات ضارة.
رأى GTIG ممثلين للتهديد باستخدام الذكاء الاصطناعى يجريون أنواعًا مختلفة من الأبحاث والاستطلاع ، وإنشاء المحتوى ، واستكشاف الأخطاء وإصلاحها. حاولت الجهات الفاعلة التهديد أيضًا استخدام الجوزاء لإساءة استخدام منتجات Google وجربت أيديهم في AI Jailbreaks لتجاوز ضوابط السلامة. المحتوى المقيد Gemini الذي من شأنه أن يعزز أهداف المهاجمين الخبيثة ، وتوليد استجابات السلامة لمحاولة كسر الحماية ، وفقا للتقرير.
تتمثل إحدى الطرق التي تتطلع فيها الممثلين في التهديد إلى إساءة استخدام LLMS عن طريق الحصول على وصول غير مصرح به عبر بيانات الاعتماد المسروقة. يشير فريق أبحاث Sysdig للتهديد إلى هذا التهديد على أنه “”llmjacking” قد يرغبون ببساطة في الحصول على وصول مجاني إلى مورد مدفوع على خلاف ذلك لأغراض حميدة نسبيًا ، أو قد يتمكنون من الوصول لأسباب أكثر ضارة ، مثل سرقة المعلومات أو استخدام LLM لتعزيز حملاتهم.
“هذا ليس مثل حالات سوء المعاملة الأخرى حيث … [they] توجيه تنبيه ، ويمكنك العثور على المهاجم وإغلاقه. يقول مورينج: “الأمر ليس بهذه البساطة”. “لا يوجد تحليل واحد للكشف عن llmjacking. هناك أشياء متعددة يجب أن تبحث عنها لتشغيل تنبيه. ”
مكافحة سوء استخدام Genai
مع استمرار الجهات الفاعلة في التهديد في استخدام Genai ، سواء أكانت تحسن التكتيكات المجربة والحقيقية أو في نهاية المطاف بطرق جديدة ، ما الذي يمكن القيام به استجابةً؟
ستحاول ممثلو التهديدات استخدام أي وجميع المنصات المتاحة. ما هي المسؤولية التي يتعين على الشركات التي تقدم منصة Genai مراقبة ومعالجة سوء الاستخدام والسلاح في تقنيتها؟
جوجل ، على سبيل المثال ، لديها مبادئ الذكاء الاصطناعي و إرشادات السياسة هذا يهدف إلى معالجة الاستخدام الآمن والآمن لتطبيق Gemini. في تقريرها الأخير ، تحدد Google كيف استجابت Gemini لمختلف محاولات ممثل التهديدات لكسر النموذج واستخدامه لأغراض شائنة.
وبالمثل ، فإن AWS “آليات اكتشاف الإساءة الآلية“في مكانها لأمازون بيروك. مايكروسوفت تأخذ الإجراء القانوني لتعطيل الاستخدام الخبيث من COPILOT AI.
يقول كارل وين ، رئيس قسم ذكاء التهديدات و OPS في المستقبل في المستقبل: “من وجهة نظر المستهلك ، أعتقد أننا سنجد أنه سيكون هناك قوة دافعة متزايدة للناس لتتوقع منهم أن يكون لديهم تطبيقات آمنة وبحق”. Mimecast.
مع مرور الوقت ، سيستمر المهاجمون في التحقيق في LLMs عن نقاط الضعف وطرق تجاوز الدرابزين. بالطبع ، هناك عدد كبير من منصات وأدوات Genai الأخرى المتاحة. ومعظم الممثلين للتهديد يبحثون عن أسهل الوسائل إلى نهاياتهم.
كان ديبسيك يهيمن على العناوين الرئيسية ليس فقط أطاح Openai من موقعه القيادي ولكن أيضا لمخاطرها الأمنية. enkrypt AI ، منصة أمان منظمة العفو الدولية ، أجريت البحث الجماعي الأحمر على LLM في بدء التشغيل الصيني ووجد “… النموذج ينحيف بشكل كبير وعرضًا لتوليد رمز غير آمن ، بالإضافة إلى إنتاج محتوى ضار وسام ، بما في ذلك خطاب الكراهية والتهديدات والإيذاء الذاتي والمواد الصريحة أو الجنائية.”
مع استمرار قادة المؤسسات في استخدام أدوات الذكاء الاصطناعي في منظماتهم ، سيتم تكليفهم بالتعرف على سوء الاستخدام والسلاح المحتملين ومكافحتهم. هذا يعني النظر في المنصات التي يجب استخدامها – هل يستحق المخاطرة الفائدة؟ – ومراقبة أدوات Genai التي يستخدمونها لسوء الاستخدام.
لاكتشاف llmjacking ، يوصي مورين بالبحث عن “… المسامير في الاستخدام خارج عن المناطق العادية ، من المناطق الغريبة ، أو المواقع التي هي خارج عن مؤسستك” ، كما تقول. “سوف يتعرف فريق الأمان الخاص بك على ما هو طبيعي وما هو غير طبيعي بالنسبة لك.”
سيتعين على قادة الأعمال أيضًا النظر في استخدام Shadow AI.
يقول WeaNn: “أعتقد أن أكبر تهديد في الوقت الحالي هو أن التهديد الداخلي المحتمل من الأفراد الذين يبحثون عن تطبيقات غير مصرح بها أو حتى التهم المصرح به ، لكن إدخال PII أو البيانات الشخصية أو البيانات السرية التي لا ينبغي إدخالها في هذه النماذج”. .
حتى الشركات التي تستخدم الذكاء الاصطناعى داخليًا ستواجه احتمال استخدام المهاجمين لاستهدافهم.
تقدم قدرات Genai
قد لا تمارس الجهات الفاعلة للتهديدات Genai بعد لهجمات جديدة ، لكن هذا لا يعني أن المستقبل لا يأتي. مع استمرارهم في التجربة ، ستنمو كفاءتها مع التكنولوجيا وكذلك إمكانية الابتكار العدائي.
“أعتقد أن المهاجمين سيتمكنون من بدء تخصيص Genai الخاص بهم … تسليحه أكثر قليلاً. يقول مورين: “إننا في المرحلة الآن حيث أعتقد أننا سنبدأ في رؤية المزيد من تلك الهجمات المخيفة التي نتحدث عنها خلال العام أو العامين الماضيين”. “لكنني أعتقد أننا مستعدون لمكافحة هؤلاء أيضًا.”
