أصبح اعتماد الذكاء الاصطناعي التوليدي منتشرًا في كل مكان حيث يقوم المزيد من مطوري البرامج بتضمين القدرة في تطبيقاتهم ويتدفق المستخدمون على مواقع مثل OpenAI لتعزيز الإنتاجية. وفي الوقت نفسه، تستخدم الجهات الفاعلة في مجال التهديد التكنولوجيا لتسريع عدد الهجمات وتواترها.
“تُحدث GenAI ثورة في كل من الهجوم والدفاع في مجال الأمن السيبراني. على الجانب الإيجابي، فهو يعزز اكتشاف التهديدات وتحليل الحالات الشاذة وأتمتة المهام الأمنية. ومع ذلك، فإنه يشكل أيضًا مخاطر، حيث يستخدم المهاجمون الآن GenAI لصياغة هجمات أكثر تعقيدًا واستهدافًا [such as] يقول تيموثي بيتس، أستاذ الممارسة في مجال الذكاء الاصطناعي والأمن السيبراني وتقنية blockchain وXR في جامعة كاليفورنيا: “التصيد الاحتيالي الناتج عن الذكاء الاصطناعي” جامعة ميشيغان والرئيس التنفيذي للتكنولوجيا السابق لشركة لينوفو. “إذا لم تقم شركتك بتحديث سياساتها الأمنية لتشمل GenAI، فقد حان وقت التحرك.”
وفقًا لجيمس أرلين، رئيس قسم تكنولوجيا المعلومات في شركة منصات البيانات والذكاء الاصطناعي ايفين، يتناسب تأثير GenAI مع استخدامه.
“إذا استخدم ممثل سيء GenAI، فسوف تحصل على نتائج سيئة لك. إذا كان الممثل الجيد يستخدم GenAI بحكمة سوف تحصل على نتائج جيدة. ثم هناك الحل الوسط العملاق المتمثل في قيام الممثلين السيئين بأشياء غبية [like] يقول آرلين: “إنهم يسممون الممثلين الجيدين والجيدين اسميًا ذوي النوايا الحسنة ويقومون بأشياء غير حكيمة”. “أعتقد أن النتيجة الصافية هي مجرد تسارع. الاتجاه لم يتغير، إنه لا يزال سباق تسلح، لكنه الآن سباق تسلح مع زر توربو”.
التهديد حقيقي ومتزايد
يعد GenAI نعمة ونقمة عندما يتعلق الأمر بالأمن السيبراني.
“من ناحية، أدى دمج الذكاء الاصطناعي في الأدوات والتقنيات الأمنية إلى تعزيز أدوات البائعين بشكل كبير لتوفير اكتشاف أفضل للتهديدات والاستجابة لها من خلال ميزات تعتمد على الذكاء الاصطناعي يمكنها تحليل كميات هائلة من البيانات، بشكل أسرع بكثير من أي وقت مضى، لتحديد الأنماط والتهديدات. يقول إريك أفاكيان، المستشار الفني في مجموعة أبحاث تكنولوجيا المعلومات: “الحالات الشاذة التي تشير إلى التهديدات السيبرانية”. “يمكن أن تساعد هذه الميزات الجديدة في التنبؤ بموجهات الهجوم الجديدة، واكتشاف البرامج الضارة ونقاط الضعف وأنماط التصيد الاحتيالي والهجمات الأخرى في الوقت الفعلي، بما في ذلك أتمتة الاستجابة لبعض الحوادث السيبرانية. وهذا يعزز بشكل كبير عمليات الاستجابة للحوادث لدينا من خلال تقليل أوقات الاستجابة والسماح لمحللي الأمن لدينا بالتركيز على مهام أخرى وأكثر تعقيدًا.
وفي الوقت نفسه، قام المتسللون ومجموعات القرصنة بدمج قدرات الذكاء الاصطناعي والنمذجة اللغوية الكبيرة (LLM) لتنفيذ هجمات معقدة بشكل لا يصدق، مثل الجيل التالي من التصيد الاحتيالي وهجمات الهندسة الاجتماعية باستخدام التزييف العميق.
يقول أفاكيان: “إن دمج انتحال الصوت والمحتوى المخصص من خلال هجمات “التزييف العميق” عبر مقاطع الفيديو أو الأصوات أو الصور التي ينشئها الذكاء الاصطناعي، يجعل اكتشاف هذه الهجمات والدفاع ضدها أكثر صعوبة”. “يمكن للخصوم استخدام GenAI لإنشاء برامج ضارة متقدمة تتكيف مع الدفاعات وتتجنب أنظمة الكشف الحالية.”
عمود الأمن الأخير حالة الهجمات على GenAI يحتوي التقرير على بعض الإحصائيات المثيرة للقلق حول تأثير GenAI على الأمن السيبراني:
-
90% من الهجمات الناجحة أدت إلى تسرب بيانات حساسة.
-
نجحت 20% من محاولات اختراق السجن في تجاوز حواجز حماية تطبيق GenAI.
-
يحتاج الخصوم إلى متوسط 42 ثانية فقط لتنفيذ الهجوم.
-
احتاج المهاجمون إلى خمسة تفاعلات فقط، في المتوسط، لإكمال هجوم ناجح باستخدام تطبيقات GenAI.
تستغل الهجمات نقاط الضعف في كل مرحلة من مراحل التفاعل مع أنظمة GenAI، مما يؤكد الحاجة إلى اتخاذ تدابير أمنية شاملة. بالإضافة إلى ذلك، تكشف الهجمات التي تم تحليلها كجزء من أبحاث شركة Pillar Security عن زيادة في تواتر وتعقيد هجمات الحقن الفوري، حيث يستخدم المستخدمون تقنيات أكثر تطوراً ويقومون بمحاولات مستمرة لتجاوز الضمانات.
“أكبر ما يقلقني هو تسليح GenAI – مجرمو الإنترنت الذين يستخدمون الذكاء الاصطناعي لأتمتة الهجمات أو إنشاء هويات مزيفة أو استغلال ثغرات يوم الصفر بشكل أسرع من أي وقت مضى. يقول بيتس من جامعة ميشيغان: “إن ظهور الهجمات المعتمدة على الذكاء الاصطناعي يعني أن أسطح الهجوم تتطور باستمرار، مما يجعل الدفاعات التقليدية أقل فعالية”. “للتخفيف من هذه المخاطر، نحن نركز على الحلول الأمنية المعتمدة على الذكاء الاصطناعي والتي يمكنها الاستجابة بنفس السرعة للتهديدات الناشئة. ويشمل ذلك الاستفادة من التحليلات السلوكية، وجدران الحماية المدعومة بالذكاء الاصطناعي، وخوارزميات التعلم الآلي التي يمكنها التنبؤ بالانتهاكات المحتملة.
في حالة التزييف العميق، جوش بارتولومي، نائب الرئيس لخدمات التهديدات العالمية في مزود حلول التهديد والدفاع عبر البريد الإلكتروني كوفينس توصي باستخدام طريقة اتصال خارج النطاق لتأكيد الطلب الاحتيالي المحتمل، باستخدام خدمات المراسلة الداخلية مثل Slack أو WhatsApp أو Microsoft Teams، أو حتى إنشاء كلمات رمزية محددة لأنواع محددة من الطلبات أو لكل قائد تنفيذي.
ويجب التحكم في استخدام البيانات.
“مع الاستخدام المتزايد لـ GenAI، قد يتطلع الموظفون إلى الاستفادة من هذه التكنولوجيا لجعل عملهم أسهل وأسرع. ومع ذلك، من خلال القيام بذلك، يمكنهم الكشف عن معلومات الشركة لمصادر خارجية، بما في ذلك أشياء مثل كود المصدر والمعلومات المالية وتفاصيل العميل [and] يقول بارتولومي: “رؤية المنتج”. “إن خطر الكشف عن هذا النوع من البيانات إلى خدمات الذكاء الاصطناعي التابعة لجهات خارجية مرتفع، حيث أن مجمل كيفية استخدام البيانات يمكن أن يؤدي إلى الكشف عن البيانات على نطاق أوسع بكثير مما قد يؤثر سلبًا على تلك المؤسسة ومنتجاتها. [and] خدمات.”
كيسي كوركوران، الرئيس الميداني لأمن المعلومات في شركة خدمات الأمن السيبراني طبقية – تقول إحدى شركات SHI، إنه بالإضافة إلى حملات التصيد الاحتيالي والتزييف العميق، تستخدم الجهات الفاعلة السيئة نماذج تم تدريبها للاستفادة من نقاط الضعف في أنظمة القياسات الحيوية والقياسات الحيوية الشخصية المستنسخة التي ستتجاوز الضوابط البيومترية التقنية.
“[M]هناك مخاوفان كبيرتان هما: 1) أن الهجمات سريعة التطور ستطغى على الضوابط التقليدية وتطغى على قدرة البشر على التمييز بين الصواب والخطأ؛ و2) كسر “الحاجة إلى المعرفة” والسرية الشاملة للبيانات وسلامتها من خلال إدارة البيانات غير المُدارة في استخدام GenAI داخل المؤسسات، بما في ذلك إفساد البيانات والنماذج،” كما يقول كوركوران.
طال زمير، مدير التكنولوجيا التنفيذي في مزود الحلول الأمنية المتقدمة للبريد الإلكتروني ومساحة العمل نقطة الإدراك يحذر من أن المهاجمين يستغلون نقاط الضعف في التطبيقات التي تعمل بتقنية GenAI مثل روبوتات الدردشة، مما يؤدي إلى مخاطر جديدة، بما في ذلك الحقن الفوري. كما يستخدمون أيضًا شعبية تطبيقات GenAI لنشر البرامج الضارة، مثل إنشاء ملحقات Chrome زائفة تحمل سمة GenAI والتي تسرق البيانات.
يقول زمير: “يستفيد المهاجمون من GenAI لأتمتة المهام مثل إنشاء صفحات التصيد الاحتيالي وصياغة رسائل الهندسة الاجتماعية شديدة الاستهداف، مما يزيد من حجم الهجمات وتعقيدها”. “يجب على المؤسسات تثقيف الموظفين حول مخاطر مشاركة المعلومات الحساسة باستخدام أدوات GenAI، حيث أن العديد من الخدمات في مراحلها الأولى وقد لا تتبع ممارسات أمنية صارمة. تستخدم بعض الخدمات مدخلات المستخدم لتدريب النماذج، مما يعرض البيانات للخطر. يجب أن يكون الموظفون على دراية بالمسائل القانونية والمسائل المتعلقة بالدقة المتعلقة بالمحتوى الذي ينشئه الذكاء الاصطناعي، وأن يراجعوه دائمًا قبل مشاركته، لأنه قد يتضمن معلومات حساسة.
يمكن للجهات الفاعلة السيئة أيضًا استخدام GenAI لتحديد الأيام الصفرية وإنشاء عمليات استغلال. وبالمثل، يمكن للمدافعين أيضًا العثور على أيام صفرية وإنشاء تصحيحات، لكن الوقت هو العدو: فالقراصنة ليسوا مثقلين بالقواعد التي يجب على الشركات اتباعها.
“[T]من المحتمل أن يظل هناك تأخير كبير في تطبيق التصحيحات في الكثير من الأماكن. يقول يوهان إدهولم، المؤسس المشارك ومسؤول أمن المعلومات ومهندس الأمن في مزود منصة إدارة سطح الهجوم الخارجي: “قد يتطلب البعض استبدال الأجهزة فعليًا”. كشف. “في هذه الحالات، قد يكون من الأسرع إضافة أشياء مؤقتًا بين النظام الضعيف والمهاجم، مثل WAF، أو جدار الحماية، أو فجوة الهواء، أو ما شابه ذلك، ولكن هذا لن يخفف المخاطر أو يحلها، بل يقللها مؤقتًا فقط. ”
تأكد من عنوان سياسات الشركة GenAI
وفقًا لأفاكيان من Info-Tech Research Group، تبدأ الإدارة السليمة للمخاطر بممارسات حوكمة عامة ومحددة للذكاء الاصطناعي تنفذ سياسات الذكاء الاصطناعي.
يقول أفاكيان: “حتى لو لم تقم مؤسساتنا بعد بدمج تقنيات أو حلول GenAI في البيئة، فمن المحتمل أن يكون موظفونا قد جربوها أو يستخدمون تطبيقات الذكاء الاصطناعي أو مكوناتها خارج مكان العمل”. “باعتبارنا مدراء تكنولوجيا المعلومات، نحتاج إلى أن نكون استباقيين ونتبع نهجًا متعدد الأوجه لتنفيذ السياسات التي تراعي سياسات الاستخدام المقبول للمستخدم النهائي لدينا بالإضافة إلى دمج مراجعات الذكاء الاصطناعي في عمليات تقييم المخاطر لدينا والتي قمنا بها بالفعل. يجب أن تتطور سياساتنا الأمنية أيضًا لتعكس القدرات والمخاطر المرتبطة بـ GenAI إذا لم يكن لدينا مثل هذه التضمينات بالفعل.
يجب أن تشمل هذه السياسات نطاقًا واسعًا من الأشياء في استخدام GenAI، بدءًا من تدريب الذكاء الاصطناعي الذي يغطي حماية البيانات إلى المراقبة وتأمين عمليات النشر المعمارية الجديدة والحالية للذكاء الاصطناعي. من المهم أيضًا أن يفهم فريق الأمن والقوى العاملة وفرق الخصوصية والفرق القانونية مفاهيم الذكاء الاصطناعي، بما في ذلك جوانب البنية والخصوصية والامتثال حتى يتمكنوا من فحص الحل الذي يحتوي على مكونات أو ميزات الذكاء الاصطناعي التي ترغب الشركة في تنفيذها بشكل كامل.
يقول أفاكيان: “إن تنفيذ هذه الفحوصات في عملية المراجعة يضمن أن أي حلول يتم تقديمها في البيئة سيتم فحصها بشكل صحيح والموافقة عليها للاستخدام ومعالجة أي مخاطر قبل التنفيذ والاستخدام، مما يقلل بشكل كبير من التعرض للمخاطر أو العواقب غير المقصودة”. “يجب أن تتضمن هذه المراجعات الامتثال للسياسة، ومراجعات التحكم في الوصول، وأمن التطبيقات، والمراقبة والسياسات المرتبطة بنماذج وأنظمة الذكاء الاصطناعي لدينا لضمان أن الموظفين المصرح لهم فقط هم من يمكنهم الوصول إليها أو تعديلها أو نشرها في البيئة. يمكن أن يساعد العمل مع فرقنا القانونية ومسؤولي الخصوصية في ضمان فحص أي مشكلات تتعلق بالخصوصية والامتثال القانوني بشكل كامل لضمان خصوصية البيانات والاستخدام الأخلاقي.
ماذا لو لم يتم تحديث سياسات شركتك بعد؟ توماس سكانلون، الباحث الرئيسي في معهد هندسة البرمجيات بجامعة كارنيجي ميلون يوصي بمراجعة السياسات النموذجية التي أنشأتها الجمعيات المهنية التي ينتمون إليها أو الشركات الاستشارية التي لديها عملاء متعددون.
يقول سكانلون: “إن الخوف الأكبر من تأثير GenAI على الأمن السيبراني هو أن الأشخاص ذوي النوايا الحسنة سوف يستخدمون GenAI لتحسين جودة عملهم وفتح ناقل هجوم للأعداء دون قصد”. “إن الدفاع ضد أنواع الهجمات المعروفة لـ GenAI هو أكثر وضوحًا من الدفاع ضد التهديدات الداخلية العرضية.”
أنشأت منصة إدارة الإنفاق على التكنولوجيا والمخاطر Flexera سياسة GenAI في وقت مبكر، ولكن أصبح من الواضح أن هذه السياسة سرعان ما أصبحت قديمة.
يقول كونال غالاغر، رئيس أمن المعلومات ورئيس قسم تكنولوجيا المعلومات في شركة GenAI: “يخلق GenAI الكثير من التعقيد الدقيق الذي يتطلب أساليب جديدة للأمن السيبراني”. فليكسيرا. “تحتاج السياسة إلى معالجة ما إذا كانت المنظمة تسمح بها أم تمنعها. وإذا سمح فبأي شروط؟ يجب أن تأخذ سياسة GenAI في الاعتبار تسرب البيانات، وهجمات انعكاس النماذج، وأمن واجهة برمجة التطبيقات، والكشف غير المقصود عن البيانات الحساسة، وتسميم البيانات، وما إلى ذلك. ويجب أيضًا أن تضع في اعتبارها المخاوف المتعلقة بالخصوصية والأخلاق وحقوق النشر.
ولمعالجة GenAI كجزء من الإدارة الشاملة للمخاطر، شكلت Flexera مجلسًا داخليًا للذكاء الاصطناعي للمساعدة في التنقل في مشهد التهديدات سريع التطور.
“إن تركيز الجهود هناك سيكون له معنى أكبر بكثير من أي سياسة مكتوبة. يقول غالاغر: “إن الهدف الأساسي لمجلس الذكاء الاصطناعي هو ضمان استخدام تقنيات الذكاء الاصطناعي بطريقة تتوافق مع قيم الشركة والمتطلبات التنظيمية والمعايير الأخلاقية والأهداف الاستراتيجية”. “يتكون مجلس الذكاء الاصطناعي من أصحاب المصلحة الرئيسيين والخبراء المتخصصين داخل الشركة. هذه المجموعة مسؤولة عن الإشراف على التطوير والنشر والاستخدام الداخلي لأنظمة GenAI.
الخط السفلي
يجب التفكير في GenAI من وجهة نظر المستخدم النهائي ومخاطر الشركة والمهاجم. كما يتطلب الأمر من المؤسسات تحديث السياسات لتشمل GenAI إذا لم تكن قد فعلت ذلك بالفعل.
المخاطر بشكل عام ذات شقين: الهجمات المتعمدة وأخطاء الموظفين غير المقصودة، وكلاهما يمكن أن يكون له عواقب وخيمة على المنظمات غير المستعدة. إذا لم تتم مراجعة السياسات الداخلية مع وضع GenAI في الاعتبار على وجه التحديد وتحديثها حسب الضرورة، فإن المؤسسات تفتح الباب أمام الهجمات التي كان من الممكن تجنبها أو التخفيف منها.
