قادة الأمن على دراية جيدة بالظل. التطبيقات والخدمات غير المعروضة وحتى الأجهزة التي يتبناها الموظفون لتجاوز البيروقراطية وتسريع الإنتاجية.
فكر في Rogue Cloud Storage أو منصات المراسلة أو أدوات SaaS غير المعتمدة. غالبًا ما تنزلق كل هذه الحوكمة إلى أن تؤدي إلى خرق أو قضية الامتثال أو الفشل التشغيلي.
الآن ، هناك تهديد أكثر تعقيدًا – الظل الذكاء الاصطناعي.
يستخدم الموظفون بالفعل أدوات الذكاء الاصطناعى لأتمتة المهام وإنشاء التعليمات البرمجية وتحليل البيانات واتخاذ القرارات ، في كثير من الأحيان دون الإشراف. ومع ذلك ، على عكس الظل ، من المحتمل أن يكون Shadow AI أكثر خطورة ، لأنه لا يحرك البيانات حولها فقط.
AI يحول البيانات ، ويعرضها ، ويتعلم منها. ليس لدى معظم المنظمات أي رؤية لكيفية ، أو أين ، أو لماذا يتم استخدامها.
كيف يستخدم الموظفون الذكاء الاصطناعى بما يتجاوز إنشاء المحتوى
في حين أن الذكاء الاصطناعى معروف على نطاق واسع بمساعدة مسودة المستندات أو نسخة التسويق ، فإن استخدامها الحقيقي أوسع بكثير وأكثر تشغيلية. الموظفون هم:
- تغذية البيانات الحساسة في نماذج الذكاء الاصطناعى العامة لتلخيص التقارير أو تحليل الاتجاهات
- باستخدام الذكاء الاصطناعى لإنشاء قصاصات الكود أو البرامج النصية أو سير عمل الأتمتة
- الاستفادة من أدوات التحليلات التي تعمل بالطاقة الذكاء لتفسير سلوك العملاء أو البيانات المالية
- دمج chatbots AI في قنوات خدمة العملاء دون موافقة رسمية
هذه ليست حالات الحافة. إنهم يحدثون الآن ، عبر الصناعات ، وغالبًا بدون حوكمة.
مخاطر تبني الذكاء الاصطناعي غير المدير
منظمة العفو الدولية غير المدارة استخدام يقدم مخاطر مركبة متعددة. وتشمل هذه تسرب البيانات عندما يتعرض البيانات الحساسة أو المنظمة للنماذج الخارجية مع سياسات الاحتفاظ غير واضحة.
ثم هناك إساءة استخدام النموذج. يحدث هذا عندما يعتمد الموظفون على المخرجات التي تم إنشاؤها من الذكاء الاصطناعى دون التحقق من الدقة أو الشرعية ، مما يؤدي إلى العدد التالي: التعرض القانوني. هذه المشكلات القانونية هي تهديدات حقيقية ويمكن أن تشمل انتهاكات حقوق الطبع والنشر ، وانتهاكات الخصوصية ، وعدم الامتثال التنظيمي ، وكلها قد تورط المنظمة.
قضية أخرى يجب مراعاتها عندما يستخدم العمال بشكل خفي من الذكاء الاصطناعي هي نقاط الضعف الأمنية المتأصلة. يمكن للجهات الفاعلة التهديد استغلال أدوات الذكاء الاصطناعى من خلال المدخلات المسممة ، أو التكامل غير المجهود ، أو رمز غير آمن.
دعنا نحفر أعمق قليلاً في هذه القضية.
النظر في صعود “الترميز فيبي” ، حيث يستخدم المطورون الذكاء الاصطناعي لإنشاء رمز بناءً على مطالبات غامضة أو نتائج مرغوبة. يؤدي هذا في كثير من الأحيان إلى أنماط غير آمنة ، أو في عداد المفقودين ، أو ثغرات الثغرات الأمنية المدمجة. والأسوأ من ذلك ، أنه يمكن نشر هذه المخرجات مباشرة في بيئات الإنتاج دون مراجعة مناسبة.
خطر آخر ناشئ هو تطوير وكلاء الذكاء الاصطناعى الداخليين مع الوصول المفرط إلى البيانات التنظيمية. غالبًا ما يتم تصميم هذه الوكلاء لأتمتة سير العمل أو الإجابة على استفسارات الموظفين. بدون عناصر تحكم صارمة للوصول ، يمكن أن تصبح الباب الخلفي للأنظمة والمعلومات الحساسة.
وهم السيطرة
تعتقد العديد من المنظمات أنها عالجت مخاطر الذكاء الاصطناعي من خلال نشر سياسة أو إضافة منظمة العفو الدولية إلى سجل المخاطر. ولكن دون رؤية الاستخدام الفعلي ، تكون هذه التدابير أداءً في أحسن الأحوال.
يجب أن يسأل قادة الأمن:
- هل نعرف أدوات الذكاء الاصطناعي التي يستخدمها موظفونا؟
- هل نفهم ما هي البيانات التي يتم تغذيتها فيها؟
- هل قمنا بتقييم المخاطر الكامنة للمنصات الشائعة مثل ChatGpt أو Gemini أو Claude وكيف يمكن تخفيف هذا الخطر؟
إذا كانت الجواب “ليس حقًا” ، فإن Shadow AI موجود بالفعل داخل المحيط.
عواقب التقاعس
كما لوحظ ، يحمل اعتماد الذكاء الاصطناعى غير المُدار ، الذي يحركه الموظف عواقب تتوافق بين الأبعاد القانونية والتشغيلية والمالية والسمعة. إليك ما يبدو عليه عندما يهبط.
التعرض القانوني والتنظيمي: يمكن أن يؤدي المشاركة غير المصرح بها للمعلومات الشخصية أو الحساسة مع النماذج الخارجية إلى إشعارات خرق الخصوصية والتحقيقات التنظيمية والانتهاكات التعاقدية. يمكن لعمليات النقل عبر الحدود خرق التزامات الإقامة للبيانات. تُظهر قيود القطاع العام ، مثل الحكومة الأسترالية التي تحظر ديبسيك ، مدى سرعة تغيير قواعد السيادة ، ومدى سرعة أن تصبح الأداة التي يتم فرضها بمثابة حادث امتثال إذا استخدمها الموظفون بشكل غير رسمي.
فقدان البيانات وتسرب IP: يمكن تسجيل كود المصدر ، خرائط طريق المنتج ، التصميمات ، بيانات الاعتماد ، ومصنوعات العميل التي تم لصقها في النماذج العامة أو الاحتفاظ بها أو استخدامها لتحسين الخدمات. وهذا يخلق خسارة حماية السرية التجارية ، ويضعف مواقع براءات الاختراع بسبب الإفصاح المسبق ، والخصوم اليدين سياق غني للاستهداف.
ثغرات الأمن في الكود والأتمتة: يمكن أن ينتج عن الترميز فيبي أنماطًا غير آمنة ، ومدخلات غير مؤهلة ، ومكتبات قديمة ، وأسرار شديدة الترميز. يجوز للفرق نسخ المقتطفات التي تم إنشاؤها مباشرة إلى الإنتاج دون مراجعة الكود أو نمذجة التهديد. يمكن للملحقات غير المسجلة والمكونات الإضافية والبرامج النصية تقديم بيانات خبيثة أو exfiltrate. يمكن الآن أن تساعد IDEs المدعومة من الذكاء الاصطناعي في تحديد ثغرات الأمن ، ولكن لا يزال يتعين تعزيزها من قبل مهندس أمن ماهر.
وكلاء الذكاء الاصطناعى المسمار: يمكن أن تصبح الوكلاء الداخليون وصولًا واسعًا للقراءة إلى أسهم الملفات والويكي والتذاكر وصناديق الوارد محركات تعرض للبيانات الجماعية. يمكن أن يسطح الاستعلام المهمل أو السلسلة المذهلة أو خلل التكامل السجلات السرية للجمهور الخاطئ في ثوانٍ.
القرارات المتحيزة ومخاطر التمييز: يمكن أن يؤدي الاستخدام الهادئ لمنظمة العفو الدولية في التوظيف أو مراجعات الأداء أو قرارات الائتمان أو فحص العملاء إلى تضمين التحيز وإنتاج تأثيرات متباينة. بدون الشفافية والتوثيق والمراجعة ، تواجه المنظمات الشكاوى والإجراءات التنظيمية وفقدان الثقة.
اضطراب التشغيلي والهشاشة: سير عمل Shadow AI هش. يمكن أن يؤدي تغيير سياسة الموفر ، أو انقطاع ، أو حد ، أو تحديث النماذج ، إلى توقف الفرق ويخترق العمليات التي لم يوافقها أو توثيقها رسميًا. استجابة الحوادث أبطأ لأن السجلات والحسابات وتدفقات البيانات لا تتم إدارة مركزيًا.
صدمات الطرف الثالث والسيادة: إذا كان منظمًا أو عميلًا رئيسيًا يحظر نموذجًا أو منطقة معينة ، فإن الاعتماد غير الرسمي على هذا النموذج قد هرع الترحيل وفواصل الخدمة. يمكن أن تؤخر فجوات إقامة البيانات التي تم اكتشافها أثناء العناية الواجبة الصفقات أو تقتلها بشكل مباشر.
فشل التدقيق والتأكيد: تنشأ النتائج المفاجئة في ISO 27001 أو SOC 2 أو عمليات التدقيق الداخلي عندما يكتشف المدققون استخدام AI غير المدير وتدفقات البيانات. يمكن أن تعرقل الشهادات والمناقصات وثقة المجلس.
الآثار المالية: تكاليف تتراكم من معالجة الخرق ، والمستشار القانوني ، وإشعارات العملاء ، وإعادة بناء النظام ، ومفاتيح بائع الطوارئ. قد يتم التنازع على مطالبات التأمين على الإنترنت إذا تجاهل حاملي الوثائق الضوابط المطلوبة. الصفقات المفقودة ومتابعة ضربات السمعة.
تآكل الثقافة والسيطرة: عندما يتعلم الموظفون أن الأدوات غير الرسمية تنجز العمل بشكل أسرع ، تفقد الحوكمة المصداقية. هذا يدفع المزيد من التحايل ، ويقلل من الرؤية ، ويخاطر غير المدارة.
الطريق إلى الأمام
لن ينتظر Shadow AI سياستك. إنه يقوم بالفعل بتشكيل مهام سير العمل والقرارات وتدفقات البيانات عبر مؤسستك. الاختيار ليس ما إذا كان يجب السماح لمنظمة العفو الدولية ، ولكن ما إذا كان يجب إدارته.
يجب أن يتصرف قادة الأمن الآن لجلب الرؤية والسيطرة والمساءلة لاستخدام الذكاء الاصطناعي. وهذا يعني إشراك الموظفين ، ووضع حدود واضحة ، وبناء الحكم الذي يمكّن الابتكار دون التضحية بالأمن.
تجاهل الظل منظمة العفو الدولية لن يجعلها تختفي. من الأفضل اكتشافها وجهاً لوجه ، وفهم كيفية استخدامها ، وإدارة المخاطر قبل أن تديرك.
المحتوى المقدم هنا هو لأغراض إعلامية عامة فقط ويجب عدم تفسيرها على أنها نصيحة قانونية أو تنظيمية أو امتثال أو للأمن السيبراني. يجب على المنظمات استشارة محترفيها القانونيين أو الامتثال أو الأمن السيبراني فيما يتعلق بالالتزامات المحددة واستراتيجيات إدارة المخاطر. في حين أن حلول الكشف عن التهديدات والاستجابة المدارة من LevelBlue مصممة لدعم الكشف عن التهديدات والاستجابة لها على مستوى نقطة النهاية ، فهي ليست بديلاً لرصد الشبكات الشامل أو إدارة الضعف أو برنامج الأمن السيبراني الكامل.
