الذكاء الاصطناعي يستمر (الذكاء الاصطناعي) في التطور بوتيرة غير مسبوقة، مع وكلاء الذكاء الاصطناعي تظهر هذه التكنولوجيا كتقنية قوية وتحويلية بشكل خاص. يتم دمج هذه العوامل، التي تعمل بنماذج متقدمة من شركات مثل OpenAI وMicrosoft، في منتجات مؤسسية متنوعةتقدم وكلاء الذكاء الاصطناعي فوائد كبيرة في مجال الأتمتة والكفاءة. ومع ذلك، فإن وكلاء الذكاء الاصطناعي يجلبون مجموعة من المخاطر والتهديدات الأمنية الجديدة التي يجب على المؤسسات معالجتها بشكل استباقي.
فهم المخاطر الفريدة التي تواجه وكلاء الذكاء الاصطناعي
وكلاء الذكاء الاصطناعي إن الروبوتات ليست مجرد تكرار آخر لنماذج الذكاء الاصطناعي؛ بل إنها تمثل تحولاً جوهرياً في كيفية تفاعل الذكاء الاصطناعي مع البيئات الرقمية والمادية. ويمكن لهذه الوكلاء أن يتصرفوا بشكل مستقل أو شبه مستقل، فيتخذون القرارات ويتخذون الإجراءات ويحققون الأهداف بأقل قدر من التدخل البشري. وفي حين أن هذا الاستقلال يفتح إمكانيات جديدة، فإنه يوسع أيضاً من نطاق التهديد بشكل كبير.
تقليديا، كانت المخاطر المرتبطة بالذكاء الاصطناعي محصورة في المدخلات والمعالجة ومخرجات النماذج، جنبا إلى جنب مع نقاط الضعف في طبقات البرمجيات التي تنظمها. ومع وكلاء الذكاء الاصطناعي، فإن المخاطر تمتد إلى ما هو أبعد من هذه الحدود. يمكن أن تكون سلسلة الأحداث والتفاعلات التي يبدأها وكلاء الذكاء الاصطناعي واسعة ومعقدة، وغالبًا ما تكون غير مرئية للمشغلين البشريين. يمكن أن يؤدي هذا الافتقار إلى الرؤية إلى مخاوف أمنية خطيرة، حيث تكافح المنظمات لمراقبة ومراقبة تصرفات الوكلاء في الوقت الفعلي.
ومن بين الأمور الأكثر إلحاحا المخاطر إن التعرض للبيانات واستخراجها، والذي يمكن أن يحدث في أي نقطة على طول سلسلة الأحداث التي يقودها العميل، يمكن أن يؤدي الاستهلاك الجامح لموارد النظام من قبل عملاء الذكاء الاصطناعي – سواء كان ذلك حميدًا أو خبيثًا – إلى رفض الخدمة أو سيناريوهات المحفظة، حيث يتم إرهاق موارد النظام. ربما يكون الأمر الأكثر إثارة للقلق هو إمكانية القيام بأنشطة غير مصرح بها أو ضارة من قبل عملاء مستقلين مضللين، بما في ذلك “اختطاف العميل” من قبل جهات خارجية.
لا يتوقف الخطر عند هذا الحد. فقد تؤدي أخطاء الترميز داخل وكلاء الذكاء الاصطناعي إلى حدوث خروقات غير مقصودة للبيانات أو تهديدات أمنية أخرى، في حين يؤدي استخدام مكتبات أو أكواد تابعة لجهات خارجية إلى إدخال مخاطر سلسلة التوريد التي يمكن أن تعرض البيئات التي تستخدم الذكاء الاصطناعي وغيره للخطر. كما أن الترميز الثابت لبيانات الاعتماد داخل الوكلاء، وهي ممارسة شائعة في بيئات التطوير منخفضة الترميز أو الخالية من الترميز، يؤدي إلى تفاقم مشكلات إدارة الوصول، مما يسهل على المهاجمين استغلال هؤلاء الوكلاء لأغراض خبيثة.
ثلاثة ضوابط أساسية للتخفيف من مخاطر وكلاء الذكاء الاصطناعي
نظرًا للمخاطر المتعددة الأوجه المرتبطة بوكلاء الذكاء الاصطناعي، يجب على المنظمات تنفيذ ضوابط قوية لإدارة هذه التهديدات بشكل فعال. تتمثل الخطوة الأولى في التخفيف من مخاطر وكلاء الذكاء الاصطناعي في توفير رؤية شاملة وخريطة لجميع أنشطة الوكلاء والعمليات والاتصالات والتعرض للبيانات وتدفقات المعلومات. تعد هذه الرؤية أمرًا بالغ الأهمية للكشف عن الشذوذ وضمان توافق تفاعلات الوكلاء مع سياسات أمان المؤسسة. يجب أيضًا الحفاظ على مسار تدقيق ثابت لتفاعلات الوكلاء لدعم المساءلة وإمكانية التتبع.
من الضروري أيضًا أن يكون لديك لوحة معلومات مفصلة تتعقب كيفية استخدام وكلاء الذكاء الاصطناعي، وأدائهم وفقًا لسياسات المؤسسة، وامتثالهم لمتطلبات الأمان والخصوصية والقانون. يجب أن تتكامل لوحة المعلومات هذه أيضًا مع المؤسسات الحالية إدارة الهوية والوصول (IAM) أنظمة لفرض أقل قدر من امتيازات الوصول ومنع الإجراءات غير المصرح بها من قبل وكلاء الذكاء الاصطناعي.
بمجرد وضع خريطة شاملة لأنشطة الوكلاء، فكر في إنشاء آليات للكشف عن أي أنشطة شاذة أو تنتهك السياسات والإبلاغ عنها. يجب إنشاء سلوكيات أساسية لتحديد المعاملات الشاذة، والتي يمكن معالجتها بعد ذلك من خلال الإصلاح التلقائي في الوقت الفعلي.
نظرًا لسرعة وحجم تفاعلات وكلاء الذكاء الاصطناعي، لا يستطيع البشر بمفردهم توسيع نطاق الإشراف والإصلاح المطلوب. لذلك، قم بتنفيذ أدوات يمكنها تعليق المعاملات غير القانونية وإصلاحها تلقائيًا مع إعادة توجيه أي مشكلات غير محلولة إلى مشغلين بشريين للمراجعة اليدوية.
تتضمن عملية التحكم النهائية تطبيق الإصلاح التلقائي في الوقت الفعلي لمعالجة الشذوذ المكتشف. وقد يشمل ذلك إجراءات مثل تحرير البيانات الحساسة، وفرض الوصول إلى الحد الأدنى من الامتيازات، وحظر الوصول عند اكتشاف الانتهاكات. كما يجب التأكد من الاحتفاظ بقوائم الرفض لمؤشرات التهديد والملفات التي لا يُسمح لوكلاء الذكاء الاصطناعي بالوصول إليها. ويجب إنشاء حلقة مراقبة وملاحظات مستمرة لتحديد وتصحيح أي إجراءات غير مرغوب فيها ناتجة عن عدم دقة وكلاء الذكاء الاصطناعي.
مع تزايد دمج وكلاء الذكاء الاصطناعي في بيئات المؤسسات، لا يمكن تجاهل المخاطر والتهديدات الأمنية المرتبطة بها. يجب على المؤسسات تثقيف نفسها بشأن هذه المخاطر الجديدة وتنفيذ الضوابط اللازمة للتخفيف منها. من خلال عرض ورسم خريطة لجميع أنشطة وكلاء الذكاء الاصطناعي، واكتشاف الشذوذ والإبلاغ عنه، وتطبيق الإصلاح في الوقت الفعلي، يمكن للشركات الاستفادة من قوة وكلاء الذكاء الاصطناعي مع الحفاظ على تدابير أمنية قوية. في هذا المشهد سريع التطور، لا تعد إدارة المخاطر الاستباقية مجرد خيار – بل إنها ضرورة.
أفيفا ليتان هو محلل نائب رئيس متميز في شركة جارتنر. سيتم مناقشة إدارة المخاطر الرقمية واستراتيجيات المرونة في مجال الأمن السيبراني بشكل أكبر في قمة الأمن وإدارة المخاطر 2024 في لندن، من 23 إلى 25 سبتمبر.
