وكلاء الذكاء الاصطناعى هم واحد من أكثر أنواع النشر على نطاق واسع من جناي مبادرة في المنظمات اليوم. هناك العديد من الأسباب الجيدة لشعبيتها ، لكن يمكنهم أيضًا تشكيل تهديد حقيقي لأمن تكنولوجيا المعلومات.
لهذا السبب تحتاج CISO إلى مراقبة كل وكيل منظمة العفو الدولية في مؤسستهم. قد تكون هذه الوكلاء الخارجيين ، مثل chatbots المصممة لمساعدة العملاء على تتبع طلباتهم أو استشارة تاريخ الشراء الخاص بهم. أو ، قد تكون وكلاء داخليين مصممين لمهام محددة – مثل المشي مجندين جدد من خلال عملية على متن الطائرة ، أو مساعدة الموظفين الماليين في اكتشاف الحالات الشاذة التي قد تشير إلى نشاط احتيالي.
بفضل التطورات الحديثة في الذكاء الاصطناعي ، و معالجة اللغة الطبيعية (NLP) على وجه الخصوص ، أصبحت هذه العوامل بارعة للغاية في الاستجابة لرسائل المستخدمين بطرق تحاكي المحادثة الإنسانية عن كثب. ولكن من أجل الأداء في أفضل حالاتها وتوفير استجابات مصممة خصيصًا ودقيقًا ، يجب ألا تتعامل فقط مع المعلومات الشخصية والبيانات الحساسة الأخرى ، ولكن أيضًا يتم دمجها بشكل وثيق مع أنظمة الشركة الداخلية ، وأنظمة الشركاء الخارجيين ، ومصادر بيانات الطرف الثالث ، ناهيك عن الإنترنت الأوسع.
بغض النظر عن الطريقة التي تنظر بها إليها ، كل هذا يجعل وكلاء الذكاء الاصطناعي نقطة اتصال تنظيمية.
إدارة المخاطر الناشئة
فكيف يمكن أن يظهر وكلاء الذكاء الاصطناعي خطر على مؤسستك؟ لبداية ما ، قد يتم منحهم عن غير قصد الوصول ، أثناء تطورهم ، إلى البيانات الداخلية التي لا ينبغي مشاركتها ببساطة. بدلاً من ذلك ، يجب أن يتمكنوا فقط من الوصول إلى البيانات الأساسية ومشاركتها مع أولئك المصرح لهم برؤيتها ، عبر قنوات الاتصال الآمنة ومع آليات إدارة البيانات الشاملة المعمول بها.
بالإضافة إلى ذلك ، يمكن أن تستند الوكلاء إلى نماذج من الذكاء الاصطناعي والتعلم الآلي التي تحتوي على نقاط الضعف. إذا تم استغلالها من قبل المتسللين ، فقد يؤدي ذلك إلى تنفيذ رمز عن بعد والوصول إلى البيانات غير المصرح به.
بمعنى آخر ، قد يتم إغراء العوامل الضعيفة في تفاعلات مع المتسللين بطرق تؤدي إلى مخاطر عميقة. على سبيل المثال ، يمكن معالجة الردود التي يقدمها وكيل ، من خلال مدخلات ضارة تتداخل مع سلوكه. أ الحقن الفوري من هذا النوع يمكن أن يوجه نموذج اللغة الأساسي لتجاهل القواعد والاتجاهات السابقة واعتماد القواعد الجديدة والضارة. وبالمثل ، قد يتم أيضًا استخدام المدخلات الخبيثة من قبل المتسللين لإطلاق هجمات على قواعد البيانات الأساسية وخدمات الويب.
يجب أن تكون الرسالة إلى زملائي في CISO وأخصائيي الأمن واضحة: التقييم الصارم والمراقبة في الوقت الفعلي أمران ضروريان لمبادرات AI و Genai ، وخاصة الوكلاء الذين يتعاملون مع التفاعلات مع العملاء والموظفين والشركاء ، كما هو الحال مع أي شكل آخر من أشكال تكنولوجيا المعلومات.
لا تدع وكلاء الذكاء الاصطناعى يصبحون بقعة عمياء
أقترح أن أفضل مكان للبدء قد يكون مع تدقيق شامل من أصول الذكاء الاصطناعى وجيناي الحالية ، بما في ذلك الوكلاء. يجب أن يوفر هذا مخزونًا شاملاً لكل مثال يمكن العثور عليه داخل المؤسسة ، إلى جانب قائمة مصادر البيانات لكل واحد وواجهات برمجة التطبيق (API) والتكامل المرتبط بها.
هل واجهة الوكيل مع أنظمة الموارد البشرية أو المحاسبة أو المخزون ، على سبيل المثال؟ هل تشارك بيانات الطرف الثالث في النموذج الأساسي الذي يعمل على تشغيل تفاعلاتهم ، أو البيانات المكسورة من الإنترنت؟ من يتفاعل مع الوكيل؟ ما هي أنواع المحادثة التي يخولها الوكيل مع أنواع مختلفة من المستخدمين ، أو لديهم مع الوكيل؟
من دون القول أنه في حالة قيام المنظمات ببناء تطبيقات منظمة العفو الدولية الجديدة الخاصة بها من الألف إلى الياء ، يجب على CISO وفرقهم العمل مباشرة مع فريق الذكاء الاصطناعى من المراحل المبكرة ، لضمان تطبيق أهداف الخصوصية والأمن والامتثال بشكل صارم.
بعد النشر ، يجب أن يكون لدى فريق أمان تكنولوجيا المعلومات تقنيات البحث والملاحظة والأمن المعمول بها لمراقبة أنشطة الوكيل وأداء الوكيل باستمرار. يجب استخدامها لاكتشاف الحالات الشاذة في تدفقات حركة المرور وسلوكيات المستخدم وأنواع المعلومات المشتركة – ووقف تلك التبادلات فجأة حيث توجد أسباب للشك.
لا يمكّن التسجيل الشامل فرق أمان تكنولوجيا المعلومات فقط من الكشف عن سوء المعاملة والاحتيال وانتهاكات البيانات ، ولكن أيضًا العثور على أسرع وأكثرها علاجًا. بدون ذلك ، يمكن أن يشارك الوكلاء في تفاعلات منتظمة مع المتقاعدين الخاطئين ، مما يؤدي إلى ترشيح البيانات أو التعرض للبيانات طويلة الأجل.
خط مواجهة جديد للأمن والحوكمة
أخيرًا ، يجب على CISOs وفرقهم مراقبة ما يسمى الظل الذكاء الاصطناعي. تمامًا كما رأينا أن الموظفين يتبنون أدوات البرمجيات كخدمة في كثير من الأحيان تهدف إلى المستهلكين بدلاً من المنظمات من أجل إنجاز العمل ، فإن الكثير منهم يتخذون الآن نهجًا غير مصرح به لتبني أدوات تدعم الذكاء الاصطناعى دون عقوبة أو إشراف فريق تكنولوجيا المعلومات التنظيمي.
تقع على عاتقها على فرق أمن تكنولوجيا المعلومات لاكتشاف وفضح الظل AI أينما ظهر. وهذا يعني تحديد الأدوات غير المصرح بها ، وتقييم المخاطر الأمنية التي تشكلها ، واتخاذ إجراءات سريعة. إذا كانت المخاطر تفوق بوضوح فوائد الإنتاجية ، فيجب حظر هذه الأدوات. حيثما كان ذلك ممكنًا ، يجب على الفرق أيضًا توجيه الموظفين نحو البدائل الأكثر أمانًا والمُعاقب عليها بالمعايير الأمنية للمنظمة.
أخيرًا ، من المهم أن تحذر لمجرد أن التفاعل مع عميل الذكاء الاصطناعي قد يشعر بأنه محادثة إنسانية منتظمة ، لا يتمتع الوكلاء بالقدرة البشرية على ممارسة السلطة التقديرية أو الحكم أو الحذر أو الضمير في تلك التفاعلات. هذا هو السبب في أن الحوكمة الواضحة ضرورية ، ويجب أن يدرك المستخدمون أيضًا أنه يمكن تخزين أي شيء مشترك مع وكيل أو ظهوره أو مكشوفه بطرق لا ينويونها.
