شهدت الأشهر الثلاثة حتى نهاية مايو هذا العام ارتفاعًا بنسبة 50 ٪ في استخدام الذكاء الاصطناعي التوليدي (Genai) المنصات بين المستخدمين النهائيين للمؤسسات ، وبينما تعمل فرق الأمان على تسهيل اعتماد آمن للبرمجيات كخدمة (SAAS) من AI أطر مثل Azure Openai و Amazon Bedrock و Google Vertex AI ، ومجمع أمنية ، وذلك.
الدراسة ، التي جمعتها حماية البيانات ومنصة الوقاية من التهديد Netskope، فحص التحول التجمع بين المستخدمين إلى الاعتماد عليها منصات Genai المحلية، والتي يستخدمونها في الغالب لبناء وكلاء وتطبيقات الذكاء الاصطناعي.
هذه المنصات ، والتي تشمل أدوات مثل Ollama و LM Studio و Ramalama ، أصبحت الآن فئة أسرع نمو الظل الذكاء الاصطناعيوقال Netskope بسبب سهولة الاستخدام النسبية والمرونة. ولكن ، عند استخدامها للتسريع من مشاريعهم ، يمنح الموظفون منصات الوصول إلى متاجر بيانات المؤسسات وترك الأبواب مفتوحة على مصراعيها لتسرب البيانات أو السرقة الصريحة.
وقال راي كانزانيز ، مدير Netskope Threat Labs: “النمو السريع لـ Shadow AI يضع مسؤولية المنظمات لتحديد من يقوم بإنشاء تطبيقات جديدة من الذكاء الاصطناعي ووكلاء الذكاء الاصطناعى باستخدام منصات Genai وحيث يقومون ببناءها ونشرها”.
“لا ترغب فرق الأمن في إعاقة تطلعات الابتكار للمستخدمين النهائيين للموظفين ، لكن استخدام الذكاء الاصطناعى سيزداد فقط. لحماية هذا الابتكار ، تحتاج المؤسسات إلى إصلاح عناصر التحكم في تطبيق الذكاء الاصطناعي وتطويرها DLP [data loss prevention] سياسات لدمج عناصر تدريب المستخدمين في الوقت الحقيقي. “
ربما تكون الطريقة الأكثر شعبية لاستخدام Genai محليًا هي نشر واجهة نموذج لغة كبيرة (LLM) ، والتي تتيح التفاعل مع نماذج مختلفة من نفس “واجهة المتجر”.
Ollama هو الأكثر شعبية في هذه الأطر من خلال بعض الهامش. ومع ذلك ، على عكس خيارات SaaS الأكثر استخدامًا على نطاق واسع ، فإنه لا يتضمن مصادقة في ثناياه عوامل ، مما يعني أنه يجب على المستخدمين الخروج من طريقهم لنشره خلف وكيل عكسي أو حل وصول خاص يتم تأمينه بشكل مناسب مع مصادقة ملائمة للأغراض. هذا ليس من السهل طلب المستخدم العادي.
يشبه Agency Shadow AI الشخص الذي يأتي إلى مكتبك كل يوم ، ويتعامل مع البيانات ، واتخاذ الإجراءات على الأنظمة ، وكل ذلك على الرغم من عدم فحص الخلفية أو مراقبة الأمان في المكان
تقرير Netskope
علاوة على ذلك ، على الرغم من أن Openai و Bedrock ، فإن Vertex et al يوفرون الدرابزين ضد إساءة استخدام النماذج ، يجب على مستخدمي Ollama اتخاذ خطوات أنفسهم لمنع إساءة الاستخدام.
قال Netskope ذلك أثناء جيناي لديه بعض الفوائد -على سبيل المثال ، يمكن أن تساعد المؤسسات على الاستثمار في الاستثمار الموجود مسبقًا في موارد GPU ، أو مساعدتهم على بناء أدوات تتفاعل بشكل أفضل مع أنظمةها المحلية الأخرى ومجموعات البيانات-قد تفوقها هذه الطريقة التي لا يحدث بها في استخدامها مع منظمات SAAS.
يتتبع محللو Netskope الآن حوالي 1550 تطبيقات Genai SaaS متميزة ، والتي يمكن لعملائها تحديدها بسهولة من خلال تشغيل عمليات البحث المركزة للتطبيقات غير الموافق عليها وتسجيلات تسجيل الدخول الشخصية ضمن منصتها للنشاط المصنفة على أنها “AI توليدية”. هناك طريقة أخرى لتتبع الاستخدام وهي مراقبة من الذي يصل إلى أسواق الذكاء الاصطناعي مثل معانقة الوجه.
إلى جانب تحديد استخدام هذه الأدوات ، قادة تكنولوجيا المعلومات وأمن يجب أن تفكر في صياغة وإنفاذ السياسات التي تقيد وصول الموظفين إلى الخدمات المعتمدة ، وحظر تلك غير المعتمدة ، وتنفيذ DLP لحساب مشاركة البيانات في أدوات Genai ، واعتماد تدريب المستخدم في الوقت الفعلي لدفع المستخدمين على الأدوات المعتمدة والممارسة المعقولة.
اعتماد مراقبة مستمرة لاستخدام Genai وإجراء جرد للبنية التحتية Genai المحلية ضد الأطر التي توفرها أمثال نيستو owasp و ميتري كما هو مستحسن.
حذر مؤلفو التقرير: “يشبه Agency Shadow AI الشخص الذي يأتي إلى مكتبك كل يوم ، ويتعامل مع البيانات ، واتخاذ الإجراءات على الأنظمة ، وكل ذلك على الرغم من عدم فحص الخلفية أو مراقبة الأمن في مكانه”.
