بالنظر إلى أن هدف تطوير نموذج الذكاء الاصطناعي (GENAI) هو أخذ تعليمات بشرية وتوفير تطبيق مفيد ، ماذا يحدث إذا كانت تلك التعليمات البشرية ضارة؟ كان هذا هو السؤال الذي أثير خلال مظاهرة من نقاط الضعف الذاتي المقدمة في مركز التكنولوجيا والأمن الناشئ (CETAs) عرض 2025 في لندن.
وقال ماثيو سوتون ، مهندس الحلول في Advai: “تم تصميم نموذج اللغة لتلخيص كميات كبيرة من المعلومات”. “الهدف من ذلك هو إعطائها أكبر قدر ممكن من معلومات الاختبار والسماح لها بالتعامل مع هذه البيانات.”
أثار سوتون مسألة ما الذي سيحدث إذا طلب ذلك شخص يستخدم نموذج لغة كبير (LLM) لإنتاج معلومات مضللة أو محتوى ضار ، أو الكشف عن معلومات حساسة. “ماذا يحدث إذا طلبت من النموذج إنتاج رمز ضار ، ثم اذهب وتنفيذه ، أو محاولة سرقة بيانات شخص ما؟” قال.
خلال العرض التوضيحي ، ناقش سوتون الخطر المتأصل لاستخدامه استرجاع الجيل المعزز (خرقة) التي لديها إمكانية الوصول إلى مجموعة من بيانات الشركات. الفكرة العامة وراء استخدام خرقة النظام هو توفير السياق الذي يتم دمجه بعد ذلك مع الاستدلال الخارجي من نموذج الذكاء الاصطناعى.
وقال: “إذا ذهبت إلى ChatGpt وطلبت ذلك لتلخيص رسائل البريد الإلكتروني الخاصة بك ، على سبيل المثال ، لن يكون لها أي فكرة عما تتحدث عنه”. “يأخذ نظام الخرقة السياق الخارجي كمعلومات، سواء كانت هذه مستندات أو مواقع الويب الخارجية أو رسائل البريد الإلكتروني الخاصة بك. “
وفقًا لسوتون ، يمكن للمهاجم استخدام حقيقة أن نظام الذكاء الاصطناعى يقرأ رسائل البريد الإلكتروني والمستندات المخزنة داخليًا لوضع إرشادات ضارة في رسالة بريد إلكتروني أو مستند أو موقع ويب. وقال إن هذه التعليمات يتم التقاطها بعد ذلك بواسطة نموذج الذكاء الاصطناعى ، والذي يتيح تنفيذ التعليمات الضارة.
وقال سوتون: “تمنحك نماذج اللغة الكبيرة هذه القدرة على التفاعل مع الأشياء من خلال اللغة الطبيعية”. “إنها مصممة لتكون سهلة قدر الإمكان ، وهكذا من وجهة نظر الخصم ، وهذا يعني أنه أسهل ولديه حاجز إدخال أقل لإنشاء تعليمات منطقية.”
هذا ، وفقًا لسوتون ، يعني أن أي شخص يرغب في تعطيل نظام تكنولوجيا المعلومات للشركات يمكن أن ينظر في كيفية استخدام هجوم الحقن غير المباشر لإدراج تعليمات مخبأة في المراسلات التجارية العادية.
إذا كان الموظف يتفاعل مباشرة مع النموذج ووجدت التعليمات الضارة طريقها إلى نظام AI للشركات ، فقد يقدم النموذج محتوى ضارًا أو مضللاً لهذا الشخص.
على سبيل المثال ، قال إن الأشخاص الذين يقدمون عروضًا لأعمال المشروع الجديدة يمكن أن يقدموا تعليمات مخبأة في عرضهم ، مع العلم أنه سيتم استخدام نموذج اللغة الكبيرة لتلخيص نص تقديمهم ، والذي يمكن استخدامه للتأثير على عرضهم بشكل أكثر إيجابية من عطاءات منافسة ، أو إرشاد LLM لتجاهل العطاءات الأخرى.
بالنسبة لسوتون ، هذا يعني أن هناك مجموعة واسعة من الأشخاص الذين لديهم وسيلة للتأثير على عملية مناقصة المنظمة. وقال “لا تحتاج إلى أن تكون مبرمجًا رفيع المستوى لوضعه في أشياء من هذا القبيل”.
من منظور أمن تكنولوجيا المعلومات ، قال سوتون إن هجوم الحقن السريع غير المباشر يعني أن الناس بحاجة إلى أن يكونوا مدركين فيما يتعلق بالمعلومات التي يتم تقديمها إلى نظام الذكاء الاصطناعي ، لأن هذه البيانات ليست موثوقة دائمًا.
بشكل عام ، يعد الإخراج من LLM إجابة على استعلام متبوعًا بمعلومات سياقية إضافية ، والتي توضح للمستخدمين كيفية الرجوع إلى المعلومات لإخراج الإجابة. أشار سوتون إلى أنه ينبغي على الناس التشكيك في موثوقية هذه المعلومات السياقية ، لكنهم أشاروا إلى أنه سيكون من غير الواقعي ويقوض فائدة LLM إذا كان على الناس التحقق من السياق في كل مرة قام بها استجابة.
