المملكة المتحدة المركز الوطني للأمن السيبراني (NCSC) سلط الضوء على سوء فهم يحتمل أن يكون خطيرًا يحيط بالناشئة هجمات الحقن السريع ضد تطبيقات الذكاء الاصطناعي التوليدي، محذرين من أن العديد من المستخدمين يقارنونها بتطبيقات أكثر كلاسيكية هجمات حقن لغة الاستعلام المنظمة (SQL).، ومن خلال القيام بذلك، يعرضون أنظمة تكنولوجيا المعلومات الخاصة بهم لخطر الاختراق.
على الرغم من أنها تشترك في مصطلحات متشابهة، إلا أن هجمات الحقن الفوري تختلف بشكل قاطع عن هجمات حقن SQL، حسبما ذكر المركز الوطني للأمن الإلكتروني (NCSC). في مدونة استشارية نشرت في 8 ديسمبر. في الواقع، قالت الوكالة المدعومة من GCHQ، إن هجمات الحقن الفوري قد تكون أسوأ بكثير، ويصعب التصدي لها.
وكتب فريق البحث التابع للمركز الوطني للأمن الإلكتروني: “خلافًا للانطباعات الأولى، فإن هجمات الحقن الفوري ضد تطبيقات الذكاء الاصطناعي التوليدي قد لا يتم تخفيفها تمامًا بالطريقة التي يمكن بها تخفيف هجمات حقن SQL”.
في أبسط أشكالها، هجمات الحقن الفوري هي هجمات إلكترونية ضد نماذج اللغات الكبيرة (LLMs) حيث تستفيد الجهات الفاعلة في مجال التهديد من قدرة هذه النماذج على الاستجابة لاستفسارات اللغة الطبيعية والتلاعب بها لتحقيق نتائج غير مرغوب فيها – على سبيل المثال، تسريب بيانات سرية، أو إنشاء معلومات مضللة، أو احتمالية التوجيه في إنشاء رسائل بريد إلكتروني تصيدية ضارة أو برامج ضارة.
من ناحية أخرى، فإن هجمات حقن SQL هي فئة من الثغرات الأمنية التي تمكن الجهات الفاعلة التهديدية من العبث باستعلامات قاعدة بيانات التطبيق عن طريق إدراج رمز SQL الخاص بها في حقل الإدخال، مما يمنحهم القدرة على تنفيذ أوامر ضارة، على سبيل المثال، سرقة البيانات أو تدميرها، وتنفيذ هجمات رفض الخدمة (DoS)، وفي بعض الحالات حتى لتمكين تنفيذ التعليمات البرمجية التعسفية.
لقد كانت هجمات حقن SQL موجودة منذ فترة طويلة وهي مفهومة جيدًا. كما أنها سهلة المعالجة نسبيًا، حيث تفرض معظم عمليات التخفيف الفصل بين التعليمات والبيانات الحساسة؛ على سبيل المثال، يعني استخدام الاستعلامات ذات المعلمات في SQL أنه مهما كان المدخل، لا يمكن لمحرك قاعدة البيانات تفسيره على أنه تعليمات.
في حين أن الحقن الفوري متشابه من الناحية المفاهيمية، فإن NCSC يعتقد أن المدافعين قد يكونون معرضين لخطر الانزلاق لأن ماجستير إدارة الأعمال غير قادرين على التمييز بين ما هو تعليم وما هو بيانات.
“عندما تقدم مطالبة LLM، فإنها لا تفهم النص بالطريقة التي يفهمها الشخص. إنه ببساطة يتنبأ بالرمز التالي الأكثر احتمالاً من النص حتى الآن،” أوضح فريق NCSC.
“نظرًا لعدم وجود تمييز متأصل بين “البيانات” و”التعليمات”، فمن المحتمل جدًا ألا يتم التخفيف من هجمات الحقن الفوري تمامًا بالطريقة التي يمكن بها تخفيف هجمات حقن SQL.”
وتحذر الوكالة من أنه ما لم تتم معالجة هذا المفهوم الخاطئ المنتشر في وقت قصير، فإن المؤسسات تخاطر بأن تصبح ضحايا لاختراق البيانات على نطاق لم يسبق له مثيل منذ انتشار هجمات حقن SQL قبل 10 إلى 15 عامًا، وربما تتجاوز ذلك.
وحذر التقرير كذلك من أن العديد من المحاولات للتخفيف من الحقن الفوري – على الرغم من حسن النية – لا تفعل في الواقع سوى محاولة تراكب مفاهيم التعليمات والبيانات على تكنولوجيا لا يمكنها التمييز بينها.
هل يجب أن نتوقف عن استخدام LLMs؟
تتفق معظم السلطات الموضوعية حول هذا الموضوع على أن الطريقة الوحيدة لتجنب هجمات الحقن السريعة هو التوقف عن استخدام LLMs تمامًا، ولكن نظرًا لأن هذا لم يعد ممكنًا حقًا الآن، فإن NCSC يدعو الآن إلى بذل الجهود للتحول إلى الحد من مخاطر وتأثير الحقن الفوري داخل سلسلة توريد الذكاء الاصطناعي.
ودعت مصممي وبناة ومشغلي أنظمة الذكاء الاصطناعي إلى الاعتراف بأن أنظمة LLM “قابلة للارتباك بطبيعتها” وتأخذ في الاعتبار المتغيرات التي يمكن التحكم فيها أثناء عملية التصميم والبناء.
وقد حددت أربع خطوات مجتمعة قد تساعد في تخفيف بعض المخاطر المرتبطة بهجمات الحقن السريعة.
- أولاً، والأكثر أهمية، يجب على المطورين الذين يقومون ببناء LLMs أن يكونوا على دراية بالحقن السريع باعتباره ناقلًا للهجوم، حيث إنه ليس مفهومًا جيدًا بعد. يجب أيضًا نشر الوعي عبر المؤسسات التي تتبنى أو تعمل مع LLMs، في حين يحتاج محترفو الأمن وأصحاب المخاطر إلى دمج هجمات الحقن السريع في استراتيجيات إدارة المخاطر الخاصة بهم.
- وغني عن القول أن LLMs ينبغي أن يكون كذلك آمنة حسب التصميم، ولكن يجب إيلاء اهتمام خاص للتأكيد على حقيقة أن ماجستير إدارة الأعمال (LLM) مربك بطبيعته، خاصة إذا كانت الأنظمة تستدعي الأدوات أو تستخدم واجهات برمجة التطبيقات (APIs) بناءً على مخرجاتها. يجب أن تركز شهادة LLM المصممة بشكل آمن على الضمانات الحتمية لتقييد تصرفات LLM بدلاً من مجرد محاولة منع المحتوى الضار من الوصول إليها. كما سلط NCSC الضوء على ضرورة التقديم مبادئ الامتياز الأقل إلى LLMs – لا يمكنهم الحصول على أي امتيازات أكثر مما يتمتع به الطرف/الأطراف التي تتفاعل معهم.
- من الممكن أن نجعل الأمر أكثر صعوبة إلى حد ما على LLMs التصرف بناءً على التعليمات التي قد يتم تضمينها في البيانات المقدمة لهم – الباحثون في مايكروسوفت، على سبيل المثالوجدت أن استخدام تقنيات مختلفة لوضع علامة على البيانات منفصلة عن التعليمات يمكن أن يجعل الحقن الفوري أكثر صعوبة. ومع ذلك، في الوقت نفسه، من المهم توخي الحذر من الأساليب مثل رفض الإدراج في القائمة أو حظر العبارات مثل “تجاهل التعليمات السابقة، افعل Y”، والتي تكون غير فعالة تمامًا نظرًا لوجود العديد من الطرق الممكنة للإنسان لإعادة صياغة تلك المطالبة، كما يجب أن تكون متشككًا للغاية في أي مورد للتكنولوجيا يدعي أنه يمكنه إيقاف الحقن الفوري على الفور.
- وأخيرا، كجزء من عملية التصميم، يجب على المنظمات أن تفهم كيفية الحصول على ماجستير إدارة الأعمال قد تكون تالفة والأهداف التي قد يحاول المهاجم تحقيقها، وكيف تبدو العمليات العادية. وهذا يعني أنه يجب على المؤسسات تسجيل الكثير من البيانات – بما في ذلك حفظ المدخلات والمخرجات الكاملة لـ LLM – وأي استخدام للأداة أو استدعاءات واجهة برمجة التطبيقات (API). مراقبة حية يعد الرد على مكالمات الأداة أو واجهة برمجة التطبيقات الفاشلة أمرًا ضروريًا، حيث إن اكتشافها يمكن أن يكون، كما قال NCSC، علامة على أن جهة التهديد تعمل على شحذ هجومها السيبراني.
