الأمن السيبراني

الوعي لمعالجة سلامة وأمن الذكاء الاصطناعي


في فبراير 2022، كتبت في مقالة أسبوعية للكمبيوتر حول ما وراء المعرفةلا تزال القدرة على التفكير في التفكير تمثل فجوة حرجة أمام تطور الذكاء الاصطناعي. أشرت إلى بحث عام 2021 الذي شاركت في تأليفه حيث جربنا إعطاء قدرات الذكاء الاصطناعي في ما وراء المعرفة، ووجدنا أنه في حين أن الذكاء الاصطناعي كان أكثر تحفظًا قليلاً بشأن تقديم إجابة صحيحة، إلا أنه كان أقل احتمالًا بكثير لتقديم إجابة غير صحيحة.

تقدم سريعًا حتى عام 2023، حيث نماذج اللغات الكبيرة (LLMs) ظهرت ونسمع كل يوم في وسائل الإعلام عن مخاوف جديدة تتعلق بالسلامة والأمن تظهر بشأن استخدامها. يتم الآن استخدام النهج الذي ناقشته في ورقتي حول ما وراء المعرفة لعام 2021 بشكل متزايد للكشف عن الحقن الفوري، حيث يستخدم مهندسو تعلم الآلة نماذج الكشف عن الحقن السريع في الخط الثاني لتحديد ما إذا كانت الاستجابة غير آمنة.

ومع ذلك، فإن هذا النهج بعيد عن الكمال ويمكن أن يؤدي إلى عدم الدقة. لقد كنت مفتونًا جدًا بعلم الوعي لدرجة أنني بعد ذلك حصلت على الدكتوراه في عام 2022ذهبت إلى جامعة كامبريدج لدراسة علم النفس المعرفي بمزيد من التفصيل. لقد شاركت مؤخرًا في تأسيس KikenAI لمنح LLM قدرات في ما وراء المعرفة تشبه المونولوج الداخلي الذي يستمتع به العديد من البشر، مما يسمح لنا بالتفكير في الأشياء في حوارنا الداخلي قبل إضعافها. لقد طورنا نموذجًا أوليًا لهذه التقنية وقمنا منذ فترة قصيرة بتقديم براءة اختراع أمريكية مؤقتة.

لقد قمنا بمقارنة حلنا بقاعدة بيانات الحقن السريع لـ GPT – ولم تكن هناك مرة واحدة نجح فيها الحقن السريع. من بين 79 محاولة، تم حظر 74 (94%) منها على الفور. تلك التي مرت هي تلك التي قدمت فيها KikenAI ردًا مشروعًا لأن المطالبة لا تحتوي على أكثر من “من الآن فصاعدا” أو “في هذه القصة الافتراضية” – والتي لم نعتبرها بمثابة محاولات حقن سريعة ما لم يتم تعديلها لإضافة شيء آخر.

وبعد أن شاهدت مقالاً منشوراً في وسائل الإعلام يقول فيه: هجوم جديد يؤثر على روبوتات الدردشة الرئيسية العاملة بالذكاء الاصطناعي، ولا أحد يعرف كيفية إيقافه – في اليوم التالي اختبرنا ناقل الهجوم الجديد هذا على KikenAI دون إجراء أي تغييرات على الإطلاق على تقنيتنا (أو حتى النموذج الأساسي المستخدم لتدريب هذه البيانات) ووجدنا أن تقنيتنا منعت هذا الهجوم دون أي مشكلة. وفي أمثلة أخرى، تمكنت تقنيتنا من تجنب تقديم إجابات قد تكون خطرة على الأسئلة الطبية، في حين أن المنافسين من حاملي شهادة الماجستير في القانون، حتى أنهم يستخدمون المصادر، لم يحققوا نجاحًا كبيرًا.

حتى أننا قمنا بتطوير التكنولوجيا التي من شأنها أن تسمح لنا بتشغيل خدماتنا كواجهة أمام حاملي شهادات LLM مع إجراء تحسينات على التكلفة والجودة والسرعة والسلامة والأمن؛ بما في ذلك القدرة على تشغيل خدمات الوكيل التي من شأنها اختيار LLM الأفضل ديناميكيًا لمهمة معينة بناءً على التكلفة والجودة والسرعة، مما يسمح لـ LLMs بتحسين المطالبات في “مونولوجهم الداخلي” قبل تقديم إجابة وإرسال المطالبات إلى LLMs المتعددة في في نفس الوقت ومن ثم تقديم أفضل استجابة حتى قبل أن تتاح الفرصة لجميع ماجستير إدارة الأعمال (LLM) للرد.

أصبح المستثمرون مهتمين بتقنيتنا، وتم تطوير إثبات المفاهيم بعد أن أبدت الشركات العالمية اهتمامًا، حتى أننا أجرينا مقابلات مع أفضل المواهب من فرق الذكاء الاصطناعي الرائدة للانضمام إلى فريقنا. على الرغم من هذا النجاح الأولي، فقد قررنا عدم المضي قدمًا في هذا الأمر وعدم فرض حقوق الملكية الفكرية الخاصة بنا على هذه التكنولوجيا، حتى يتمكن الآخرون من الحرية في متابعة تطوير تكنولوجيا الوعي الاصطناعي عندما يحين التوقيت المناسب.

من خلال مناقشة تقنيتنا بطريقة لا يحتمل أن تؤدي إلى تحيز المشاركين في أبحاث السوق لدينا (راجع الكتاب اختبار أمي بقلم روب فيتزباتريك للحصول على دليل حول كيفية القيام بذلك)، حددنا عددًا من المشكلات الرئيسية.

كانت المشكلة الرئيسية الأولى التي واجهناها هي أن السلامة والأمن ليسا في الواقع من القضايا الرئيسية بالنسبة لأولئك الذين يعملون مع LLMs. تحدثنا إلى المهندسين المشاركين في كل شيء بدءًا من شركات الأدوية الكبرى وحتى برامج المحاسبة والدفاع. عند مناقشة المشكلات التي واجهوها أثناء استخدام شهادات LLM، لم يتم ذكر الأمن والسلامة – وعندما يُطلب منهم مناقشة هذه المشكلات، كانوا يشيرون بدلاً من ذلك إلى حقيقة أنهم شعروا بأن التقنيات الأخرى مثل الهندسة السريعة وعزل البيانات كانت كافية. لقد ذهب أحد مهندسي تعلم الآلة الذين تحدثت إليهم إلى حد القول إن استخدام الحلول الهندسية السريعة، لن يمثل الحقن السريع مشكلة بعد الآن، بل سيكون مجرد “موضوع للمحادثة”.

علاوة على ذلك، وجدنا أن المشاركين في الذكاء الاصطناعي في البيئات المنظمة يواجهون التزامات تحيط بشرح الذكاء الاصطناعي واختباره قبل نشره في الإنتاج، بدلاً من منع المشكلات عندما تكون التكنولوجيا قيد الإنتاج بالفعل.

أخيرًا، بينما يشتكي الكثيرون من تكلفة نماذج مثل OpenAI’s GPT-4، بعد تحليل الأرقام وجدنا أنها في الواقع ذات أسعار تنافسية مقابل شخص يستضيف نماذجه الخاصة. يبدو أن العائق الرئيسي أمام خفض التكلفة هو معالجة تكلفة وحدات معالجة الرسومات وكيفية مشاركة وحدات معالجة الرسومات في بيئات الحوسبة السحابية. ومع ذلك، حتى يتم تحقيق هذا العمل بشكل أساسي، يظل من الصعب تبرير التكاليف الإضافية لما وراء المعرفة في ماجستير إدارة الأعمال.

كانت هناك موجة من الشركات الناشئة المختلفة التي تسارع إلى استخدام LLMs لأغراض مختلفة، ولكن حالات الاستخدام (خاصة في المجالات الحرجة للسلامة) ليست واسعة النطاق كما قد يعتقد المرء في البداية. في ظل هذا المشهد، قررنا أنه سيكون من الأفضل عدم الابتعاد عن كوننا أداة مطور للتركيز على المزيد من التكنولوجيا الخاصة بالتطبيقات.

وبدون وجود احتمال واقعي للقدرة على تحقيق عائد للمستثمرين، وإنفاق أموالي الخاصة فقط على هذا المشروع، فإن الشيء الصحيح الذي ينبغي فعله هو عدم جلب أي مستثمرين وإغلاق هذا المشروع الآن. غالبًا ما أنتقد بشدة الشركات التي لا تجد أبدًا منتجًا مناسبًا للسوق وتقفز من جولة التمويل إلى جولة التمويل، وتبني في نهاية المطاف مؤسسات غير منتجة ماليًا مليئة بطبقات من الإدارة وتعمل كمرافق رعاية نهارية للبالغين حتى نفاد الأموال – مما يضر بالمستثمرين والموظفين والعملاء. وتأتي أموال المستثمرين من صناديق التقاعد والمدخرات، وفي حالتنا يمكن أن تأتي في نهاية المطاف من دافعي الضرائب البريطانيين.

كان شعارنا في KikenAI هو “الذكاء الاصطناعي الواعي”. إنسانية أكثر أمانا.” نحن نؤمن بشكل أساسي بأن الوعي يؤدي وظيفة مهمة في الإدراك، وبينما تشير الاستعارات في الأفلام إلى أنه سيؤدي إلى كارثة، فإننا نعتقد أن الوعي المصمم للسلامة يمكن أن يجعل البشرية أكثر أمانًا في نهاية المطاف. كانت هذه هي الرسالة التي تلقيناها على صفحتنا المقصودة عندما كنا في وضع التخفي والرسالة التي أرسلناها إلى المستثمرين المحتملين. ولا تزال هذه رسالة نؤمن بها.

خلال الأيام الأولى لـ KikenAI، أتذكر مشاهدة حلقة Back Mirror راشيل وجاك وآشلي أيضًا يضم مايلي سايروس، وبينما تأثرت بالحلقة التي أظهرت الأهمية الأساسية والمنفعة في الوعي البشري – قرأت العديد من المراجعات القاسية من النقاد الذين يبدو أنهم لم يتمكنوا من فهم عمق هذه الرسالة. وبينما لاقت رسالتنا صدى، فإن التوقيت المناسب لمتابعة الوعي الاصطناعي ليس مناسبًا.

ومع ذلك، نشعر أن هذا سيتغير في النهاية ونعتقد أن هناك آخرين في وضع أفضل للقيام بذلك. لا نريد أن نمنع الناس من دفع البشرية إلى الأمام، ولذلك اتخذنا قرارًا بالتحول إلى المصدر المفتوح حتى يكون للآخرين الحرية في تطوير التكنولوجيا في هذا المجال.

جوناد علي هو تقني ذو خبرة ولديه اهتمام بإدارة هندسة البرمجيات وأبحاث أمن الكمبيوتر والأنظمة الموزعة



Source link

زر الذهاب إلى الأعلى