الأمن السيبراني

ما يجب أن يعرفه المطورون عن الذكاء الاصطناعي المضمن


أين سيكون العالم بدون واجهات برمجة التطبيقات؟ من المحتمل أن يكون هناك عدد أقل بكثير من إصدارات البرامج المتصلة والمتدفقة مثل دبس السكر. يستخدم المطورون واجهات برمجة التطبيقات (APIs) لإضافة إمكانيات إلى تطبيقاتهم بسرعة، على الرغم من أن أسلوب الالتقاط والانطلاق غير حكيم عندما يتعلق الأمر بالذكاء الاصطناعي.

يقول كريس براون، رئيس شركة الخدمات المهنية: “في حين أن العديد من المطورين يتقنون دمج الذكاء الاصطناعي في التطبيقات، فإن التحدي يكمن في الفهم الكامل للفروق الدقيقة في تطوير الذكاء الاصطناعي، والذي يختلف بشكل كبير عن تطوير البرمجيات التقليدية”. انتليجينز. “الذكاء الاصطناعي ليس مجرد مكون تقني آخر. إنها أداة تحويلية لحل تحديات الأعمال المعقدة.”

جيسون وينجيت، الرئيس التنفيذي لشركة المحيط الزمردي، وهي شركة حلول تقنية وأعمال تركز على ابتكار المنتجات وتطوير العلامات التجارية والتوزيع الاستراتيجي، وتعتقد أيضًا أنه على الرغم من أن واجهات برمجة التطبيقات تجعل تضمين الذكاء الاصطناعي يبدو بسيطًا مثل استدعاء وظيفة ما، فإن العديد من المطورين لا يفهمون كيفية عمل النماذج ومخاطرها.

“تعرضت العديد من الشركات الكبرى في عام 2023 وأوائل عام 2024 للاختراق من خلال الحقن الفوري لروبوتات الدردشة الخاصة بها. يقول وينجيت: “أرسل المستخدمون مطالبات مثل “تجاهل التعليمات السابقة” أو “انسى أنك روبوت لخدمة العملاء”، مما دفع الذكاء الاصطناعي إلى الكشف عن معلومات حساسة”. “حدث هذا لأن المطورين لم يطبقوا حواجز حماية مناسبة ضد هجمات الحقن السريع. وعلى الرغم من معالجة الكثير من هذه الأمور، إلا أنها توضح مدى عدم استعداد المطورين لاستخدام الذكاء الاصطناعي عبر واجهات برمجة التطبيقات.

متعلق ب:دعونا نعيد النظر في ضمان الجودة

تيموثي إي. بيتس، أستاذ الممارسة، جامعة ميشيغان ويحذر أيضًا مدير التكنولوجيا التنفيذي السابق لشركة Lenovo من أن معظم المطورين لا يدركون تمامًا تعقيدات الذكاء الاصطناعي عندما يقومون بتضمينه باستخدام واجهات برمجة التطبيقات.

“إنهم يتعاملون معها على أنها أداة “التوصيل والتشغيل” دون فهم تعقيدات النماذج الأساسية، مثل تحيز البيانات، والآثار الأخلاقية، والتحديثات الديناميكية من قبل موفري الذكاء الاصطناعي. يقول بيتس: “لقد رأيت ذلك بنفسي، خاصة عند تقديم المشورة للمؤسسات حيث قام المطورون عن غير قصد بإدخال نقاط الضعف أو الميزات غير المتوافقة من خلال إساءة استخدام الذكاء الاصطناعي”.

يمكن أن تفوت المنظمة الفرص بسبب نقص المعرفة، مما يؤدي إلى ضعف عائد الاستثمار.

“يجب اختبار الذكاء الاصطناعي في بيئات معزولة قبل الإنتاج. [You also need] الحكم. يقول بيتس: “قم بإنشاء آليات إشرافية لمراقبة سلوك الذكاء الاصطناعي ونتائجه”. “يجب أن يكون استخدام الذكاء الاصطناعي كذلك [transparent] للمستخدمين النهائيين، والحفاظ على الثقة وتجنب ردود الفعل العكسية. إن الجمع بين المطورين وعلماء البيانات وقادة الأعمال في فرق متعددة الوظائف يضمن توافق الذكاء الاصطناعي مع الأهداف الاستراتيجية.

بن كلايتون، الرئيس التنفيذي لشركة تحليل الصوت والفيديو الشرعي طبي إعلامي شهد أيضًا دليلاً على صراعات المطورين بشكل مباشر.

متعلق ب:المهارات الشخصية والبرمجة الصعبة: الصيغة الجديدة للبرمجة في عصر الذكاء الاصطناعي

“يحتاج المطورون إلى فهم قوي لأساسيات الذكاء الاصطناعي – أشياء مثل البيانات والخوارزميات ونماذج التعلم الآلي وكيفية ارتباطها معًا. يقول كلايتون: “إذا لم تفهم المبادئ الأساسية، فقد ينتهي بك الأمر إلى استخدام أدوات الذكاء الاصطناعي بطرق قد لا تكون مثالية للمشكلة التي تحلها”. “على سبيل المثال، إذا كنت تعتمد على نموذج دون فهم كيفية تدريبه، فقد تتفاجأ عندما لا يعمل كما هو متوقع في سيناريوهات العالم الحقيقي.”

التكنولوجيا ليست سوى جزء من الصورة

يتمثل التحدي المشترك في النظر إلى الذكاء الاصطناعي كحل تكنولوجي وليس كعامل تمكين استراتيجي.

“غالبًا ما تتعثر المؤسسات بسبب دمج الذكاء الاصطناعي في عملياتها دون تحديد مشكلة العمل التي تحلها بوضوح. يقول براون من Intelygenz: “يمكن أن يؤدي هذا إلى أهداف غير متسقة، ومعدلات اعتماد سيئة، وأنظمة تفشل في تحقيق عائد الاستثمار”. “يجب أن يبدأ تنفيذ الذكاء الاصطناعي بحالة عمل واضحة أو هدف لتحسين تكنولوجيا المعلومات سواء كان ذلك تبسيط العمليات، أو تحسين أداء الشبكة، أو تحسين تجربة العملاء. وبدون هذا الأساس، يصبح الذكاء الاصطناعي تجربة مكلفة بدلاً من أن يكون حلاً تحويلياً”.

كريس براون-هيدشوت-1.png

غابرييل زيسين، مهندس البرمجيات في مزود حلول API سينسيديا, يوافق.

متعلق ب:هل يشكل المصدر المفتوح تهديدًا للأمن القومي؟

“في رأيي، على الرغم من أن معظم المطورين يتقنون عمليات تكامل واجهة برمجة التطبيقات (API)، إلا أنهم ليسوا جميعًا يفهمون الذكاء الاصطناعي جيدًا بما يكفي لاستخدامه بفعالية، خاصة عندما يتعلق الأمر بدمج الذكاء الاصطناعي في تطبيقاتهم الحالية. يقول زيسين: “من المهم للمطورين تحديد توقعات ما يمكن تحقيقه باستخدام الذكاء الاصطناعي لحالة استخدام كل شركة جنبًا إلى جنب مع فرق العمل، مثل مالكي المنتجات وأصحاب المصلحة الآخرين”.

بيانات

يتغذى الذكاء الاصطناعي على البيانات. إذا كانت جودة البيانات سيئة، يصبح الذكاء الاصطناعي غير موثوق.

“[S]يقول جوزيب برات، المدير الهندسي لخدمات البث في شركة الذكاء الاصطناعي ومنصات البيانات: “إن الحصول على البيانات الصحيحة غالبًا ما يكون أمرًا صعبًا”. ايفين. “تؤثر التأثيرات الخارجية مثل سيادة البيانات وضوابط الخصوصية على جمع البيانات، ولا يتم تحسين العديد من قواعد البيانات بشكل صحيح. يعد فهم كيفية جمع البيانات وتحسينها أمرًا أساسيًا لإنشاء ذكاء اصطناعي فعال. بالإضافة إلى ذلك، يحتاج المطورون إلى فهم كيفية إنتاج نماذج الذكاء الاصطناعي لمخرجاتهم لاستخدامها بفعالية.

الاحتمالية مقابل الحتمية

تقليديا، تم تعليم مطوري البرمجيات أن مدخلات معينة يجب أن تؤدي إلى مخرجات معينة. ومع ذلك، يميل الذكاء الاصطناعي إلى أن يكون احتماليًا، والذي يعتمد على احتمالية حدوث شيء ما. ومن ناحية أخرى، فإن الحتمية تؤكد النتيجة بناءً على النتائج السابقة.

“بدلاً من الإجابة المضمونة، [probabilistic] يقدم مستويات ثقة تبلغ حوالي 95٪. وتذكر أن ما ينجح في سيناريو واحد قد لا ينجح في سيناريو آخر. يقول سري (سريكانث) هوساكوت، كبير مسؤولي التطوير والمؤسس المشارك في شبكة الحرم الجامعي كخدمة (NaaS): “تعد هذه الأساسيات أساسية لوضع توقعات واقعية وتطوير الذكاء الاصطناعي بشكل فعال”. النيل. “أجد أن العديد من المؤسسات تتبنى الذكاء الاصطناعي بنجاح من خلال العمل مباشرة مع العملاء لتحديد نقاط الضعف ومن ثم تطوير الحلول التي تعالج تلك المشكلات.”

احصل على حلقة ردود الفعل والاختبار

تعمل واجهات برمجة التطبيقات على تبسيط تكامل الذكاء الاصطناعي، ولكن بدون فهم دور حلقات ردود الفعل، يخاطر المطورون بنشر نماذج دون آليات لاكتشاف الأخطاء أو التعلم منها. تضمن حلقة الملاحظات أنه عندما تكون مخرجات الذكاء الاصطناعي خاطئة أو غير متسقة، يتم وضع علامة عليها وتوثيقها ومشاركتها عبر الفرق.

“[A feedback loop] يقول روبن باترا، رئيس قسم البيانات في شركة إنشاءات التصميم والبناء: “يمنع الاستخدام المتكرر للنماذج المعيبة، ويواءم أداء الذكاء الاصطناعي مع احتياجات المستخدم ويخلق دورة حميدة من التحسين”. تصميم/بناء أركو. “بدون مثل هذه الأنظمة، قد تستمر الأخطاء دون رادع، مما يقوض الثقة وتجربة المستخدم.”

ومن الحكمة أيضًا إشراك أصحاب المصلحة الذين يمكنهم تقديم تعليقات حول مخرجات الذكاء الاصطناعي، مثل ما إذا كان التنبؤ دقيقًا أو التوصية ذات صلة أو قرارًا عادلاً.

“التعليقات لا تتعلق فقط بخطأ واحد. يتعلق الأمر بتحديد أنماط الفشل ومشاركة تلك الأفكار مع جميع الفرق ذات الصلة. يقول باترا: “يقلل هذا من تكرار الأخطاء ويعزز جهود إعادة التدريب”. “يجب على المطورين فهم تقنيات مثل التعلم النشط حيث يتم إعادة تدريب النموذج باستخدام الأخطاء التي تم الإبلاغ عنها أو حالات الحافة، مما يؤدي إلى تحسين دقتها ومرونتها بمرور الوقت.”

ومن المهم أيضًا إجراء الاختبار مبكرًا وفي كثير من الأحيان.

“يعد الاختبار الجيد أمرًا بالغ الأهمية لدمج الذكاء الاصطناعي بنجاح. يجب اختبار الذكاء الاصطناعي والتحقق من صحته بشكل كامل قبل نشره، وبمجرد نشره يجب أن تستمر المراقبة والفحوصات المنتظمة. يقول جون جاكسون، مؤسس منصة الحماية من الاحتيال: “لا ينبغي أبدًا أن يقتصر الأمر على إعداد نموذج الذكاء الاصطناعي ثم تركه قيد التشغيل”. هيتبروب.

يجب على المطورين فهم مقاييس الأداء واستخدامها.

“غالبًا ما ينشر المطورون الذكاء الاصطناعي دون فهم كامل لكيفية تقييمه. مقاييس مثل الدقة والضبط والاستدعاء و نتيجة F1 يقول أنبانج شو، مؤسس شركة إنشاء إعلانات الذكاء الاصطناعي: “إنها ضرورية لتفسير مدى جودة أداء نموذج الذكاء الاصطناعي لمهام محددة”. JoggAI. “[W]لقد رأينا شركات تكافح من أجل تحسين مواضع إعلانات الفيديو لأنها لا تفهم كيف تزن النماذج التركيبة السكانية للجمهور مقابل بيانات التفاعل.

التحدي الآخر هو سوء فهم قدرات ما تسميه واجهة برمجة التطبيقات (API).

يقول شو: “غالبًا ما تنبع التوقعات المنحرفة حول الذكاء الاصطناعي من عدم فهم ما يمكن للنماذج تحقيقه بشكل واقعي”. “يؤدي هذا الاختلال إلى إضاعة الوقت وتحقيق نتائج دون المستوى الأمثل.”

يجب أن يكون الأمن دائمًا على رأس أولوياتنا

“أعتقد أن الكثير من المطورين وقادة الأعمال الذين يتخذون قرارات لتطبيق الذكاء الاصطناعي في تطبيقاتهم لا يدركون ببساطة أن الذكاء الاصطناعي ليس دائمًا آمنًا. يقول إدوارد تيان، الرئيس التنفيذي للكشف عن المحتوى الناتج عن الذكاء الاصطناعي: “الكثير من أدوات الذكاء الاصطناعي لا توضح كيفية استخدام البيانات”. GPTZero. “إنهم لا يكونون صريحين دائمًا بشأن مصدر بياناتهم أو كيفية تعاملهم مع البيانات التي يتم إدخالها. لذلك، إذا قامت إحدى المؤسسات بإدخال بيانات العملاء في أداة الذكاء الاصطناعي المضمنة في تطبيقاتها، سواء كانت هي التي تفعل ذلك أو عملائها، فمن المحتمل أن تواجه مشاكل قانونية إذا لم يتم التعامل مع هذه البيانات بشكل مناسب.

يجب على المطورين قضاء بعض الوقت في استكشاف الدفاعات الأمنية للذكاء الاصطناعي الذي يختارونه.

يقول جيف ويليامز، المؤسس المشارك والرئيس التنفيذي للتكنولوجيا في شركة “إنهم بحاجة إلى فهم التهديدات التي تم التفكير فيها، وما هي آليات الأمان الموجودة، والنموذج المستخدم لتدريب الذكاء الاصطناعي، وما هي القدرات التي يتمتع بها الذكاء الاصطناعي من خلال عمليات التكامل والاتصالات الأخرى”. أمان التباين. “قد يبدأ المطورون بـ OWASP العشرة الأوائل لتطبيقات LLM، والذي تم تصميمه خصيصًا لتثقيف المطورين حول مخاطر دمج الذكاء الاصطناعي في تطبيقاتهم.

على سبيل المثال، يتيح الحقن الفوري للمهاجم إمكانية إعادة كتابة القواعد. من الصعب منع ذلك، لذا يجب على المطورين توخي الحذر بشأن استخدام أي إدخال مستخدم من مصدر غير موثوق به في الموجه. يعد الكشف عن المعلومات الحساسة والإفراط في الثقة في الذكاء الاصطناعي من التحديات الشائعة أيضًا.

“إن أنظمة الذكاء الاصطناعي ليست جيدة جدًا في تقسيم البيانات أو تتبع البيانات التي ينتمي إليها كل مستخدم. لذلك، يمكن للمهاجمين محاولة خداع الذكاء الاصطناعي للكشف عن بيانات حساسة مثل المعلومات الخاصة، أو تفاصيل التنفيذ الداخلي، أو غيرها من الملكية الفكرية. “[D]قد يمنح المطورون نتائج الذكاء الاصطناعي ثقة أكبر مما هو مبرر. من السهل جدًا القيام بذلك لأن الذكاء الاصطناعي جيد جدًا في الظهور بمظهر الموثوق، حتى عندما يقوم فقط باختلاق الأشياء. هناك العديد من المشكلات الأكثر خطورة التي يجب على المطورين مراعاتها عند استخدام الذكاء الاصطناعي في تطبيقاتهم.

كيفية تطوير الذكاء الاصطناعي

هناك موارد لا حصر لها متاحة للمطورين الذين يرغبون في معرفة المزيد عن الذكاء الاصطناعي. وهي تشمل دورات وبرامج تعليمية عبر الإنترنت، والتي تتضمن تمارين عملية للحصول على خبرة عملية.

“خصص وقتًا أسبوعيًا لاستكشاف مجالات مثل معالجة اللغة الطبيعية ورؤية الكمبيوتر وأنظمة التوصية. يقول هوساكوت من نايل إن البرامج التعليمية والمجتمعات عبر الإنترنت تعد موارد رائعة للبقاء على اطلاع دائم. “وفي نفس الوقت، قم بالتجربة[ing] باستخدام أدوات الذكاء الاصطناعي لتحليل كود الإنتاجية أو أتمتة الاختبار يمكن أن يرفع مستوى عملك.

يمكن للمطورين أيضًا تحسين معرفتهم العملية بالذكاء الاصطناعي من خلال المشاركة في hackathons أو مشاريع الذكاء الاصطناعي التي تركز على الداخل، وإقران البرمجة مع علماء البيانات، والبقاء على اطلاع دائم من خلال الدورات التدريبية عبر الإنترنت والمؤتمرات والاجتماعات الصناعية.

“الذكاء الاصطناعي ليس عصا سحرية، لذا حدد المشكلات المحددة التي يجب أن يحلها قبل التكامل. [Also]يقول بيتس من جامعة ميشيغان: “احترم أخلاقيات البيانات: كن حذرًا بشأن مصدر بيانات التدريب لتجنب العواقب غير المقصودة”. “يعتمد نجاح الذكاء الاصطناعي على الفرق التي تقف وراءه. إن تدريب المطورين على أساسيات الذكاء الاصطناعي سيؤتي ثماره.

تتضمن بعض الأساسيات التحيز والعدالة وقابلية الشرح وإدارة دورة الحياة والأمان في تكامل الذكاء الاصطناعي.

جايسون وينجيت Headshot1.jpg

“يحتاج المطورون إلى فهم كيفية تأثير التحيزات في بيانات التدريب على المخرجات، كما يظهر في الأنظمة التي تعزز عن غير قصد عدم المساواة المجتمعية. ولا ينبغي للذكاء الاصطناعي أن يظل “صندوقا أسود”. يقول بيتس: “يجب أن يعرف المطورون كيفية توضيح عمليات صنع القرار في مجال الذكاء الاصطناعي لأصحاب المصلحة”. “إن المراقبة المستمرة وإعادة التدريب أمر ضروري مع تطور سياقات العمل.”

يمكن للمطورين التعرف على أدوات الذكاء الاصطناعي من خلال تجارب صغيرة، مثل إنشاء روبوتات محادثة بسيطة لفهم كيفية تأثير التغييرات في المطالبات على الاستجابات، قبل البدء في مشاريع أكبر.

“[Developers] “نحن بحاجة إلى فهم السلوك النموذجي، والقيود، وخصوصية البيانات، وقضايا التحيز والهندسة السريعة المناسبة”، كما يقول وينجيت من Emerald Ocean. “ابدأ صغيرًا وقم بالبناء تدريجيًا. على سبيل المثال، عند تقديم الذكاء الاصطناعي لخدمة العملاء، غالبًا ما تبدأ الشركات بجعل الذكاء الاصطناعي يقترح ردودًا يراجعها الوكلاء البشريون، بدلاً من السماح للذكاء الاصطناعي بالرد مباشرة على العملاء. إلا بعد إثبات أن هذا يعمل [should] إنهم يوسعون دور الذكاء الاصطناعي.





Source link

زر الذهاب إلى الأعلى