لقد تعلمت العديد من المنظمات أن نماذج الذكاء الاصطناعى تحتاج إلى مراقبة ، وضبطها ، وتقاعد في النهاية. هذا صحيح في نماذج اللغة الكبيرة (LLM) كما هو الحال في نماذج أخرى من الذكاء الاصطناعي ، ولكن وتيرة ابتكار الذكاء الاصطناعى التوليدي كانت سريعة للغاية ، بعض المنظمات لا تدير نماذجها كما ينبغي ، حتى الآن.
Senthil Padmanabhan ، نائب الرئيس ، المنصة والبنية التحتية في شركة Global Commerce Company موقع ئي باييقول المؤسسات إن المؤسسات من الحكمة إنشاء بوابة مركزية وبوابة موحدة لجميع مهام إدارة النماذج كما فعلت شركته. أنشأ موقع eBay بشكل أساسي نسخة داخلية من الوجه المعانقة لقد نفذت موقع eBay كنظام مركزي.
“تعمل منصة AI الخاصة بنا كبوابة مشتركة لجميع مكالمات API المتعلقة بـ AI ، وتشمل الاستدلال ، والضبط ، ومهام ما بعد التدريب. يقول بادمانابان في مقابلة عبر البريد الإلكتروني: “إنه يدعم مزيجًا من النماذج المغلقة (التي تعمل كوكيل) ، والنماذج المفتوحة (المستضافة في المنزل) ، والنماذج التأسيسية المصممة بالكامل من الألف إلى الياء”. “يجب أن تضع المؤسسات في الاعتبار أربع وظائف أساسية عند الاقتراب من إدارة النماذج: إعداد مجموعات البيانات ، والتدريب النموذجي ، ونشر النموذج واستدلال ، وخط أنابيب التقييم المستمر. من خلال توحيد هذه الوظائف ، حققنا الاتساق والكفاءة في عمليات إدارة النماذج لدينا. ”
في السابق ، أدى عدم وجود نظام موحد إلى جهود مجزأة والفوضى التشغيلية.
بدلاً من بناء المنصة أولاً خلال استكشافها الأولي لـ Genai ، ركزت الشركة على تحديد حالات الاستخدام المؤثرة.
يقول بادمانابان: “مع توسيع نطاق تطبيقات الذكاء الاصطناعى النضج والتولد عبر مختلف المجالات ، أصبحت الحاجة إلى نظام مركزي واضحة”. “اليوم ، منصة الذكاء الاصطناعى لها دور فعال في إدارة تعقيد تطوير نموذج الذكاء الاصطناعي ونشرها على نطاق واسع.”
.jpg?width=700&auto=webp&quality=80&disable=upscale "senthil_padmanabhan _-_ vp_platform_infracture_ebay_ (002) .jpg")
Senthil Padmanabhan ، eBay
Senthil Padmanabhan ، eBay
تقوم مستشفى Phoenix للأطفال بإدارة نماذج التعلم الآلي لبعض الوقت لأن النماذج التنبؤية يمكن أن تنجرف.
“لقد كان لدينا نموذج يتوقع سوء التغذية في المرضى [and] نموذج عدم الحضور يتوقع متى لن يظهر الناس [for appointments]يقول ديفيد هيغنسون ، نائب الرئيس التنفيذي وكبير مسؤولي الابتكار في مستشفى فينيكس للأطفال. “لا سيما أن نموذج عدم الحضور يتغير بمرور الوقت ، لذلك يجب أن تكون واعيًا للغاية ، هل هذا النموذج لا يزال جيدًا؟ هل ما زال يتوقع بشكل صحيح؟ لقد اضطررنا إلى بناء القليل من عملية الحوكمة حولها على مر السنين قبل نماذج اللغة الكبيرة ، لكنني سأخبرك ، كما هو الحال مع نماذج اللغة الكبيرة ، إنها تعلم [experience]، لأن نماذج مختلفة تستخدم لحالات الاستخدام المختلفة. ”
في هذه الأثناء ، يضيف مقدمو LLM ، بما في ذلك Openai و Google ، بسرعة نماذج جديدة تطفو على إيقافها ، مما يعني أن مستشفى Phoenix للأطفال الذي تم بناؤه قبل عام قد يختفي فجأة من Azure.
“ليس فقط أن الجزء الفني منه هو مجرد مواكبة ما يتم إضافته وما الذي يتم إزالته. هناك أيضًا مسألة أكبر في نماذج اللغة الكبيرة. يقول هيغنسون: “إذا كنت تستخدمه للاستماع المحيط وكنت قد مررت بعملية فحص ، وكان الجميع يستخدمون نموذجًا معينًا ، ثم غدًا ، هناك نموذج أفضل ، سيرغب الناس في استخدامه”. “نجد أن هناك الكثير من الأسئلة ، [such as]، هل هذا في الواقع نموذج أفضل لحالة الاستخدام الخاصة بي؟ ما هي حساب هذا النموذج؟ هل اختبرناها؟ ”
كيفية التعامل مع إدارة النماذج
يقول Padmanabhan من eBay إن أي نهج لإدارة النماذج سيؤسس بشكل جوهري دورة حياة ، كما هو الحال مع أي نظام معقد آخر. يتبع eBay بالفعل دورة حياة منظمة ، تشمل مراحل من إعداد مجموعة البيانات إلى التقييم.
يقول بادمانابان: “لإكمال الدورة ، نقوم أيضًا بتضمين انخفاض قيمة النماذج ، حيث تحل النماذج الحديثة محل النماذج الموجودة ، ويتم التخلص التدريجي من النماذج القديمة بشكل منهجي”. “هذه العملية تتبع النسخة الدلالية للحفاظ على الوضوح والاتساق أثناء التحولات. بدون مثل هذا النهج لدورة الحياة ، تصبح إدارة النماذج بشكل فعال تحديًا متزايدًا مع نمو الأنظمة في التعقيد “.
نهج eBay هو تكراري ، يتشكل من خلال ردود فعل مستمرة من المطورين ، وحالات استخدام المنتجات والمناظر الطبيعية المتطورة بسرعة. سمحت هذه العملية التكرارية على موقع eBay بإحراز تقدم ثابت.
“مع كل تكرار لمنصة الذكاء الاصطناعى ، قمنا بإغلاق خطوة من القيمة ، مما أعطانا الزخم للخطوة التالية. من خلال تكرار هذه العملية بلا هوادة ، تمكنا من التكيف مع المفاجأة – سواء كانت قيودًا جديدة أو فرصًا ناشئة – مع الاستمرار في إحراز تقدم “. “على الرغم من أن هذا النهج قد لا يكون المسار الأكثر كفاءة أو الأمثل لبناء منصة منظمة العفو الدولية ، فقد أثبت فعاليته للغاية بالنسبة لنا. لقد قبلنا أن بعض الجهد قد يضيع ، لكننا سنفعل ذلك بطريقة آمنة تفتح قيمة أكبر باستمرار. ”
للبدء ، يوصي بإعداد بوابة مشتركة لجميع مكالمات API النموذجية.
يقول بادمانابان: “تساعدك هذه البوابة على تتبع جميع حالات الاستخدام المختلفة لنماذج الذكاء الاصطناعى وتمنحك رؤى في أنماط حركة المرور ، والتي تعد مفيدة للغاية للعمليات وفرق SRE لضمان تشغيل كل شيء بسلاسة”. “إنه أيضًا فوز كبير لفرق InfoSec وفرق الامتثال. مع بوابة مركزية ، يمكنك تطبيق السياسات في مكان واحد وحظر أي أنماط سيئة بسهولة ، مما يجعل الأمن والامتثال أكثر بساطة. بعد ذلك ، يمكن للمرء استخدام بيانات حركة المرور من البوابة لإنشاء بوابة موحدة. ستتيح لك هذه البوابة إدارة دورة حياة الطراز بأكملها ، من النشر إلى التخلص التدريجي من ذلك ، مما يجعل العملية برمتها أكثر تنظيماً وكفاءة مع توسيع نطاقها. ”
يقول هيغنسون في مستشفى فينيكس للأطفال إنه من الحكمة مراقبة الصناعة لأنها تتغير بسرعة كبيرة.
ديفيد هيغنسون ، مستشفى فينيكس للأطفال
ديفيد هيغنسون ، مستشفى فينيكس للأطفال
“عندما يخرج نموذج جديد ، نحاول التفكير في الأمر من حيث حل مشكلة ، لكننا توقفنا عن مطاردة [latest] نموذج مثل GPT-4 يفعل معظم ما نحتاجه. يقول هيغنسون: “أعتقد أن ما تعلمناه مع مرور الوقت هو عدم مطاردة النموذج الجديد لأننا لسنا متأكدين تمامًا مما هو عليه أو محدود بشأن المبلغ الذي يمكنك استخدامه في يوم واحد”. “الآن ، نحن نركز أكثر على النماذج التي تم إهمالها أو إزالتها ، لأننا لم نحصل على أي إشعار بذلك.”
من المهم أيضًا أن يكون لدى أصحاب المصلحة معرفة أساسية بمنظمة العفو الدولية بحيث يكون هناك عقبات أقل أمام التقدم. بدأ مستشفى فينيكس للأطفال عمليات الحوكمة من خلال تدريب AI 101 لأصحاب المصلحة ، بما في ذلك معلومات حول كيفية عمل النماذج. تم هذا التدريب خلال اجتماعات المجموعة الثلاثة الأولى.
يقول هيغنسون: “خلاف ذلك ، يمكنك ترك الناس وراءهم”. “الناس لديهم أشياء مهمة ليقولوا ، [but] إنهم لا يعرفون كيف يقولونهم في عالم الذكاء الاصطناعي. لذلك ، أعتقد أن هذه هي أفضل طريقة للبدء. أنت تميل أيضًا إلى معرفة أن بعض الأشخاص لديهم الكفاءة أو الاهتمام ، ويمكنك الاحتفاظ بهم في الفريق ، والأشخاص الذين لا يريدون أن يكونوا جزءًا منه يمكن أن يخرجوا “.
يعقوب أندرسون ، صاحب ما وراء حلول البرمجيات العاديةيقول أن النموذج لا يختلف عن منتج البرامج الذي تم إصداره إلى الجماهير.
يقول أندرسون: “إذا كان لديك إدارة دورة حياة على تمرير المنتجات الخاصة بك ، فعليك أيضًا تنفيذ نفس الشيء في الإشراف على النموذج”. “ستحتاج إلى خطة تقاعد محددة للنماذج ولديك سياسة لتدمير النماذج. هذه النماذج هي مجرد مزيج من البيانات التي دخلت في تدريبها. تحتاج إلى التعامل مع النماذج بنفس الرعاية التي تسير عليها بيانات التدريب. ”
نصيحة حكيم
يوصي Padmanabhan من eBay بأن لا تزال المنظمات في المراحل المبكرة من استكشاف Genai الامتناع عن بناء منصة معقدة للبدء ، وهذا بالضبط ما فعله eBay.
في موقع eBay ، ركزنا في البداية على تحديد حالات الاستخدام المؤثرة بدلاً من الاستثمار في المنصة. يقول بادمانابان: “بمجرد نضوج التكنولوجيا وتوسيع التطبيقات عبر مجالات مختلفة ، رأينا الحاجة إلى نظام مركزي”. “اليوم ، تساعدنا منصة AI الخاصة بنا على إدارة تعقيد تطوير الذكاء الاصطناعي ونشرها على نطاق واسع – لكننا قمنا ببنيه عندما كان التوقيت صحيحًا”.
كما يعتقد أنه من الحكمة ألا تغمرها التغييرات السريعة في هذا المجال.
“من السهل الانخراط في محاولة إنشاء نظام يدعم كل نوع من النماذج هناك. بدلاً من ذلك ، خذ خطوة إلى الوراء والتركيز على ما سيحدث فرقًا لمؤسستك حقًا. يقول بادمانابان: “تخصيص نظام إدارة النماذج لتلبية احتياجاتك المحددة ، وليس فقط ما تثيره الصناعة”. “أخيرًا ، من تجربتنا ، نرى أن جودة مجموعة البيانات هي ما يهم حقًا. الجودة تتفوق على الكمية. من الأفضل أن يكون هناك 10000 صف من صفوف عالية الجودة من 100000 صف. ”
يوصي Higginson في مستشفى فينيكس للأطفال بتجربة الدرابزين حتى يتمكن الناس من التعلم. يقول هيغنسون: “لديك تحذير يقول:” لا تضع PII هناك واستخدم الإخراج بعناية ، ولكن استخدمه تمامًا “. “لا تصدق كل ما يقوله ، لكن بخلاف ذلك ، لا تخاف. إن حالات الاستخدام القادمة من موظفينا والموظفين والأطباء لدينا أكثر إبداعًا مما كنت أفكر فيه ، أو كان أي لجنة قد فكرت فيها “.
يوصي أندرسون العاديون بفهم الالتزامات القانونية للسلطات القضائية التي تعمل فيها النماذج لأنها تختلف.
“احرص على فهم تلك الاختلافات وكيف تنزف التزاماتك في المسارح التنظيمية. يقول أندرسون: “يجب أن يكون لديك خطة تشغيلية محددة جيدًا للإشراف النموذجي”. “هذا يشبه إلى حد كبير خطة الإشراف على البيانات ، لذلك إذا لم يكن لديك واحد من هذه ، فقد حان الوقت لإبطاء الحافلة وإصلاح هذا الإطار المسطح.”
كما يوصي بعدم وضع ممارسي الهواة من الذكاء الاصطناعي المسؤولين عن النماذج.
يقول أندرسون: “ابحث عن محترفين مؤهلين لمساعدتك في أطر عمل السياسة ووضع خطة الإشراف”. “تلعب بيانات اعتماد الأمن السيبراني في الإشراف على نماذج الذكاء الاصطناعي لأن النماذج هي مجرد بيانات. لا يحتاج الأشخاص عبر الإنترنت إلى معرفة كيفية تدريب أو تقييم نموذج الذكاء الاصطناعي. إنهم بحاجة فقط إلى معرفة البيانات التي تم تدريبها وكيف سيتم استخدام النموذج في سيناريو العالم الحقيقي. ”
