وأوضح LLMs: دليل المطور للبدء
وبما أن النماذج اللغوية الكبيرة (LLMs) والذكاء الاصطناعي التوليدي (GenAI) يتم دمجها بشكل متزايد في برامج المؤسسات، فقد تمت إزالة الحواجز التي تحول دون الدخول – فيما يتعلق بكيفية بدء المطور – تقريبًا.
هناك الكثير من المنتجات الجاهزة، مثل المنتجات المتنوعة عروض مايكروسوفت مساعد الطيار، والتي تستهدف إنتاجية مستخدمي الأعمال. بالنسبة لمطوري البرامج، تمتلك Microsoft أيضًا Github Copilot، المصمم لتسريع عملية البرمجة، عن طريق الإكمال التلقائي وتقديم المطالبات لمساعدة المطورين على كتابة التعليمات البرمجية بسرعة أكبر.
يتيح الوصول من خلال واجهات برمجة التطبيقات (APIs) إلى الخدمات السحابية العامة مثل ChatGPT للمطورين دمج روبوتات الدردشة القوية المدعومة بالذكاء الاصطناعي في تطبيقاتهم الخاصة. سيتمكن المطورون الذين تعتبر مؤسساتهم عملاء لبرامج المؤسسات الحديثة مثل المنتج من Salesforce أو Workday أو Oracle أو SAP، من بين آخرين، من الوصول إلى إمكانات الذكاء الاصطناعي المؤسسي المدعومة من LLMs.
المحاذير الوحيدة هي خصوصية البيانات وحماية الملكية الفكرية. في حين يمكن للمطور البدء بسهولة في تجربة الأدوات المتوفرة بسهولة على السحابة العامة، فإن التدريب الفعال يتطلب بيانات عالية الجودة خاصة بالمجال.
توجد مجموعات من مجموعات البيانات هذه في مستودعات بيانات الشركات، ولكن لمنع تسرب البيانات، لا ينبغي أبدًا نقل أي بيانات خاصة بالشركة إلى LLM عامة ما لم يتم ترخيص المطور لنشر هذه البيانات للعامة.
يجب على المطورين أيضًا توخي الحذر عند الاستخدام معلومات التعرف الشخصية مع LLMs حيث أن نقل هذه البيانات إلى LLM للتدريب قد ينتهك لوائح خصوصية البيانات. أفضل نصيحة هي التأكد من أن البيانات المطلوبة للتدريب والاختبار متوافقة مع سياسات بيانات الشركة.
ولهذا السبب هناك اهتمام كبير بالمنظمات التي تقوم ببناء ماجستير إدارة الأعمال الخاص بها. من الناحية العملية، تعمل هذه الأنظمة بشكل أفضل إذا تمكنت من الجمع بين الكم الهائل من المعلومات التي يمكن استخلاصها من حاملي شهادات LLM العامة مع البيانات الحساسة تجاريًا والمملوكة للمساعدة في أنظمة تكنولوجيا المعلومات الخاصة بالمؤسسات.
كيف تبدأ مع LLMs
هناك عدد من برامج LLM التي تتميز بواجهات برمجة التطبيقات (APIs) التي يسهل الوصول إليها والتي يمكن للمطورين تسخيرها لبدء إنشاء تطبيقات مدعمة بالذكاء الاصطناعي. يحتاج المطورون إلى اتخاذ قرار بشأن استخدام LLM مفتوح أو خاص.
يتم عمومًا ترخيص النماذج الخاصة التي يمكن الوصول إليها من خلال واجهة برمجة التطبيقات (API) بناءً على الاستخدام، ويقوم المطور ببساطة بالتسجيل في اشتراك بناءً على متطلبات الاستخدام الخاصة به. يتم قياس الاستخدام وتسعيره بما تسميه الصناعة “الرموز المميزة”، استنادًا إلى حجم النص المرسل أو المستلم بواسطة LLM. وهذا يعني أن التكاليف يمكن أن تزيد بسرعة إذا تم استخدامها على نطاق واسع، ولكن وفقًا لذلك إلكا تورونين، كبير مسؤولي التكنولوجيا الميدانيين (CTO) في Sonatype، فإن حسابات هذه الطلبات ليست دائمًا واضحة، ويتطلب الأمر فهمًا عميقًا للحمولة.
عادةً ما تكون النماذج المفتوحة أقل تكلفة بكثير على المدى الطويل من شهادات LLM المسجلة الملكية نظرًا لعدم وجود رسوم ترخيص. لكن المطورين الذين ينظرون إلى النماذج مفتوحة المصدر يحتاجون أيضًا إلى مراعاة التكاليف التي ينطوي عليها التدريب وتشغيلها على السحابات العامة أو استخدام خوادم مراكز البيانات المحلية التي تم تحسينها لأعباء عمل الذكاء الاصطناعي.
تشمل النماذج المفتوحة LLaMA2 من Meta، وBert من Google، وFalcon-40B من معهد الابتكار التكنولوجي في أبوظبي. هناك عدد كبير من النماذج المفتوحة المتاحة، ولمساعدة المطورين على فهم المزيد عن فوائدها وعيوبها، قامت Hugging Spaces بإنشاء لوحة صدارة من LLMs مفتوحة المصدر التي تستخدم Eleuther AI لغة نموذج التقييم تسخير الإطار الموحد لاختبار نماذج اللغة التوليدية.
ما هي الأجهزة اللازمة للتدريب LLM
تتطلب LLMs موارد حاسوبية كبيرة. على سبيل المثال، في عام 2023، نشر شارادا يلوري، التقني والمدير الأول للهندسة في Juniper Networks، مقالًا على LinkedIn أظهر أنه مع 2048 وحدة معالجة رسومات Nvidia A100 (GPUs)، فإن تدريب LLaMA2 على مفردات مكونة من 32000 كلمة سيستغرق 21 يومًا .
تقدم جميع شركات خوادم الكمبيوتر الرائدة خوادم الأمثل لأحمال عمل الذكاء الاصطناعي. تم تكوين هذه الخوادم مسبقًا كمجموعات ذات اتصالات بينية سريعة تربط وحدات معالجة الرسومات بكفاءة لتقديم أداء قابل للتطوير.
من الواضح أن هناك بعض حاملي شهادات LLM الذين سيكون لديهم استخدام أفضل للأجهزة، من حيث الكفاءة، مقارنة بالآخرين. تعد لوحة المتصدرين Hugging Spaces أحد الأماكن التي يمكن للمطورين الذهاب إليها عند البحث عن متطلبات موارد تكنولوجيا المعلومات لمختلف دورات LLM. وهناك آخرون بما في ذلك مفتوحة التعاون على جيثب.
كما أنه من الممكن تمامًا تشغيل نماذج أصغر يتم تدريبها على بيانات أقل، ونتيجة لذلك، تتطلب قوة حسابية أقل بكثير. يمكن جعل بعض هذه الأجهزة تعمل على جهاز كمبيوتر محمول أو كمبيوتر مكتبي عالي الأداء بشكل معقول، ومجهز بشرائح الذكاء الاصطناعي.
المزالق الشائعة التي يجب تجنبها
تميل أنظمة الذكاء الاصطناعي إلى أن تكون غير حتمية، مما له آثار على كيفية تصميم واختبار أنظمة الذكاء الاصطناعي لاتخاذ القرار. إذا كانت البيانات المستخدمة في التدريب غير كاملة، فسيتم ذلك يؤدي إلى التحيزات والافتراضات الخاطئة عندما يتم تقديم نظام الذكاء الاصطناعي ببيانات العالم الحقيقي. يحتاج المطورون إلى تحسين نماذج البيانات وتعديلها باستخدام تقنيات مثل ضبط المعلمات الفائقة والفروق الدقيقة لتحقيق النتائج المثلى.
تعتمد LLMs على بيانات التدريب عالية الجودة. إذا كانت البيانات غير كاملة أو غير متسقة أو تفتقد بعض الخصائص الديمغرافية، فهذا يعني أنها قد تنتج العيوب أو التحيزات في الإجابات التي يقدمونها.
قد يرتبك طلاب LLM في بعض الأحيان. هذا تُعرف الظاهرة بالهلوسة.
استخدام LLMS مع ذكاء الأعمال
في حين يتم تدريب الحاصلين على ماجستير إدارة الأعمال العامة على كمية هائلة من البيانات العامة، إلا أنهم لا يستطيعون الوصول إلى الأعمال الداخلية للشركة. من المرجح أن يفتقد محرك الاستدلال المستند إلى البيانات العامة الفروق الدقيقة في مجال معين ضمن حدود المؤسسة وتدفقات المعلومات التي تدعم عملياتها التجارية.
عند استخدامها في أنظمة صنع القرار، يحتاج المطور أيضًا إلى النظر في مسألة قابلية التفسير، نظرًا لأن ماجستير إدارة الأعمال الخاص يشبه إلى حد ما الصناديق السوداء، مما يجعل من الصعب فك تشفير كيفية قيام محرك الاستدلال بإجابات على سؤال الإدخال.
لتجنب تسرب البيانات، يحظر العديد من قادة تكنولوجيا المعلومات أو يحدون من استخدام LLMs العامة. يمكن استخدام البيانات العامة في تطبيقات الاستدلال، ولكن يجب دمج مخرجات LLM مع المعلومات الخاصة بالشركة الموجودة في أنظمة تكنولوجيا المعلومات الخاصة بالمؤسسة.
تعد الإستراتيجية السليمة لإدارة المعلومات أمرًا أساسيًا، مع وجود حواجز حماية لضمان اتساق البيانات وسلامتها وتجنب تسرب البيانات. مكان واحد للبدء هو البيانات المخزنة في تطبيقات المؤسسات التجارية الجاهزة. تشتمل العديد من حزم البرامج هذه على LLMs.
أوراكل، على سبيل المثال، تقدم طريقة لعملائها لاستخدام بياناتهم الخاصة “لضبط” LLMs العامة، وتقديم نتائج خاصة بتلك المؤسسة. كشفت الشركة مؤخرًا عن وكلاء GenAI لـ Oracle Cloud Infrastructure. قال فينود مامتاني، نائب الرئيس والمدير العام لخدمات GenAI في Oracle: “لا نطلب من العملاء نقل بياناتهم خارج مخزن البيانات للوصول إلى خدمات الذكاء الاصطناعي. وبدلاً من ذلك، نقوم بإدخال تكنولوجيا الذكاء الاصطناعي إلى حيث توجد بيانات عملائنا.
تقوم Rival SAP أيضًا بربط LLMs بمصادر بيانات المؤسسة. تتضمن قاعدة بيانات SAP Hana Cloud متعددة الوسائط محرك قاعدة بيانات متجه، والذي يسمح للمؤسسات بدمج إمكانات LLM مع بيانات المؤسسة للإجابة على الاستفسارات.
يورغن مولرقال كبير مسؤولي التكنولوجيا في SAP: “إن نماذج اللغات الكبيرة تجلب شرارات من الذكاء، ولكنها أيضًا تعاني من قيود شديدة. ليس لديهم أي فكرة عما حدث في العام أو العامين الماضيين، وليس لديهم إمكانية الوصول إلى أي بيانات أعمال، لذلك من الصعب نشرها في الإنتاج.
جعل الجدوى التجارية للتطوير مع LLMs
وفقا للمحلل فوريسترإحدى الفرص لاستخدام LLM هي تحسين الكفاءة التشغيلية، كما هو الحال في المالية والمحاسبة لتقليل رسوم التدقيق الخارجي. يريد كل مدير مالي تقليل ساعات عمل المدقق الخارجي القابلة للفوترة. يمكن لـ LLMs الإجابة على أسئلة المدققين وتقليل الساعات والموظفين الداخليين المطلوبين لجمع المعلومات.
يرى المدققون أيضًا طريقة لاستخدام LLMs لمساعدتهم على العمل بكفاءة أكبر. على سبيل المثال، طورت شركة برايس ووترهاوس كوبرز أداة مساعدة للذكاء الاصطناعي الضريبي، والتي تعمل على إسناد مرجعي، وتم تدريبها على السوابق القضائية والتشريعات والمصادر الأساسية الأخرى، إلى جانب الملكية الفكرية الخاصة بها في المملكة المتحدة.
ووفقا لشركة برايس ووترهاوس كوبرز، يتم تحديث البيانات بانتظام لتعكس التغييرات والتحديثات على القواعد الضريبية. وتدعي أن النموذج يولد جودة ودقة أعلى بكثير في المجال الضريبي بالمقارنة مع LLMs المتاحة للجمهور، ويوفر مراجع للبيانات الأساسية، مما يسمح بالتحقق الشفاف والدقيق من قبل متخصصي الضرائب.