فيها استكشف نماذج اللغة الصغيرة لسيناريوهات AI محددة يستكشف Gartner ، الذي نشر في أغسطس 2024 ، كيف أن تعريفات “صغيرة” و “كبيرة” في نماذج لغة AI قد تغيرت وتطورت.
يلاحظ Gartner أن هناك تقديرات أن GPT-4 (Openai-March 2023) ، Gemini 1.5 (Google-February 2024) ، Llama 3.1 405b (Meta-July 2024) و Claude 3 Opus (Anthropic-March 2024) لديها حوالي نصف تريليون إلى تريليون. على الطرف الآخر من الطيف ، يتم تقدير نماذج مثل Mistral 7B (Mistral.ai-سبتمبر 2023) ، PHI-3-MINI 3.8B و PHI-Small 7B (Microsoft-April 2024) ، Llama 3.1 8B (Meta-July 2024) و Gemma 2 9B (Google-June 2024) to to Billing 10 Billing.
بالنظر إلى مثال واحد على الموارد الحسابية التي يستخدمها نموذج لغة صغير مقارنةً بتلك المستخدمة من قبل نموذج لغة كبير ، فإن Gartner تشير إلى أن Llama 3 8b (ثمانية مليارات معلمة) يتطلب 27.8 جيجابايت من ذاكرة معالجة الرسومات (GPU) ، في حين أن Llama 3 70b (70 مليار معلمة) تتطلب 160 جيجا بايت.
كلما زاد عدد ذاكرة وحدة معالجة الرسومات ، زادت التكلفة. على سبيل المثال ، بأسعار GPU الحالية ، خادم قادر على تشغيل المعلمة الكاملة البالغة 670 مليار Deepseek-R1 سوف يكلف النموذج في الذاكرة أكثر من 100000 دولار.
تقطير المعرفة
حقيقة أن نموذج اللغة الكبيرة أكبر عدة مرات من نموذج لغة صغير – من حيث المعلمات المستخدمة أثناء التدريب لإنشاء نموذج بيانات يستخدمونه استنتاج الذكاء الاصطناعي – يعني أن SLMs يتم تدريبها فقط على مجموعة فرعية من البيانات. هذا يشير إلى أنه من المحتمل أن تكون هناك ثقوب في معرفتها ، وبالتالي لن يتمكنوا أحيانًا من تقديم أفضل إجابة لاستعلام معين.
SLM المقطر يحسن جودة الاستجابة والتفكير أثناء استخدام جزء من حساب LLMS
يقول: “يمثل نقل المعرفة هذا أحد أكثر الأساليب الواعدة لإضفاء الطابع الديمقراطي على إدمان القدرات اللغوية المتقدمة دون العبء الحسابي لنماذج المليار المعلمة”. “SLMs المقطرة تعمل على تحسين جودة الاستجابة والتفكير أثناء استخدام جزء من حساب LLMs.”
يقول Vawdrey إن التقطير المعرفة من LLMS إلى SLMS يبدأ بمكونين رئيسيين: LLM المدربين مسبقًا الذي يعمل كـ “المعلم” ، وهي بنية أصغر ستصبح “الطالب” SLM. عادة ما يتم تهيئة العمارة الأصغر إما بشكل عشوائي أو مع التدريب الأساسي.
زيادة SLMs
لا يجوز لـ LLM أو SLM وحده تقديم كل ما تحتاجه المنظمة. يرغب مستخدمو المؤسسة عادةً في الجمع بين البيانات المحتفظ بها في أنظمة تكنولوجيا المعلومات الخاصة بهم مع نموذج الذكاء الاصطناعي.
وفق دومينيك تومسيفيتش، الرئيس التنفيذي لمزود قاعدة بيانات الرسم البياني Memgraph ، يكمن السياق في جوهر النقاش بأكمله. يقول: “بالنسبة للمشاكل العامة للغاية ، على مستوى الواجب المنزلي ، تعمل LLM بشكل جيد ، ولكن في اللحظة التي تحتاج فيها إلى منظمة العفو الدولية القائمة على اللغة لتكون مفيدة حقًا ، عليك أن تذهب مع SLM”.
على سبيل المثال ، فإن الطريقة التي تمزج بها الشركة تجلط الطلاء أو تبني شبكات الإنترنت (IoT) أو شبكات الجداول الزمنية فريدة من نوعها. ويضيف: “لا يحتاج الذكاء الاصطناعي إلى تذكر من فاز بكأس العالم في عام 1930”. “أنت بحاجة إليها لمساعدتك على تحسين مشكلة معينة في مجال الشركة.”
كما يلاحظ Tomicevic ، يمكن تدريب SLM على اكتشاف الاستعلامات حول الطلبات في نظام التجارة الإلكترونية ، وضمن سلسلة التوريد ، تكتسب معرفة عميقة بهذا المجال المحدد-مما يجعلها أفضل بكثير في الإجابة على الأسئلة ذات الصلة. فائدة أخرى هي أنه بالنسبة للعمليات المتوسطة الحجم والأصغر ، فإن تدريب SLM أرخص بكثير-بالنظر إلى تكلفة وحدات معالجة الرسومات والطاقة-من تدريب LLM.
ومع ذلك ، وفقًا لـ Tomicevic ، فإن الحصول على بيانات سلسلة التوريد في نموذج لغة صغير مركّز يعد عقبة كبيرة من الناحية الفنية. يقول: “حتى تتطور البنية الأساسية التي تشاركها كل من LLMs و SLMS – المحول – ، يظل تحديث نموذج اللغة صعبًا”. “تفضل هذه النماذج أن يتم تدريبها على دفعة واحدة كبيرة ، وتمتص جميع البيانات في وقت واحد ثم التفكير في ما يعتقدون أنهم يعرفونه”.
هذا يعني تحديث أو الحفاظ على SLM طازجة ، بغض النظر عن مدى تركيزه بشكل جيد على حالات الاستخدام للعمل ، لا يزال يمثل تحديًا. ويضيف: “لا تزال نافذة السياق بحاجة إلى تغذية المعلومات ذات الصلة”.
بالنسبة إلى TomiceVic ، هذا هو المكان الذي يأتي فيه عنصر إضافي-تجد المؤسسات مرارًا وتكرارًا أن الرسم البياني المعرفة هو أفضل نموذج للبيانات للجلوس جنبًا إلى جنب مع SLM المدربين في المجال ، حيث تعمل كمدرس ومترجم ثابت.
الجيل المعزز للاسترجاع (خرقة) يمكن أن تكون مدعومة بتكنولوجيا الرسم البياني سد البيانات المنظمة وغير المهيكلة. يقول Tomicevic إن هذا يسمح لأنظمة الذكاء الاصطناعى باسترداد أكثر الأفكار ذات الصلة مع انخفاض التكاليف ودقة أعلى. يقول: “إنه يعزز أيضًا التفكير من خلال جلب البيانات ديناميكيًا من قاعدة بيانات محدثة ، والقضاء على التخزين الثابت وضمان إبلاغ الاستجابات دائمًا بأحدث المعلومات”.
يقول: “هذا يحول كيف تنشر المؤسسات منظمة العفو الدولية ، مما يجلب قدرات قوية إلى البيئات التي تعتبر سابقًا غير عملي للحوسبة المتقدمة وإضفاء الطابع الديمقراطي على الوصول إلى الحواجز الجغرافية والبنية التحتية”.
وفقًا لـ MAHL ، يوفر RAG خط أنابيب يخترق الضوضاء لتقديم سياق دقيق وذات صلة بنماذج اللغة الصغيرة.
تقليل الأخطاء والهلوسة
في حين تعتبر LLMs قوية بشكل لا يصدق ، فإنها تعاني من أخطاء معروفة باسم الهلوسة، حيث يصنعون الأمور بشكل فعال.
في حين أن هناك الكثير من الضجيج في الصناعة حول موضوع وكيل الذكاء الاصطناعي، هناك عائق كبير أمام استخدام وكلاء الذكاء الاصطناعي لأتمتة سير العمل المعقدة هو أن هذه الأنظمة عرضة للأخطاء ، مما يؤدي إلى اتخاذ قرارات غير صحيحة. سوف يتحسن هذا عدم الدقة مع مرور الوقت ، ولكن هناك القليل من الأدلة على أن تطبيقات المؤسسات يتم تطويرها مع التسامح مع الأخطاء المحتملة التي أدخلتها أنظمة AICEC.
في البودكاست الأسبوعي للكمبيوتر ، أشار Anushree Verma ، المخرج المحلل في Gartner ، إلى أن هناك تحولًا نحو نماذج اللغة الخاصة بالمجال والنماذج الأخف التي يمكن ضبطها. مع مرور الوقت ، من المحتمل أن تعمل نماذج الذكاء الاصطناعى هذه مثل الخبراء لتكملة أنظمة AI للوكيل العام ، والتي قد تساعد في تحسين الدقة.
يشبه القياس مثل شخص ليس متخصصًا في مجال معين يطلب من خبير النصيحة ، مثل شريان الحياة “الهاتف” في عرض لعبة التلفزيون من يريد أن يكون مليونيرا؟
الرئيس التنفيذي لشركة DeepMind DeMis Hassabis يتصور عالمًا حيث وكلاء الذكاء الاصطناعى متعددين تنسيق الأنشطة لتحقيق هدف. لذلك ، على الرغم من أن SLM قد تم نقل المعرفة من LLM من خلال تقطير المعرفة ، بفضل تقنيات مثل RAG وقدرتها على التحسين لمجال معين ، قد يتم استدعاء SLM في النهاية كخبير لمساعدة LLM بشكل عام على الإجابة على سؤال خاص بالمجال.
