تستخدم نماذج اللغة الكبيرة (LLMS) كميات هائلة من البيانات وقوة الحوسبة لإنشاء إجابات للاستعلامات التي تبدو وأحيانًا تشعر “بشري”. يمكن لـ LLMS أيضًا إنشاء الموسيقى أو الصور أو الفيديو ، وكتابة الرمز ، والمسح الضوئي لخرقات الأمان بين مجموعة من المهام الأخرى.
أدت هذه القدرة إلى اعتماد سريع الذكاء الاصطناعي التوليدي (Genai) وجيل جديد من المساعدين الرقميين و “chatbots”. نمت Genai بشكل أسرع من أي تقنية أخرى. وصلت ChatGPT ، التي تعاني من ربحية LLM الأكثر شهرة ، إلى 100 مليون مستخدم في شهرين فقط ، وفقًا لبنك الاستثمار UBS. استغرق الأمر الهاتف المحمول 16 عامًا للوصول إلى هذا النطاق.
LLMSومع ذلك ، ليست الطريقة الوحيدة لتشغيل Genai. تجذب نماذج اللغة الصغيرة (SLMs) ، التي يتم تعريفها عادةً على أنها لا تزيد عن 10 إلى 15 مليار معلمة ، الاهتمام ، سواء من المؤسسات التجارية أو في القطاع العام.
يجب أن تكون النماذج اللغوية الصغيرة أو الأصغر أكثر فعالية من حيث التكلفة للنشر من LLMs ، وتقديم خصوصية أكبر-وربما-الأمن. على الرغم من أن LLMs أصبحت شائعة بسبب مجموعة واسعة من القدرات ، إلا أن SLMs يمكن أن تؤدي أفضل من LLMs ، على الأقل لمهام محددة أو محددة بإحكام.
في الوقت نفسه ، تجنب SLMs بعض عيوب LLMs. وتشمل هذه الموارد الشاسعة التي يطلبونها إما في السحابة أو في السحابة ، وتأثيرها البيئي المرتبط بها ، وتكاليف تصاعد خدمة “الدفع As-you” ، والمخاطر المرتبطة بنقل المعلومات الحساسة إلى البنية التحتية السحابية الطرف الثالث.
أقل أكثر
أصبحت SLMs أيضًا أكثر قوة وتكون قادرة على منافسة LLMs في بعض حالات الاستخدام. هذا يسمح للمؤسسات بتشغيل SLMs على بنية تحتية أقل قوة – يمكن لبعض النماذج حتى تشغيل الأجهزة الشخصية بما في ذلك الهواتف والأجهزة اللوحية.
يقول بيرغي تاميرسوي ، عضو فريق استراتيجية الذكاء الاصطناعي في Gartner: “في مساحة اللغة الصغيرة ، نرى صغيرًا يزداد أصغر”. “من منظور التطبيق ، ما زلنا نرى نطاقًا من 10 إلى 15 مليار صغير ، وهناك فئة متوسطة المدى.
“لكن في الوقت نفسه ، نشهد الكثير من نماذج المليار والتقسيمات الفرعية التي تقل عن مليار معلمة. قد لا تحتاج إلى القدرة [of an LLM]، وبينما تقلل من حجم النموذج ، تستفيد من تخصص المهام. “
للرجوع إليها ، يُقدر أن ChatGPT 4.0 يعمل حوالي 1.8 تريليون معلمة.
يرى Tamersoy نماذج أصغر ومتخصصة ناشئة للتعامل مع اللغات المؤهلة أو التفكير أو الرؤية والصوت. لكنه يرى أيضًا تطبيقات في مجال الرعاية الصحية وغيرها من المناطق التي تجعل اللوائح من الصعب استخدام LLM المستند إلى مجموعة النظراء ، مضيفًا: “في المستشفى ، يتيح لك تشغيله على جهاز هناك”.
مزايا SLM
هناك تمييز آخر هو أن LLMs يتم تدريبها على المعلومات المتاحة للجمهور. يمكن تدريب SLMs على البيانات الخاصة ، وغالبًا ما تكون حساسة. حتى عندما تكون البيانات غير سرية ، فإن استخدام SLM مع مصدر بيانات مصمم يتجنب بعض الأخطاء ، أو الهلوسة ، والتي يمكن أن تؤثر حتى على أفضل LLMs.
يقول Jith M ، CTO في شركة الاستشارات التكنولوجية: “بالنسبة لنموذج لغة صغير ، فقد تم تصميمها لامتصاصها والتعلم من مجال معرفة معين”.
“إذا كان شخص ما يريد تفسيرًا للمعايير القانونية في أمريكا الشمالية ، فيمكنه الذهاب إلى ChatGPT ، ولكن بدلاً من الولايات المتحدة ، يمكن أن يوفر لك معلومات من كندا أو المكسيك. ولكن إذا كان لديك نموذج الأساس صغير ، وتدربها على وجه التحديد ، فستستجيب بمجموعة البيانات الصحيحة لأنها لا تعرف أي شيء آخر.”
من غير المرجح أن ينتج عن نموذج يتم تدريبه على مجموعة بيانات محدودة أكثر من النتائج الغامضة والمحررة أحيانًا المنسوبة إلى LLMs.
الأداء والكفاءة يمكن أن تفضل أيضا SLM. قامت Microsoft ، على سبيل المثال ، بتدريب نموذجها المستند إلى محول PHI-1 على كتابة رمز Python بمستوى عالٍ من الدقة-من خلال بعض التقديرات ، كان أفضل 25 مرة.
على الرغم من أن Microsoft تشير إلى سلسلة PHI كنماذج لغوية كبيرة ، استخدم PHI-1 فقط 1.3 مليار معلمة. تقول Microsoft إن أحدث طرازات PHI-3 تتفوق على LLMS مرتين. LLM ومقرها الصينية ديبسيك هو أيضا ، من خلال بعض التدابير ، نموذج لغة أصغر. يعتقد الباحثون أن لديها 70 مليار معلمات ، لكن Deepseek لا يستخدم سوى 37 مليار في وقت واحد.
يقول دومينيك تومسيفيك ، المؤسس المشارك في Memgraph: “إنه مبدأ Pareto ، 80 ٪ من المكسب لمدة 20 ٪ من العمل”. “إذا كان لديك بيانات عامة ، فيمكنك طرح أسئلة واسعة كبيرة على نموذج لغة كبير في مختلف مجالات الحياة المختلفة. إنه نوع من المساعد الشخصي.
“لكن الكثير من التطبيقات المثيرة للاهتمام داخل المؤسسة مقيدة حقًا من حيث المجال ، ولا يحتاج النموذج إلى معرفة كل شكسبير. يمكنك جعل النماذج أكثر فاعلية إذا كانت مناسبة لغرض محدد.”
هناك عامل آخر يقود الاهتمام بنماذج اللغة الصغيرة وهو انخفاض تكلفتها. تعمل معظم LLMs على مدفوعات الدفع ، والنموذج المستند إلى مجموعة النظراء ، ويتم فرض رسوم على المستخدمين لكل رمز (عدد من الأحرف) المرسلة أو المستلمة. مع زيادة استخدام LLM ، وكذلك الرسوم التي تدفعها المنظمة. وإذا لم يكن هذا الاستخدام مرتبطًا بالعمليات التجارية ، فقد يكون من الصعب على CIOs تحديد ما إذا كانت قيمة مقابل المال.
مع نماذج لغة أصغر ، فإن خيار التشغيل على الأجهزة المحلية يجلب مقياسًا للتحكم في التكاليف. التكاليف المقدمة هي الإنفاق الرأسمالي والتنمية والتدريب. ولكن بمجرد بناء النموذج ، لا ينبغي أن يكون هناك زيادة كبيرة في التكلفة بسبب الاستخدام.
يقول Gianluca Barletta ، خبير البيانات والتحليلات في PA Consulting: “هناك حاجة لتقييم التكلفة. تميل LLMs إلى أن تكون أكثر تكلفة من SLMs”. إنه يتوقع رؤية مزيج من الخيارات ، حيث تعمل LLMs جنبًا إلى جنب مع النماذج الأصغر.
“التجريب على SLMs حول القوة الحسابية التي تتطلبها ، والتي تقل عن LLM. لذا ، فإنهم يقرضون أنفسهم أكثر تحديداً ، على الحافة. يمكن أن يكون على إنترنت الأشياء [internet of things] الجهاز أو التلفزيون الذي يدعم الذكاء الاصطناعي أو الهاتف الذكي حيث أن الطاقة الحسابية أقل بكثير. “
نشر SLMs على الحافة
يوافق Tal Zarfati ، المهندس المعماري الرئيسي في JFROG ، وهو مورد لسلسلة التوريد للبرمجيات باستخدام الذكاء الاصطناعي. لكن Zarfati يميز أيضًا بين النماذج الأصغر التي تعمل في مركز بيانات أو على البنية التحتية السحابية الخاصة وتلك التي تعمل على جهاز الحافة. ويشمل ذلك كل من الأجهزة الشخصية والمزيد من المعدات المتخصصة ، مثل الأجهزة الأمنية وجدران الحماية.
يقول Zarfati: “تجربتي من مناقشة نماذج اللغة الصغيرة مع عملاء المؤسسات هي أنها تميز ما إذا كان بإمكانهم تشغيل هذا النموذج داخليًا والحصول على تجربة مماثلة لنموذج لغة كبير مستضافة”. “عندما نتحدث عن نماذج ذات ملايين من المعلمات ، مثل نماذج Llama الأصغر ، فهي صغيرة جدًا مقارنة بـ ChatGPT4.5 ، لكنها لا تزال صغيرة بما يكفي لتشغيلها بالكامل على أجهزة الحافة.”
ويضيف: “إن قانون مور ، على الرغم من ذلك ، يدفع SLMs إلى الحافة:” يمكن استضافة نماذج أصغر داخليًا من قبل مؤسسة وسيكون أصغرها قادرة على الجري على أجهزة الحافة ، ولكن من المحتمل أن يصبح تعريف “صغير” أكبر مع مرور الوقت “.
يستثمر موردو الأجهزة في أجهزة “جاهزة للني الذكاء” ، بما في ذلك أجهزة سطح المكتب وأجهزة الكمبيوتر المحمولة ، بما في ذلك عن طريق إضافة وحدات المعالجة العصبية (NPUs) إلى منتجاتها. كما يشير Gartner’s Tamersoy ، فإن شركات مثل Apple لديها براءات اختراع على عدد من نماذج الذكاء الاصطناعى المتخصصين ، مضيفًا ؛ “نرى بعض الأمثلة على الجانب المحمول من القدرة على تشغيل بعض هذه الخوارزميات على الجهاز نفسه ، دون الذهاب إلى السحابة.”
يتم تشغيل هذا من خلال الاحتياجات التنظيمية لحماية البيانات ، والحاجة إلى إجراء معالجة أقرب ما يمكن من البيانات ، لتقليل مشكلات الاتصال والكمون. تم تبني هذا النهج من قبل Scibite ، وهو قسم من Elsevier يركز على بيانات علوم الحياة.
يقول Tamersoy: “إننا نشهد الكثير من التركيز على الذكاء الاصطناعي في عملية اكتشاف المخدرات. نحن نتحدث عن LLMs و SLMs ، وكذلك التعلم الآلي”.
“في أي سيناريو تريد استخدام SLM؟ تريد أن تعرف أن هناك مشكلة محددة يمكنك تحديدها. إذا كانت مهمة واسعة وأكثر تعقيدًا حيث يكون هناك سبب ثقيل مطلوب والحاجة إلى فهم السياق ، فربما تتمسك بـ LLM.
“إذا كانت لديك مشكلة محددة وكان لديك بيانات جيدة لتدريب النموذج ، فأنت بحاجة إلى أن تكون أرخص في التشغيل ، حيث تكون الخصوصية مهمة وربما تكون الكفاءة أكثر أهمية من الدقة ، أي المكان الذي ستنظر فيه إلى SLM.” يرى Tamersoy نماذج أصغر تستخدم في مرحلة مبكرة من البحث والتطوير ، مثل التنبؤ بالممتلكات الجزيئية ، حتى لتحليل المتطلبات التنظيمية.
في PA Consulting ، عملت الشركة مع موقع Sellafield Nuclear Processing لمساعدتهم على مواكبة اللوائح.
يقول بارليتا: “لقد قمنا ببناء نموذج لغة صغير لمساعدتهم على تقليل العبء الإداري”. “هناك تغييرات تنظيمية مستمرة يجب أخذها في الاعتبار. لقد أنشأنا نموذجًا لتقليل ذلك من أسابيع إلى دقائق. يحدد النموذج التغييرات ذات الصلة والتي تتأثر المستندات ، مما يمنح المهندسين شيئًا ما يجب تقييمه. إنه مثال كلاسيكي على حالة استخدام محددة مع مجموعات بيانات محدودة.”
مع نمو الأجهزة في السلطة وتصبح SLMs أكثر كفاءة ، فإن الاتجاه هو دفع نماذج أكثر قوة على الإطلاق من المستخدم النهائي.
“إنها مساحة متطورة” ، يقول Jith M. من Hexaware “لم أكن أعتقد قبل عامين أنه يمكنني تشغيل نموذج معلمة 70 مليار على بصمة كانت مجرد حجم راحة يدها … سيكون لدى الأجهزة الشخصية NPUS لتسريع منظمة العفو الدولية. ستسمح لنا الرقائق بتشغيل الطرز المحلية بسرعة كبيرة.
