المشكلة الأساسية في الذكاء الاصطناعي هي أنه، حسنًا، صناعي. تعتمد أنظمة الذكاء الاصطناعي التوليدية ونماذج اللغات الكبيرة (LLMs) على الأساليب الإحصائية بدلاً من المعرفة الجوهرية للتنبؤ بنتائج النص. ونتيجة لذلك، فإنهم في بعض الأحيان يلفقون الأكاذيب والأخطاء والأشياء الهلوسة.
إن هذا النقص في المعرفة الواقعية له تداعيات تمتد عبر المجالات والصناعات. يمكن أن تكون المشاكل مؤلمة بشكل خاص في مجالات مثل التمويل والرعاية الصحية والقانون وخدمة العملاء. يمكن أن تؤدي النتائج السيئة إلى قرارات تجارية سيئة، وغضب العملاء، وإهدار الأموال.
ونتيجة لذلك، تتجه المنظمات إلى استرجاع-الجيل المعزز (خرقة). بحسب ديلويت تقرير، ما يزيد عن 70٪ من المؤسسات تقوم الآن بنشر إطار العمل لزيادة ماجستير إدارة الأعمال. يقول جاتين ديف، المدير الإداري للذكاء الاصطناعي والبيانات في شركة ديلويت: “إنه أمر ضروري لتحقيق الفوائد الكاملة للذكاء الاصطناعي وإدارة التكاليف”.
تكمن جاذبية RAG في أنها تدعم عملية اتخاذ القرار بشكل أسرع وأكثر موثوقية. كما أنه يطالب بالشفافية وتوفير الطاقة. مع اشتداد المشهد التجاري التنافسي وتحول الذكاء الاصطناعي إلى أداة تميز المؤسسات، تبرز مجموعة RAG كأداة مهمة في ترسانة الذكاء الاصطناعي.
يقول سكوت ليكينز، الرئيس الأمريكي والعالمي لهندسة الذكاء الاصطناعي في شركة PwC: “تُحدث RAG ثورة في الذكاء الاصطناعي من خلال الجمع بين دقة نماذج الاسترجاع وإبداع النماذج التوليدية”.
مسائل RAG
ما يجعل RAG قويًا جدًا هو أنه يجمع بين نظام ذكاء اصطناعي مُدرب ومعلومات في الوقت الفعلي، عادةً من قاعدة بيانات منفصلة. يوضح ليكينز: “يعزز هذا التآزر كل شيء بدءًا من دعم العملاء وحتى تخصيص المحتوى، مما يوفر تفاعلات أكثر دقة ووعيًا بالسياق”.
تعمل RAG على زيادة احتمالات دقة النتائج وتحديثها عن طريق التحقق من المصادر الخارجية قبل تقديم الرد على الاستعلام. كما أنه يقدم قدرًا أكبر من الشفافية للنماذج من خلال إنشاء روابط يمكن للإنسان التحقق من دقتها. ثم هناك حقيقة أن RAG يمكنه تقليل الوقت المطلوب للحصول على المعلومات، وتقليل الحمل الحسابي والحفاظ على الطاقة.
ويشير ديف إلى أن “RAG يتيح إمكانية البحث من خلال عدد كبير جدًا من المستندات دون الحاجة إلى الاتصال بـ LLM أثناء عملية البحث”. “يعد بحث RAG أيضًا أسرع من رموز معالجة LLM. وهذا يؤدي إلى أوقات استجابة أسرع من نظام الذكاء الاصطناعي.
وهذا يجعل RAG ذا قيمة خاصة للتعامل مع أنواع متنوعة من البيانات من مصادر مختلفة، بما في ذلك كتالوجات المنتجات والصور الفنية ونصوص المكالمات ومستندات السياسة وبيانات التسويق والعقود القانونية. والأكثر من ذلك، أن التكنولوجيا تتطور بسرعة، كما يقول ديف. تم تجهيز RAG بشكل متزايد لإدارة مجموعات بيانات أكبر والعمل ضمن أطر عمل سحابية معقدة.
على سبيل المثال، يمكن لـ RAG الجمع بين البيانات الطبية أو الوبائية العامة الموجودة في LLM مع معلومات محددة عن المريض لتقديم توصيات أكثر دقة واستهدافًا. يمكنه توصيل العميل باستخدام chatbot بنظام المخزون أو بيانات التسليم واللوجستيات التابعة لجهة خارجية لتوفير تحديث فوري حول الشحنة المتأخرة. يمكن لـ RAG أيضًا تخصيص توصيات التسويق والمنتجات، بناءً على النقرات أو عمليات الشراء السابقة.
والنتيجة هي مستوى أعلى من التخصيص والسياق. يقول ليكينز: “يمكن لـ RAG تصميم مخرجات نموذج اللغة وفقًا لمعارف مؤسسية محددة وتعزيز القدرات الأساسية لـ LLM”. ومع ذلك، كل هذا لا يأتي دون ربطه بخيط. “يضيف RAG التعقيد إلى إدارة المعرفة. فهو يتطلب التعامل مع نسب البيانات، والإصدارات المتعددة من نفس المصدر، وانتشار البيانات عبر وحدات العمل والتطبيقات المختلفة.
ما وراء Chatbot
قد يكون تصميم إطار عمل RAG فعال أمرًا صعبًا. يقول ليكينز إنه على الجانب التكنولوجي، هناك العديد من المكونات الأساسية. وهذا يشمل قواعد بيانات المتجهات, تزامن، أ أداة معالجة المستندات، و أ خطوط أنابيب معالجة البيانات المتدرجة“.
ويقول ليكينز إنه من المهم أيضًا اعتماد الأدوات التي تعمل على تبسيط عملية تطوير RAG وتحسين دقة المعلومات. وتشمل هذه حلول الاسترجاع الهجينوتتبع التجارب وأدوات شرح البيانات. تتوفر عادةً أدوات أكثر تقدمًا، مثل LLMs وقواعد البيانات المتجهة وخط أنابيب البيانات وأدوات سير العمل الحسابية من خلال أدوات التوسع الفائقة وموفري SaaS
يقول ليكينز: “لا يوجد خط أنابيب RAG واحد يناسب الجميع، لذلك ستكون هناك دائمًا حاجة لتكييف التكنولوجيا مع حالة الاستخدام المحددة”.
ومن المهم بنفس القدر رسم خط أنابيب للبيانات والمعلومات. التقطيع — يعد تقسيم البيانات إلى سلاسل أصغر يمكن لـ LLM معالجتها — أمرًا ضروريًا. هناك أيضا حاجة ل ضبط دقيق نموذج اللغة حتى يتمكن من وضع بيانات RAG في سياقها، ومن المهم تكييف أوزان النموذج أثناء عمليات ما بعد التدريب.
يوضح بن إليوت، نائب رئيس الأبحاث في شركة Gartner: “يركز الأشخاص عادةً على نموذج LLM، ولكن قاعدة البيانات هي التي تسبب غالبًا معظم المشكلات، لأنه، على عكس البشر، فإن حاملي LLM ليسوا جيدين في معرفة المجال”. “يقرأ الإنسان شيئًا ويعرف أنه منطقي دون أن يفهم كل تفاصيله.”
يقول إليوت إن التركيز على البيانات الوصفية وإبقاء البشر على اطلاع بالأمر أمر بالغ الأهمية. عادةً ما يتضمن ذلك مهام مثل ترتيب الرتب والتأريض الذي يرسخ النظام في العالم الحقيقي – ويزيد من احتمالات أن تكون مخرجات الذكاء الاصطناعي ذات معنى وذات صلة بالسياق. على الرغم من عدم وجود طريقة للوصول إلى دقة 100% باستخدام RAG، فإن المزيج الصحيح من التكنولوجيا والعمليات – بما في ذلك استخدام الحواشي السفلية حتى يتمكن البشر من مراجعة المخرجات – يعزز احتمالات أن تقدم LLM قيمة.
التصاميم على البيانات
لا توجد طريقة واحدة للتعامل مع RAG. يقول ليكينز: من المهم إجراء التجربة، لأن النظام قد لا يولد في البداية المعلومات أو الاستجابة الصحيحة لسبب مناسب. ومن الحكمة أيضًا إيلاء اهتمام وثيق لتحيزات البيانات والاعتبارات الأخلاقية، بما في ذلك خصوصية البيانات. البيانات غير المنظمة تزيد من المخاطر. ويشير إلى أنه “قد يحتوي على معلومات تعريف شخصية (PII) أو معلومات حساسة أخرى”.
المنظمات التي تحصل على المعادلة الصحيحة تأخذ LLMs إلى مستوى أكثر وظيفية وقابلية للحياة. إنهم قادرون على تحقيق المزيد بموارد أقل. يُترجم هذا إلى إطار عمل Gen AI أكثر مرونة ومرونة مع ضبط أقل دقة. “إن RAG تساوي ساحة اللعب بين نماذج اللغات الكبيرة جدًا التي تتجاوز 100 مليار معلمة والنماذج الأكثر إحكاما المكونة من 8 معلمات” [billion] إلى 70 مليار معلمة… يمكن للمؤسسات تحقيق نتائج مماثلة مع قدر ضئيل جدًا من المفاضلة في الأداء.
وبطبيعة الحال، RAG ليس المنقذ. يقول ديف إن ذلك لا يمكنه تحويل شهادة LLM المتواضعة إلى قوة تحويلية. والأكثر من ذلك، أن العديد من جوانب الخبرة التجارية ليست مدمجة في المستندات الرقمية، وقد يكون الاعتماد المفرط على التكنولوجيا مشكلة. ويخلص إلى أن “البحث الدلالي قوي للغاية”. وفي السنوات المقبلة، “ستصبح التركيبات المستندة إلى RAG عنصرًا رئيسيًا في مجموعة التكنولوجيا في كل مؤسسة.”
