تعمل نماذج اللغة الكبيرة (LLMS) و AI التوليدي على تغيير طريقة عمل الشركات – وكيفية إدارة المعلومات واستخدامها. إنهم يدخلون مكاسب الكفاءة والتحسينات النوعية التي كان من الممكن تصورها قبل بضع سنوات فقط.
ولكن كل هذا التقدم يأتي مع تحذير. نماذج الذكاء الاصطناعي التوليدي أحيانًا الهلوسة. أنها تصنع الحقائق ، وتوفر تأكيدات غير دقيقة وواقع تحريف. يمكن أن تؤدي الأخطاء الناتجة إلى تقييمات معيبة وضعف اتخاذ القرارات وأخطاء الأتمتة والمرض بين الشركاء والعملاء والموظفين.
“نماذج اللغة الكبيرة هي بشكل أساسي التعرف على الأنماط وتوليد الأنماط” ، كما يشير فان ل. بيكر ، نائب رئيس الأبحاث في غارتنر. “ليس لديهم فهم صفري للمحتوى الذي ينتجونه.”
يضيف Mark Blankenship ، مدير المخاطر في Willis A&E: “لا أحد سيقوم بإنشاء الدرابزين لك. من الأهمية بمكان أن يقوم البشر بالتحقق من المحتوى من نظام الذكاء الاصطناعي. يمكن أن يؤدي الافتقار إلى الرقابة إلى انهيار مع تداعيات في العالم الحقيقي. ”
وعود كاذبة
بالفعل، 92 ٪ من الشركات 500 تستخدم chatgpt. عندما تصبح أدوات Genai مضمنة عبر العمليات التجارية – من chatbots وأدوات البحث إلى محركات توليد المحتوى – المخاطر المرتبطة بالتكنولوجيا مضاعفة.
“هناك عدة أسباب تجعل الهلوسة تحدث ، بما في ذلك الأخطاء الرياضية ، والمعرفة القديمة أو بيانات التدريب وعدم القدرة على التفكير في الرمز” “، يوضح كريس كالسون-بورش ، أستاذ علوم الكمبيوتر والمعلومات في جامعة بنسلفانيا. على سبيل المثال ، قد يعامل النموذج المحتوى الساخرة على أنه واقعية أو يسيء تفسير كلمة يمكن أن تحتوي على سياقات مختلفة.
بغض النظر عن السبب الجذري ، يمكن أن تؤدي الهلوسة من الذكاء الاصطناعى إلى الأذى المالي ، والمشاكل القانونية ، والعقوبات التنظيمية ، والأضرار التي لحقت بالثقة والسمعة التي تمتد إلى الشركاء والعملاء.
في عام 2023 ، مدينة نيويورك المحامي باستخدام chatgpt رفعت دعوى قضائية تحتوي على أخطاء فظيعة ، بما في ذلك الاستشهادات والقضايا القانونية ملفقة. فرض القاضي في وقت لاحق المحامي وفرض غرامة قدرها 5000 دولار. في عام 2024 ، طيران كندا فقدت دعوى عندما فشلت في تكريم السعر نقلت chatbot إلى العميل. أسفرت القضية عن أضرار طفيفة ودعاية سيئة.
في مركز المشكلة هو حقيقة أن نماذج LLMS و GENAI الانحدار التلقائي، وهذا يعني أنهم يرتبون الكلمات والبكسل منطقيا دون فهم متأصل لما يخلقونه. يقول جين كوسار ، زعيم ضمان AI في الولايات المتحدة في PWC: “إن الهلوسة الذكاء الاصطناعى ، المرتبطة بالجيناي ، تختلف عن أخطاء البرمجيات التقليدية والأخطاء البشرية لأنها تولد معلومات خاطئة ولكن معقولة بدلاً من الفشل بطرق يمكن التنبؤ بها”.
يمكن أن تكون المشكلة صارخة بشكل خاص في النماذج العامة المستخدمة على نطاق واسع مثل ChatGPT و Gemini و Copilot. يقول بيكر: “تم تدريب أكبر النماذج على نص متاح للجمهور من الإنترنت”. نتيجة لذلك ، فإن بعض المعلومات التي يتم تناولها في النموذج غير صحيحة أو متحيزة. “تصبح الأخطاء صفائف رقمية تمثل الكلمات في قاعدة بيانات المتجه ، ويسحب النموذج الكلمات التي يبدو أنها منطقية في السياق المحدد.”
نماذج LLM الداخلية معرضة لخطر الهلوسة أيضًا. “يمكن أن تؤدي الأخطاء التي تم إنشاؤها من الذكاء الاصطناعى في نماذج التداول أو تقييمات المخاطر إلى سوء تفسير اتجاهات السوق ، والتنبؤات غير الدقيقة ، أو تخصيص الموارد غير الفعال أو الفشل في حساب الأحداث النادرة ولكن المؤثرة” ، يوضح Kosar. هذه الأخطاء يمكن أن تعطل التنبؤ بالمخزون وتخطيط الطلب من خلال إنتاج تنبؤات غير واقعية ، أو إساءة تفسير الاتجاهات ، أو توليد قيود كاذبة في العرض ، كما تلاحظ.
أذكى الذكاء الاصطناعي
على الرغم من عدم وجود حل بسيط للهلوسة من الذكاء الاصطناعي ، يقول الخبراء إن قادة الأعمال وتكنولوجيا المعلومات يمكنهم اتخاذ خطوات للحفاظ على المخاطر قيد الفحص. يقول كوسار: “طريقة تجنب المشكلات هي تنفيذ ضمانات تحيط بأشياء مثل التحقق من صحة النموذج والمراقبة في الوقت الفعلي والرقابة البشرية واختبار الإجهاد من أجل الحالات الشاذة”.
نماذج التدريب مع البيانات ذات الصلة والدقيقة فقط أمر بالغ الأهمية. في بعض الحالات ، من الحكمة توصيل البيانات الخاصة بالمجال فقط وبناء نظام Genai أكثر تخصصًا ، كما يقول Kosar. في بعض الحالات ، أ نموذج لغة صغير (SLM) يمكن دفع أرباح الأسهم. على سبيل المثال ، “من الذكاء الاصطناعى الذي يتم ضبطه مع سياسات الضرائب وبيانات الشركة سوف تتعامل مع مجموعة واسعة من الأسئلة المتعلقة بالضريبة على مؤسستك بشكل أكثر دقة” ، كما أوضحت.
تحديد المواقف الضعيفة أمر بالغ الأهمية أيضًا. ويشمل ذلك المناطق التي من المرجح أن تؤدي فيها الذكاء الاصطناعي إلى حدوث مشاكل أو تفشل بشكل مباشر. يقترح كوسار مراجعة وتحليل العمليات وسير العمل التي تتقاطع مع الذكاء الاصطناعي. على سبيل المثال ، “قد يقدم chatbot خدمة العملاء إجابات غير صحيحة إذا سأل شخص ما التفاصيل الفنية لمنتج لم يكن جزءًا من بيانات التدريب الخاصة به. إن إدراك هذه البقع الضعيفة يساعد على منع الهلوسة “.
يقول بيكر إن الدرابزينات المحددة ضرورية أيضًا. ويشمل ذلك وضع قواعد وقيود لأنظمة الذكاء الاصطناعى وإجراء عمليات التدقيق باستخدام أدوات الاختبار المعززة من الذكاء الاصطناعي. كما أنه يركز على آليات التحقق من الحقائق وآلية فاشلة مثل استرجاع الجيل المعزز (خرقة) ، التي تمشط الإنترنت أو قواعد البيانات الموثوقة للحصول على معلومات إضافية. إن تضمين البشر في الحلقة وتوفير الاستشهادات التي تتحقق من دقة البيان أو المطالبة يمكن أن تساعد أيضًا.
أخيرًا ، يجب على المستخدمين فهم حدود الذكاء الاصطناعي ، ويجب على المؤسسة تحديد التوقعات وفقًا لذلك. “إن تعليم الناس كيفية تحسين مطالباتهم يمكن أن يساعدهم في الحصول على نتائج أفضل ، وتجنب بعض مخاطر الهلوسة” ، يوضح كوسار. بالإضافة إلى ذلك ، تقترح أن تتضمن المؤسسات أدوات التغذية المرتدة بحيث يمكن للمستخدمين الإبلاغ عن الأخطاء واستجابات الذكاء الاصطناعي غير العادي. يمكن أن تساعد هذه المعلومات الفرق على تحسين نموذج الذكاء الاصطناعي وكذلك آلية التسليم ، مثل chatbot.
الحقيقة والعواقب
بنفس القدر من الأهمية ، تتبع مساحات LLM و Genai المتطورة بسرعة وفهم نتائج الأداء عبر نماذج مختلفة. في الوقت الحاضر ، تقريبا يوجد اثنان من LLMs الرئيسية، بما في ذلك Chatgpt ، Gemini ، Copilot ، Llama ، Claude ، Mistral ، Grok ، و Deepseek. كما غمرت مئات البرامج المتخصصة الأصغر سوق التطبيقات. بغض النظر عن النهج الذي تطلبه المنظمة ، “في المراحل المبكرة من التبني ، قد يكون هناك قدر من الإشراف على الإنسان أكبر في حين أن الفرق تتجول في المخاطر” ، كما يقول كوسار.
لحسن الحظ ، أصبحت المنظمات أكثر جاذبية حول كيفية استخدام AI وأين تستخدمها ، والعديد منها تقوم ببناء أطر أكثر قوة تقلل من تواتر وشدة الهلوسة. في الوقت نفسه ، تنضج برامج البائعين والمشاريع المفتوحة المصدر. يختتم Blankenship: “يمكن لمنظمة العفو الدولية أن تخلق مخاطر وتخفيف المخاطر. الأمر متروك للمنظمات لتصميم الأطر التي تستخدمها بأمان وفعالية. ”
