إذا كنت تعمل مع البيانات، فمن المحتمل أن يكون لديك قائد يطرح نسخة من هذا السؤال: هل يمكننا توجيه ماجستير إدارة الأعمال إلى بياناتنا وجعله يحلل كل شيء لنا؟
إنه سؤال مفهوم. يريد القادة الحصول على إجابات أسرع دون الحاجة إلى إرسال كل سؤال عبر قائمة انتظار BI. إنهم يرون ما يمكن أن تفعله نماذج اللغات الكبيرة (LLMs) بالنص ويفترضون أن نفس النمط يجب أن ينطبق على بيانات الأعمال.
المشكلة هي أن بيانات المؤسسة لا تشرح نفسها.
لقد رأيت هذا أثناء اختبار محلل الذكاء الاصطناعي في مواجهة أسئلة العمل الحقيقية. أود أن أسأل ما هي الحسابات التي تمثل أكبر قدر من المخاطر في الربع الحالي أو ما هي الفرص التي من المرجح أن يتم إغلاقها خلال الثلاثين يومًا القادمة. استجاب النظام بثقة بأسماء الحسابات أو الفرص. وكان البعض مخطئا. بعضها ملفق. والبعض الآخر لم يكن له علاقة بالسؤال.
أنتج النظام إجابات دون فهم نطاق الطلب أو ما تعنيه الشركة بـ “في خطر” و”من المحتمل إغلاقه”. كما أنها لا تعرف ما إذا كان “الربع الحالي” يعني الأداء ربع السنوي حتى الآن أو النتائج المتوقعة بنهاية الربع.
لا يستطيع محلل الذكاء الاصطناعي فهم العمل لمجرد أنه يمكنه الوصول إلى المستودع. يمكنه كتابة SQL وإرجاع رقم يبدو موثوقًا به. ويكمن الخطر في ضرورة استنتاج منطق العمل وراء الإجابة. إذا لم تحدد الشركة هذا المنطق، فإن سوف يملأ النموذج الفجوة.
لم تقم معظم الشركات أبدًا بتوثيق كل منطق الأعمال هذا لأن المحللين ذوي الخبرة قدموه. كان فريق ذكاء الأعمال القوي يعرف أي قادة أرقام الإيرادات يثق بهم. لقد فهموا متى كانت لوحة القيادة جيدة للتوجيه ولكنها ليست آمنة لمراجعة التشغيل. لقد عرفوا متى تحتاج النتيجة إلى سياق قبل أن يتصرف أي شخص بناءً عليها.
في العديد من الشركات، كان المحلل هو الطبقة الدلالية.
يمكن أن ينجح هذا الترتيب عندما يظل نفس المحللين قريبين من العمل. تصبح مشكلة عندما يُتوقع من النظام أن يجيب من تلقاء نفسه. يُطلب الآن من LLM استخدام الحكم الذي لم تصدره المنظمة مطلقًا.
يصعب اكتشاف المشكلة عندما لا تكون الإجابة معطلة بشكل واضح. يمكن أن يبدو الأمر معقولًا بينما يكون خاطئًا بطريقة تؤثر على العمل.
أ الطبقة الدلالية المحددة يساعد. يزود النظام بالتعريفات المعتمدة والمنطق الذي يربطها بالبيانات. ولكن لا يزال يتعين تطبيق هذه التعريفات على الوضع الصحيح. قد يستخدم النموذج تعريف الإيرادات الصحيح ويختار فترة زمنية خاطئة. قد يحسب الأداء بدقة، لكنه لا يزال يسيء فهم ما يحاول القائد اتخاذ قرار بشأنه.
يمكن أن تكون البيانات صحيحة. يمكن أن يكون التعريف صحيحا. من الممكن أن تكون الإجابة خاطئة.
ما وراء الطبقة الدلالية
يمكن للطبقة الدلالية أن تحدد ما يعتبر حسابًا معرضًا للخطر أو ما يجعل الفرصة محتملة للإغلاق. تخبر الطبقة السياقية النظام ما إذا كانت هذه التعريفات تنطبق على السؤال المطروح. قد يفي الحساب بمعايير المخاطر الرسمية ولا يزال يقع خارج الفترة التي يحاول القائد إدارتها. التعريف صالح؛ تطبيقه خاطئ.
يتغير هذا السياق أيضًا بمرور الوقت. قد لا يعد التعريف المعتمد في بداية ربع السنة مناسبًا بعد تغيرات التوقعات أو تغيير القيادة للقرار الذي تحاول اتخاذه. يحتاج النظام إلى معرفة السياق الحالي والافتراضات التي انتهت صلاحيتها. وبخلاف ذلك، يمكن أن يطبق افتراضًا قديمًا بشكل صحيح ويستمر في تقديم إجابة خاطئة.
اعتاد المحللون على تقديم هذا الحكم كجزء من عملهم. لقد عرفوا متى كان التعريف صحيحًا من الناحية الفنية، لكنهم ظلوا مخطئين بالنسبة للقرار المعروض عليهم. يحتاج محلل الذكاء الاصطناعي إلى إتاحة هذا الحكم قبل طرح السؤال. إذا كان على الشخص إعادة بنائه في كل مرة، فإن النظام يفقد الكثير من السرعة التي كان من المفترض أن يخلقها.
يحتاج الوكيل أيضًا إلى قواعد تشغيل للتعامل مع السياق غير المكتمل أو المتعارض. تحدد هذه القواعد متى يمكن للوكيل الاستمرار ومتى يكون عدم اليقين كبيرًا بدرجة كافية ليتدخل الشخص. كما أنها تمنع الإشارات المؤقتة من أن تصبح بهدوء منطق عمل دائم.
ملكية الأعمال لا تختفي
لا يمكن لأصحاب الأعمال مراجعة كل إجابة دون أن يصبحوا عنق الزجاجة. إنهم بحاجة إلى مراجعة نتائج الاختبار والتقييم عبر العديد من الإجابات وفهم متى تغير السياق وراء تلك الإجابات.
تحافظ الشركة على هذا السياق من خلال ربط كل تعريف بالقرار والفترة التي تم بناؤه من أجلها. عندما يتغير أي من هذه الأمور، يتم وضع علامة على السياق المتأثر لمراجعة الأعمال.
ويجب أن تغطي هذه المراجعة أيضًا عملية التقييم نفسها. إذا تغيرت النتيجة، فيمكن للنظام تحسين درجاته بينما يتحسن في المهمة الخاطئة. في حين أن النظام يمكنه جمع معلومات جديدة واقتراح التغييرات، فإن التحديثات المادية للسياق لا تزال بحاجة إلى موافقة الأعمال.
وتقع هذه المسؤولية على عاتق صاحب العمل. يمكن للهندسة أن تبني النظام بشكل صحيح ويمكن للنظام أن يعمل تمامًا كما تم تصميمه، في حين أن الافتراضات الموجودة تحته خاطئة.
اعتاد المحللون على تحمل الكثير من هذه المسؤولية من خلال الخبرة. مع محلل الذكاء الاصطناعي، العمل يجب أن يمتلك الحكم وراء الإجابة وتحديد متى يحتاج هذا الحكم إلى التغيير.
من يملك المنطق الكامن وراء إجابات الذكاء الاصطناعي الخاصة بك؟ اسمحوا لنا أن نعرف: [email protected].
