كانت صوامع البيانات تعاني من المنظمات منذ ما قبل تحليل البيانات الذهب. للأسف ، تظل صوامع البيانات مشكلة في العديد من المنظمات ، والتي تشكك في موثوقية مخرجات الذكاء الاصطناعي.
يقول مايكل بيرثولد ، الرئيس التنفيذي والمؤسس المشارك لمزود منصة البيانات ، مثل العميل أو الموظف ، أو مجرد مستخدم واحد “. ركبة. “على سبيل المثال ، يكافح الوكلاء مع مصادر البيانات المعزولة ، [like] الاضطرار إلى الانتقال إلى CRM لمعرفة معلومات حول الشركة وتاريخ العقد الحالي ، ثم انتقل إلى نظام الدعم لمعرفة المزيد حول المشكلات الفنية المستمرة ، ثم تحقق أيضًا من المنتدى عبر الإنترنت لمعرفة ما إذا كان موظفو العميل ينشرون شيئًا هناك. ”
وفق دراسة استقصائية حديثة غارتنر، 63 ٪ من المنظمات إما لا تملك أو غير متأكد إذا كانت لديهم ممارسات إدارة البيانات الصحيحة من أجل الذكاء الاصطناعي. في الواقع ، يتوقع Gartner أنه حتى عام 2026 ، ستتخلى المنظمات عن 60 ٪ من مشاريع الذكاء الاصطناعى غير مدعومةبيانات جاهزة من الذكاء الاصطناعي.
كيف تتشكل صوامع البيانات وماذا تفعل حيالها
يحاول بائعو الأدوات جعل تدفق البيانات بين الأنظمة أسهل من خلال توفير التكامل مع أدوات أخرى. وبالمثل ، سيستفيد الوكيل من الحصول على مكان واحد للذهاب للحصول على معلومات حول العميل.
مايكل بيرثولد ، ركبة
مايكل بيرثولد ، ركبة
يقول بيرثولد: “في عالم مثالي ، سيتم دمج جميع البيانات. كان هذا هو وعد مستودعات البيانات منذ سنوات ، وما زال ما يتم وعودته. خاصة الشركات التي لديها المزيد من البيانات والأنظمة القديمة ستستمر في الحصول على صوامع البيانات”.
تتطلب نماذج الذكاء الاصطناعي بيانات عالية الجودة لتقديم الأداء الأمثل. تؤدي البيانات الضعيفة إلى نماذج منخفضة الأداء ، والتي يمكن أن تكلف المؤسسات عشرات الملايين من الدولارات أو أكثر ، وفقًا لجوردون روبنسون ، مدير كبير في إدارة البيانات في Data و AI Solution ساس.
يقول روبنسون: “البيانات غير المتسقة عبر الصوامع تعني أن أجزاء مختلفة من المؤسسة قد تتبع بيانات مماثلة بشكل مستقل ، مما يؤدي إلى تباينات وعدم وجود مصدر واحد للحقيقة”. “يمكن أن تؤدي صوامع البيانات أيضًا إلى تدريب غير مكتمل على نموذج الذكاء الاصطناعي. عندما يتم تدريب نماذج الذكاء الاصطناعى على البيانات المجزأة بدلاً من مجموعة بيانات شاملة ، فإنها تفشل في الوصول إلى إمكاناتها الكاملة وتقديم رؤى مثالية.”
جوش وينك ، مهندس مبيعات في منصة أتمتة الأمن السيبراني التي تعمل بمنظمة العفو الدولية وميض العمليات شهدت الحالات التي لا يستطيع فيها chatbot تقديم دعم دقيق للعملاء لأنه لا يمكنه الوصول إلى المبيعات أو بيانات المنتجات التي تعيش في نظام منفصل في قسم آخر.
يقول وينك: “إن معظم الصوامع ناتجة عن مزيج من البنية التحتية القديمة والثقافة التنظيمية ومعايير البيانات غير المتسقة. عندما تتشبث الفرق بأنظمةها وتعريفاتها ، أو عندما لا تتكامل التكنولوجيا القديمة بشكل جيد مع منصات الذكاء الاصطناعي الحديثة ، فمن السهل على الصوامع تشكيلها”. “يمكن أن تلعب عمليات الدمج والاستحواذ أيضًا دورًا. غالبًا ما تجلب وحدات الأعمال المكتسبة حديثًا مداخنها التقنية الخاصة بها ، والتي تبقى معزولة ما لم تعطي القيادة الأولوية للتكامل.”
بدون قيادة المشاركة وثقافة مشاركة البيانات ، تميل الإدارات إلى حماية بياناتها.
آشوين راجيفا ، المؤسس المشارك و CTO في شركة قابلية مراقبة بيانات المؤسسة acceldata يقول أن صوامع البيانات تقيد وصول الذكاء الاصطناعى إلى بيانات كاملة عالية الجودة ، والتي تؤدي إلى نماذج متحيزة ورؤى غير متناسقة وأتمتة غير موثوقة.
يقول Rajeeva: “تجعل مجموعات البيانات المجزأة من الصعب على وكلاء الذكاء الاصطناعي فهم السياق ، مما يقلل من فعاليتها في صنع القرار وتأثير الأعمال”. “إن القضاء على الصوامع ضروري لتوسيع نطاق الذكاء الاصطناعي وتحسين الكفاءة وتقديم قيمة للمؤسسة ذات معنى.”
الأسباب الجذرية لمشكلة الوصول إلى البيانات هي البنية التحتية القديمة ، والبيئات متعددة السوائل ، وملكية البيانات اللامركزية ، وإقامة الحكم الضعيف.
“إن استراتيجية AI الأولى التي تركز على الحوكمة ، وقابلية التشغيل البيني ، والقابلية للملاحظة هي المفتاح. يجب على المؤسسات تنفيذ اختبارات جودة البيانات الآلية ، ومراقبة الوقت في الوقت الفعلي وتتبع النسب لضمان عمل نماذج الذكاء الاصطناعى على بيانات دقيقة ومتسقة. يقول Rajeeva.
يقول Gokul Naidu ، المدير الأول في SAP ، إن الصوامع يمكن أن تسبب فجوات في التدريب النموذجي وقد تتطلب توحيدًا يدويًا أو طلبات العرض المتقاطع.
يقول نايدو: “بحلول الوقت الذي يتم فيه دمج المعلومات ، قد تصبح قديمة بالفعل ، مما يبطئ حلقة التغذية المرتدة للتحسينات التي تعتمد على الذكاء الاصطناعي وتقليل العائد على الاستثمار المحتملة”. “عندما أرتدي قبعة Finops ، أرى أن الصوامع تحجب قيمة اقتصاديات الوحدة ، مثل التكلفة لكل معاملة ، وتكلفة لكل مستخدم ، والحد من القدرة على قياس كيفية مساهمة كل خدمة أو ميزة في قيمة العمل الإجمالية.”
في رأيه ، تساهم المقاومة الثقافية للمشاركة ، والافتقار إلى المعايير والحوكمة ، والتطبيقات القديمة ، والديون الفنية في تجزئة البيانات ، مما يجعل من الصعب وضع استراتيجية بيانات موحدة. للتغلب عليهم ، يقترح القيام بالعكس ، وهو ما يعزز ثقافة المشاركة ، والاستراتيجية الموحدة للبيانات ، واستخدام الأتمتة والملاحظة.
بول غرايف ، الرئيس التنفيذي في مزود خدمات نظام تكنولوجيا المعلومات مجموعة البيانات يشير إلى أنظمة SaaS. على وجه التحديد ، لا تستثمر المؤسسات الوقت والطاقة والأموال اللازمة لتحميل بيانات SaaS في مستودع البيانات حيث يمكن للمؤسسة امتلاك البيانات وتنظيفها واستخدام البيانات بشكل فعال لأي مبادرة تجارية مهمة.
يقول جرايف: “يتم إغلاق بياناتك في جميع منصات SaaS المنتشرة في جميع أنحاء العالم. قد يكون هذا أمرًا مخيفًا بالنظر إلى أن بياناتك هي أصولك الأكثر قيمة”. “الطريقة الوحيدة التي يمكنك من خلالها استخدام بياناتك بفعالية وكفاءة لعلاق الذكاء الاصطناعي والتحليلات والبوابات-لأي مبادرة-هي توحيد جميع بياناتك في مستودع بيانات واحد من صحيفة الحقيقة. حتى يكون لديك بياناتك في مكان واحد يمكنك من خلاله رؤيتها ، وإصلاحها ، واستخدامها بكفاءة ، فأنت ستنجح في تنفيذ أي بداية AI”.
بول غرايف ، مجموعة البيانات
بول غرايف ، مجموعة البيانات
أرماندو فرانكو ، مدير خدمات تحديث الأعمال في Teksystems الخدمات العالميةيقول صوامع البيانات تحد من الوصول إلى بيانات التدريب الشاملة ، وتقليل دقة النموذج ، وإدخال التناقضات بسبب الحوكمة المتضاربة والازدواجية. كما أنها تخلق أوجه القصور في الأتمتة وصنع القرار ، حيث يتطلب وكلاء الذكاء الاصطناعى الوصول في الوقت الفعلي إلى البيانات الموحدة. بالإضافة إلى ذلك ، فإن البيانات المجزأة تطرح مخاطر الأمن والامتثال ، مما قد يؤدي إلى انتهاكات تنظيمية إذا لم يتم تطبيق الحوكمة بشكل صحيح.
يقول فرانكو: “تنبع هذه التحديات من البنية التحتية التي عفا عليها الزمن ، وتفتيت وحدة الأعمال ، وعدم وجود استراتيجية بيانات موحدة”. “لم تكن الأنظمة القديمة مصممة للتشغيل البيني ، في حين أن الإدارات المختلفة التي تستخدم أدوات متخصصة تخلق حواجز أمام التكامل. وبدون الحكم المركزي ، فإن المؤسسات تكافح مع إدارة البيانات غير المتسقة ، وتؤدي مبادرات الذكاء الاصطناعية إلى الجهود المكررة وتنفيذ مخرجات النموذج المتضاربة.
لماذا تكافح بعض الشركات أكثر من غيرها
كلما طال أمد المنظمة ، زاد احتمال أن تكافح مع صوامع البيانات.
يقول بيرثولد في Knime: “إذا كانت الشركة موجودة لفترة من الوقت ، فستكون لديها أدوات وأنظمة مختلفة ، وفعل توحيد كل شيء محكوم عليه منذ البداية. والأسوأ من ذلك ، إذا اشترت تلك الشركة شركات أخرى في السنوات الأخيرة التي جلبت أدواتها وحلول البيانات الخاصة بها”. “لا تحلم بانتظار مستودع البيانات الشهير لحل كل شيء. لا تحاول وضع ضمادة على المشكلة من خلال البدء في نسخ البيانات بحيث ينشئ كل شيء مستنقعًا في موقع مركزي واحد.”
بدلاً من ذلك ، من المهم أن يكون لديك تكامل للبيانات وتجميع الطبقة والتحليلات في مكان يتيح للجميع ووكلاء الذكاء الاصطناعى الوصول إلى عرض موحد. يقول بيرثولد إن على المؤسسات أن تضمن أن التكنولوجيا الواردة في تلك الطبقة موثقة جيدًا حتى يتمكن الزملاء في المستقبل من فهم وظائفها وتحديثها عند إضافة تحركات البيانات أو إضافة مصادر بيانات جديدة.
وفقًا لـ SAS ‘Robinson ، غالبًا ما تتشكل صوامع البيانات داخل المؤسسات حول المنتجات أو وظائف الأعمال ، حيث لا تزال العديد من المؤسسات تكافح من أجل فتح الإمكانات الكاملة لبياناتها.
يقول روبنسون: “إن أفضل طريقة للتغلب على هذه التحديات هي تنفيذ إطار قوي للحوكمة للبيانات داخل مؤسستك. مع زيادة المتطلبات التنظيمية وارتفاع تواتر وتكلفة انتهاكات البيانات ، لم تعد حوكمة البيانات القوية خيارًا – إنها ضرورة”. “يبدأ برنامج حوكمة البيانات الناجح بفهم البيانات التي لديك ، وتقييم جودتها وتتبع كيفية استخدامها في جميع أنحاء المؤسسة.”
بالإضافة إلى ذلك ، يمكن أن تساعد التقنيات مثل دقة الكيان في إنشاء عرض واحد موحد للبيانات من خلال دمج المعلومات من الصوامع المتباينة إلى مستودع مركزي. ومع ذلك ، فإن العديد من المنظمات لم تستثمر بعد في حوكمة البيانات القوية. وفي الوقت نفسه ، تظهر حوكمة الذكاء الاصطناعى باعتبارها تركيزًا حاسمًا ، خاصة مع استمرار تطور لوائح الذكاء الاصطناعي الجديدة.
يقول روبنسون: “يجب بناء حوكمة الذكاء الاصطناعى الفعالة على أساس متين من حوكمة البيانات القوية”. “إذا لم تكن قد استثمرت في حوكمة البيانات أو أن النظام الأساسي الحالي الخاص بك يفتقر إلى المتانة ، فيجب أن يكون هذا هو أولويتك القصوى. لم يعد اختياريًا. إنها ضرورة أساسية لأي منظمة تعتمد على البيانات اليوم.”
بالإضافة إلى ذلك ، يقول Blink Ops ‘Weinick إنه يجب على المؤسسات الاستعداد للاستثمار في تكامل البيانات الحديثة وإدارة البيانات الوصفية ووضع أطر أمان وإدارة قوية من البداية ، لذلك لا تخلق المخاوف حول الامتثال أو الانتهاكات تأخيرات ضخمة.
يقول وينك: “الأهم من ذلك ، التركيز على زراعة عقلية متعددة الوظائف”. “إظهار انتصارات سريعة من خلال الجمع بين مجموعتين من البيانات المليئة لمعالجة مشكلة العمل الملحة ، ثم الاحتفال وتوسيع نطاق تلك النجاحات عبر المؤسسة.”
