تُعَد صومعة البيانات مستودعًا للبيانات يتم التحكم فيه بواسطة قسم أو وحدة عمل واحدة ومعزولة عن بقية المؤسسة، تمامًا مثل العشب والحبوب في صومعة المزرعة التي تكون مغلقة أمام العناصر الخارجية. عادةً ما يتم تخزين البيانات المنعزلة في نظام مستقل وغالبًا ما تكون غير متوافقة مع مجموعات البيانات الأخرى. وهذا يجعل من الصعب على المستخدمين في أجزاء أخرى من المؤسسة الوصول إلى بيانات الشركة واستخدامها. وعندما تطمح المؤسسة إلى أن تكون مدفوعة بالبيانات، يمكن أن تشكل البيانات المنعزلة عقبة كبيرة.
قد يكون لصوامع البيانات جذور تقنية أو تنظيمية أو ثقافية. تميل إلى الظهور بشكل طبيعي في الشركات الكبيرة لأن وحدات الأعمال المنفصلة تعمل غالبًا بشكل مستقل ولها أهدافها وأولوياتها وميزانيات تكنولوجيا المعلومات الخاصة بها. ولكن أي منظمة قد تنتهي إلى صوامع بيانات إذا لم يكن لديها خطة عمل جيدة التخطيط. إدارة البيانات إستراتيجية.
لماذا تشكل صوامع البيانات مشكلة؟
تعيق صوامع البيانات العمليات التجارية و تحليلات البيانات إن هذه القيود تحد من قدرة المديرين التنفيذيين على استخدام البيانات لإدارة العمليات التجارية واتخاذ قرارات تجارية مستنيرة. كما تمنع وكلاء مراكز الاتصال وممثلي المبيعات وغيرهم من العاملين في العمليات من الوصول إلى البيانات ذات الصلة بالعملاء والمنتجات وسلاسل التوريد. وهذه مشكلة تواجه المنظمات التي تنفذ إدارة علاقات العملاء. إدارة علاقات العملاء أصبح من الضروري بشكل متزايد تحسين تجربة العملاء.
تشمل الطرق المحددة التي يمكن أن تضر بها صوامع البيانات بالمنظمة ما يلي:
- مجموعة بيانات غير كاملة. تحجز صوامع البيانات البيانات في مصادر بيانات منفصلة عن المستخدمين الذين لا يمكنهم الوصول إليها. ونتيجة لذلك، لا تستند استراتيجيات الأعمال والقرارات إلى كل البيانات المتاحة، مما قد يؤدي إلى اتخاذ قرارات خاطئة. كما يمكن أن تؤدي صوامع البيانات إلى إعاقة الجهود الرامية إلى بناء مستودعات البيانات و بحيرات البيانات التي تدمج مجموعات بيانات مختلفة لذكاء الأعمال (بي آي) وتطبيقات التحليلات.
- بيانات غير متسقة. لا تتوافق العديد من صوامع البيانات مع مصادر البيانات الأخرى. على سبيل المثال، قد يقوم فريق التسويق بتنسيق بيانات العملاء بشكل مختلف عن الأقسام الأخرى. قد لا يتم تحديد أخطاء البيانات التي يرتكبها فريق المبيعات وإصلاحها. لا يتم إجراء تحديثات البيانات في أنظمة أخرى في نظام خدمة عملاء منعزل. تخلق مثل هذه التناقضات جودة البيانات، مشكلات الدقة والنزاهة التي تؤثر على المستخدمين النهائيين في كل من التطبيقات التشغيلية والتحليلية. وهي تشكل مشكلة خاصة عندما يتمكن المستخدمون الخارجيون والعملاء والشركات الشريكة من الوصول إلى مصدر بيانات معزول واحد عبر واجهة برمجة تطبيق أو التطبيق عبر الإنترنت، وتختلف البيانات في المصادر الداخلية الأخرى.
- منصات وعمليات البيانات المكررة. تزيد صوامع البيانات من تكاليف تكنولوجيا المعلومات من خلال زيادة عدد الخوادم وأجهزة تخزين البيانات التي يتعين على المؤسسة شراؤها. وفي كثير من الحالات، يتم أيضًا نشر هذه الأنظمة وإدارتها بشكل منفصل من قبل الأقسام بدلاً من إدارة المؤسسة. فريق إدارة البياناتويؤدي هذا إلى زيادة الإنفاق والاستخدام غير الفعال لموارد تكنولوجيا المعلومات.
- تعاون أقل بين المستخدمين النهائيين. تقلل مصادر البيانات المعزولة في صوامع من فرص مشاركة البيانات والتعاون بين المستخدمين في أقسام مختلفة. ويصبح العمل معًا بشكل فعال أكثر صعوبة عندما لا تتمتع الفرق المختلفة بالقدرة على رؤية البيانات المعزولة.
- عقلية الصومعة في الأقسام. تساهم صوامع البيانات في صوامع المنظمة: الأقسام ووحدات الأعمال التي تحرس بياناتها عن كثب وتتردد في مشاركتها مع الآخرين. وقد تقاوم أيضًا مراقبة البيانات البرامج التي تهدف إلى كسر صوامع البيانات والتأكد من أن بيانات الشركة متسقة وصحيحة عبر جميع أنظمة المنظمة.
- قضايا أمن البيانات والامتثال التنظيمي. يتم تخزين بعض صوامع البيانات بواسطة المستخدمين الفرديين في جداول بيانات Excel أو أدوات الأعمال عبر الإنترنت مثل جوجل درايف، غالبًا على الأجهزة المحمولة. وهذا يزيد مخاطر أمن البيانات والخصوصية بالنسبة للمنظمات إذا لم يكن لديها ضوابط مناسبة. كما تعمل الصوامع على تعقيد الجهود الرامية إلى الامتثال لقوانين حماية البيانات والخصوصية.
كيف تنشأ صوامع البيانات
قد يتصرف أحد الأقسام أو المستخدمين النهائيين بشكل غير مسؤول وينشئ صومعة بيانات حتى في المؤسسة التي لديها عمليات إدارة بيانات قوية. ومع ذلك، في أغلب الأحيان، تكون صوامع البيانات نتيجة لكيفية هيكلة المؤسسات وإدارتها ككل، بما في ذلك عمليات تكنولوجيا المعلومات الخاصة بها. تتسبب العوامل التالية عادةً في حدوث صوامع البيانات:
- استراتيجية تكنولوجيا المعلومات ونشر التكنولوجيا. لقد قامت بعض المنظمات بإلغاء مركزية قرارات شراء تكنولوجيا المعلومات والسماح للأقسام ووحدات الأعمال بشراء التقنيات بمفردها. وهذا يؤدي غالبًا إلى نشر قواعد البيانات وتطبيقات الأعمال التي لا تتوافق مع أنظمة أخرى أو غير متصلة بها. ويمكن أن يحدث نفس الشيء عندما تشارك فرق تكنولوجيا المعلومات في الشركات في قرارات الشراء إذا احتاج قسم ما إلى تقنية معينة. كما تساعد مجموعة متنوعة من منصات البيانات المتاحة الآن في دفع صوامع البيانات. بالإضافة إلى قواعد البيانات العلائقية السائدة، يمكن للمؤسسات نشر البيانات الكبيرة المنصات، قواعد بيانات NoSQLوخدمات تخزين الكائنات السحابية وقواعد البيانات ذات الأغراض الخاصة لتلبية احتياجات الأعمال المختلفة.
- الهيكل التنظيمي والاداري. تحدث صوامع البيانات بانتظام عندما تكون وحدات الأعمال لامركزية بالكامل ويتم إدارتها ككيانات منفصلة. وهذا أكثر شيوعًا في المؤسسات الكبيرة التي لديها شركات فرعية وشركات تشغيل مختلفة، ولكن يمكن أن يحدث في المؤسسات الأصغر ذات البنية ونهج الإدارة المماثل.
- ثقافة الشركة ومبادئها. حتى عندما تتم إدارة عمليات تكنولوجيا المعلومات والأعمال بطريقة موحدة، فإن ثقافة الشركة قد تحفز إنشاء صوامع البيانات. وهناك حوافز أقل لتجنبها إذا لم يكن تبادل البيانات معيارًا ثقافيًا ولم يكن لدى المنظمة أهداف مشتركة و مبادئ إدارة البياناتقد تنظر الأقسام أيضًا إلى بياناتها باعتبارها أصولًا تمتلكها وتتحكم فيها، مما يشجع بشكل أكبر على تطوير صوامع البيانات.
- نمو الأعمال والاستحواذ. إن المنظمات المتنامية معرضة لتكوين صوامع البيانات. ومع توسع الشركة، يجب تلبية احتياجات الأعمال الجديدة بسرعة ويمكن إنشاء وحدات أعمال إضافية. وكلا الموقفين يشكلان حاضنات طبيعية لصوامع البيانات. كما تؤدي عمليات الدمج والاستحواذ إلى ظهور صوامع البيانات داخل المنظمة، بعضها معروف وبعضها مخفي.
كيف يمكنك تحديد صوامع البيانات؟
بسبب طبيعتها المنفصلة، قد يكون من الصعب اكتشاف صوامع البيانات. ومن الناحية المثالية، ستقوم فرق تكنولوجيا المعلومات وإدارة البيانات بإنشاء جرد للأنظمة في مؤسساتها وتحديثه بانتظام لإضافة أنظمة جديدة. ومن شأن القيام بذلك أن يساعد في تحديد صوامع البيانات وتوثيقها. ولكن العثور عليها جميعًا قد يكون تحديًا، خاصة في المؤسسات الكبيرة التي تعمل وحدات الأعمال فيها بشكل مستقل.
ومع ذلك، قد تظهر أدلة على وجود صوامع بيانات. وتشمل العلامات التي تشير إلى وجودها ما يلي:
- أقسام مختلفة تقدم بيانات غير متسقة.
- BI و علم البيانات الفرق غير قادرة على العثور على البيانات ذات الصلة أو الوصول إليها.
- يشكو المسؤولون التنفيذيون من نقص البيانات حول بعض العمليات التجارية.
- يكتشف المستخدمون النهائيون أن مجموعات البيانات غير مكتملة أو قديمة.
- تكاليف تكنولوجيا المعلومات غير المتوقعة والتي تتجاوز الميزانية تظهر فجأة.
كيف تقوم بكسر صوامع البيانات؟
يتيح تفكيك صوامع البيانات للمؤسسة إدارة البيانات واستخدامها بشكل أكثر فعالية. وغالبًا ما يساعد ذلك أيضًا في خفض تكاليف التكنولوجيا وإدارة البيانات. ويمكن استخدام الأساليب التالية بشكل منفصل أو بالترادف لإزالة الصوامع وربط أصول البيانات لدعم العمليات التجارية بشكل أفضل:
- تكامل البيانات. إن دمج البيانات مع أنظمة أخرى هو الطريقة الأكثر مباشرة لكسر الحواجز. وأكثر أشكال دمج البيانات شيوعًا هو الاستخراج والتحويل والتحميل (ETL)، والذي يستخرج البيانات من أنظمة المصدر ويدمجها ويحملها في نظام أو تطبيق مستهدف. تقنيات دمج البيانات والتي يمكن استخدامها ضد الصوامع تشمل التكامل في الوقت الحقيقي، وإضفاء الطابع الافتراضي على البيانات و استخراج وتحميل وتحويل، وهو أحد أشكال ETL.
- مستودعات البيانات وبحيرات البيانات. نظام الهدف الأكثر شيوعًا في وظائف تكامل البيانات هو مستودع البيانات، الذي يخزن بيانات المعاملات المنظمة لـ تطبيقات BI والتحليلات وإعداد التقاريرعلى نحو متزايد، تقوم المؤسسات أيضًا ببناء بحيرات بيانات لحمل مجموعات من البيانات الضخمة، والتي يمكن أن تشمل كميات كبيرة من البيانات المنظمة وغير المنظمة وشبه المنظمة المستخدمة في تطبيقات علوم البيانات. نوعين من المنصات توفير مستودعات مركزية للبيانات من أنظمة مختلفة، مما يجعلها طريقة طبيعية للتعامل مع الصوامع.
- إدارة بيانات المؤسسة والحوكمة. في النهاية، من الأفضل عدم التخلص من صوامع البيانات الحالية فحسب، بل أيضًا منع إنشاء صوامع بيانات جديدة. تساعد استراتيجية إدارة البيانات الأكثر شمولاً في تحقيق هذين الهدفين. على سبيل المثال، تصميم بنية البيانات توثق استراتيجية البيانات المؤسسية أصول البيانات، وترسم خرائط لتدفقات البيانات وتنشئ مخططًا لنشر منصات البيانات. وتعمل استراتيجية البيانات المؤسسية على مواءمة عملية إدارة البيانات بشكل أفضل مع العمليات التجارية. ويمكن لبرنامج حوكمة البيانات القوي أن يقلل بشكل مباشر من عدد صوامع البيانات في المؤسسة ويعزز معايير وسياسات البيانات المشتركة.
- تغيير الثقافة. ولوضع حد حقيقي لصوامع البيانات، قد يكون من الضروري تغيير ثقافة المنظمة. ويمكن أن تكون الجهود المبذولة للقيام بذلك جزءًا من عملية تطوير استراتيجية البيانات أو مبادرة حوكمة البيانات. في بعض الحالات، إدارة التغيير قد يكون من الضروري وضع برنامج لتنفيذ التغييرات الثقافية والتأكد من أن الإدارات ووحدات الأعمال تعتمدها.
ما هي تكاليف الأعمال الخاصة بصوامع البيانات؟
وفقًا لـ IDC Market Research، فإن البيانات غير الصحيحة أو المنعزلة قد تكلف الشركة ما يصل إلى 30% من إيراداتها السنوية. يمكن للمؤسسة قياس هذه الاختلالات من خلال عدد الصوامع التي لديها، ومدى نجاح الجهود المبذولة القضاء عليهم إن تكاليف إدارة البيانات وتكنولوجيا المعلومات المتزايدة هي التكاليف الأكثر ملموسة. ولكن صوامع البيانات لها أيضًا التكاليف غير الملموسة التالية:
- انخفاض الإنتاجية.
- إدارة الأعمال أقل فعالية.
- فرص عمل ضائعة.
- خدمة العملاء ذات جودة أقل.
- عدم الثقة في البيانات مما يحد من استخدامها وفوائدها التجارية.
الشروط صومعة البيانات و صومعة المعلومات تُستخدم أحيانًا كمرادفات. ومع ذلك، في كثير من الأحيان، تُعتبر صوامع المعلومات مشكلة ثقافية ناجمة عن أقسام أو عمال فرديين لا يريدون مشاركة المعلومات. بالإضافة إلى التغيير الثقافي، فإن إحدى الطرق لمعالجة المشكلة الأخيرة هي إنشاء بنية معلوماتية إلى جانب هندسة البيانات.
أدوات ETL المحلية والمستندة إلى السحابة
على نحو متزايد، تنقل المؤسسات أصولها الرقمية إلى تخزين البيانات المستند إلى السحابة. ومع ذلك، فإن نقل البيانات في أي مجال ــ في الموقع أو في السحابة ــ يتطلب أدوات تمكن برنامج ETL من القيام بالنقل الفعلي وتعديل البيانات حسب الحاجة أثناء النقل.
يمكن أتمتة أدوات ETL المحلية، مما يبسط عملية دمج وتنظيف مصادر البيانات المنفصلة المتباينة للوصول المركزي. هذه الأدوات خاصة بالمنصة بشكل عام ويجب شراؤها، على الرغم من أن معظم المؤسسات التي لديها أصول كبيرة لقواعد البيانات أو مستودعات البيانات تمتلكها بالفعل.
تتضمن المنصات المستندة إلى السحابة بشكل عام أدوات ETL مدمجة لتسهيل الهجرة، ويمكن استخدامها بنفس الطريقة تقريبًا – لدمج البيانات أثناء هجرتها من مصادر البيانات المنعزلة، وتحويلها حسب الحاجة على طول الطريق.
قد تكون إدارة البيانات غير المنظمة مكلفة وتستغرق وقتًا طويلاً. تعرف على الاستراتيجيات والأدوات التي يمكن للمؤسسات استخدامها إدارة هذه البيانات بطريقة فعالة من حيث التكلفة.
