يطبق برنامج إدارة البيانات الناجح السياسات والمعايير والعمليات لإنشاء بيانات عالية الجودة والتأكد من استخدامها بشكل مناسب عبر المؤسسة. مراقبة البيانات ركزت في البداية على البيانات المنظمة في قواعد البيانات العلائقية ومستودعات البيانات التقليدية، ولكن الأمور تغيرت. إذا كانت مؤسستك تمتلك بيئة بحيرة بيانات وترغب في الحصول على نتائج تحليلات دقيقة منها، فستحتاج أيضًا إلى المشاركة في إدارة بحيرة البيانات المناسبة كجزء من مبادرة الإدارة الشاملة الخاصة بك.
لكن بحيرات البيانات تطرح تحديات مختلفة في جميع تخصصات المؤسسة إدارة البياناتبما في ذلك إدارة البيانات. فيما يلي وصف لبعض أهم فوائد الحوكمة، إلى جانب تحديات إدارة بحيرات البيانات بشكل فعال.
ما هي بحيرة البيانات؟
أ بحيرة البيانات عبارة عن منصة بيانات تحتوي على كميات هائلة من البيانات الأولية، والتي غالبًا ما تتضمن مجموعة متنوعة من أنواع البيانات المنظمة وغير المنظمة وشبه المنظمة. عادة ما يتم بناؤه على Hadoop وSpark وغيرهما تقنيات البيانات الكبيرة.
في حين أن معظم مستودعات البيانات لتخزين البيانات في جداول علائقية، تستخدم بحيرة البيانات بنية مسطحة. يتم تعيين معرف فريد لكل عنصر بيانات ويتم وضع علامة عليه بمجموعة من علامات البيانات الوصفية. ونتيجة لذلك، فإن بحيرة البيانات أقل تنظيماً من مستودع البيانات. عادةً ما تُترك البيانات بتنسيقها الأصلي ويتم تصنيفها وتنظيمها وتصفيتها حسب الحاجة لاستخدامات تحليلية محددة، وليس عند تحميلها في بحيرة البيانات.
بحيرة البيانات مقابل مستنقع البيانات
إذا لم تتم إدارة بحيرة البيانات وتنظيمها بشكل جيد، فيمكن أن تصبح مستنقعًا أكثر من كونها بحيرة. يتم تفريغ البيانات في النظام الأساسي دون إشراف وتوثيق مناسبين، مما يجعل من الصعب على فرق إدارة البيانات والحوكمة تتبع ما هو موجود في بحيرة البيانات. يمكن أن يسبب ذلك مشاكل في جودة البيانات واتساقها وموثوقيتها وإمكانية الوصول إليها.
ونتيجة لذلك، قد لا يتمكن علماء البيانات ومهندسو البيانات والمستخدمون النهائيون الآخرون من العثور على البيانات ذات الصلة لتطبيقات التحليلات. والأسوأ من ذلك أن مستنقع البيانات قد يؤدي إلى أخطاء تحليلية، وفي نهاية المطاف، إلى قرارات تجارية سيئة. قد لا يتم تطبيق إجراءات حماية أمن البيانات والخصوصية بشكل صحيح، مما يعرض أصول بيانات المؤسسة – وسمعتها التجارية – للخطر. لتجنب مثل هذا الوضع المستنقعي، يعد التحكم في بيئة بحيرة البيانات أمرًا ضروريًا.
فوائد حوكمة بحيرة البيانات
حوكمة البيانات الفعالة تمكن المؤسسات من تحسين جودة البيانات وتعظيم استخدام البيانات في اتخاذ القرارات التجارية، مما قد يؤدي إلى تحسينات تشغيلية واستراتيجيات عمل أقوى وأداء مالي أفضل. وينطبق ذلك على إدارة بحيرات البيانات كما هو الحال مع أنواع الأنظمة الأخرى. تتضمن بعض المزايا المحددة التي توفرها إدارة بحيرة البيانات ما يلي:
- زيادة الوصول إلى البيانات ذات الصلة للتحليلات المتقدمة. في بحيرة البيانات المُدارة بشكل جيد، يكون من الأسهل لعلماء البيانات والأعضاء الآخرين في فرق التحليلات العثور على البيانات التي يحتاجونها للتعلم الآلي والتحليلات التنبؤية وتطبيقات علوم البيانات الأخرى.
- قضاء وقت أقل في إعداد البيانات لاستخدامات التحليلات. على الرغم من أن البيانات الموجودة في بحيرة البيانات عادةً ما يتم تركها في شكلها الأولي حتى تكون هناك حاجة إليها لتطبيقات محددة، إلا أن عملية إعداد البيانات يمكن تقصيرها في بيئة محكومة. على سبيل المثال، مقدما تنظيف البيانات يقلل من الحاجة إلى إصلاح أخطاء البيانات والمشكلات الأخرى لاحقًا.
- انخفاض تكاليف تكنولوجيا المعلومات وإدارة البيانات. ومن خلال منع بحيرة البيانات من التوسع خارج نطاق السيطرة، يمكن تقليل موارد معالجة البيانات وتخزينها التي تتطلبها. يمكن أيضًا تقليل الاحتياجات العامة لإدارة البيانات من خلال تحسين دقة البيانات ونظافتها واتساقها.
- تحسين الأمان والامتثال التنظيمي للبيانات الحساسة. تعد تحليلات العملاء للمساعدة في التسويق والمبيعات حالة استخدام شائعة لبحيرات البيانات. ونتيجة لذلك، فإنها عادة ما تتضمن معلومات حساسة حول العملاء. تساعد الإدارة القوية لبحيرة البيانات على ضمان تأمين هذه البيانات بشكل صحيح وعدم إساءة استخدامها.
تحديات حوكمة بحيرة البيانات
تتضمن تخصصات إدارة البيانات المصاحبة لإدارة البيانات جودة البيانات وإدارة البيانات الوصفية وأمن البيانات، وكلها عوامل تدخل في إدارة بحيرة البيانات. فيما يلي بعض التحديات الشائعة التي تواجه إدارة البيانات أثناء تنفيذ بحيرة البيانات.
- تحديد وصيانة مصادر البيانات الصحيحة. في العديد من تطبيقات بحيرة البيانات، لا يتم التقاط البيانات التعريفية المصدر أو لا تكون متاحة على الإطلاق، مما يجعل صحة محتويات بحيرة البيانات موضع شك. على سبيل المثال، قد لا يتم إدراج نظام السجل أو مالك الأعمال لمجموعات البيانات، أو من الواضح أن البيانات المتكررة قد تسبب مشكلات لمحللي البيانات. كحد أدنى، يجب تسجيل البيانات التعريفية المصدرية لجميع البيانات الموجودة في بحيرة البيانات وإتاحتها للمستخدمين لتوفير نظرة ثاقبة حول مصدرها.
- قضايا إدارة البيانات الوصفية. البيانات الوصفية يعطي السياق للمحتوى مجموعات البيانات وهو عنصر مهم في جعل البيانات مفهومة وقابلة للاستخدام في التطبيقات. لكن العديد من تطبيقات بحيرة البيانات تتجاهل الحاجة إلى تطبيق تعريفات البيانات الصحيحة على البيانات المجمعة. وأيضًا، نظرًا لأن البيانات الأولية يتم تحميلها غالبًا في بحيرة البيانات، فإن العديد من المؤسسات لا تتضمن الخطوات اللازمة للتحقق من صحة البيانات أو تطبيق معايير البيانات التنظيمية عليها. هذا النقص في الإدارة المناسبة للبيانات التعريفية يجعل البيانات الموجودة في بحيرة البيانات أقل فائدة للتحليلات.
- عدم التنسيق بشأن إدارة البيانات وجودة البيانات. يمكن أن يؤدي عدم تنسيق إدارة بحيرة البيانات وعمل جودة البيانات إلى دخول بيانات ذات جودة رديئة إلى بحيرة البيانات. يمكن أن يؤدي ذلك إلى نتائج غير دقيقة عند استخدام البيانات للتحليلات ولدفع قرارات العمل، مما يتسبب في فقدان الثقة في بحيرة البيانات وانعدام الثقة بشكل عام في البيانات عبر المؤسسة. تتضمن تطبيقات بحيرة البيانات الفعالة محللين ومهندسين لجودة البيانات يعملون بشكل وثيق مع فريق إدارة البيانات والأعمال مشرفو البيانات لتطبيق سياسات جودة البيانات وبيانات الملف الشخصي واتخاذ الإجراءات اللازمة لتحسين جودتها.
- عدم التنسيق بشأن إدارة البيانات وأمن البيانات. في هذه الحالة، يمكن أن تتسبب معايير وسياسات أمان البيانات التي لا يتم تطبيقها بشكل صحيح كجزء من عملية الإدارة في حدوث مشكلات في الوصول إلى البيانات الشخصية المحمية بموجب لوائح الخصوصية وأنواع أخرى من البيانات الحساسة. على الرغم من أن الهدف من بحيرات البيانات هو أن تكون مصدرًا مفتوحًا للبيانات إلى حد ما، إلا أن هناك حاجة إلى إجراءات الأمان والتحكم في الوصول، ويجب أن تعمل فرق إدارة البيانات وأمن البيانات معًا أثناء عمليات تصميم بحيرة البيانات وتحميلها وجهود إدارة البيانات المستمرة.
- الصراع بين وحدات الأعمال التي تستخدم نفس بحيرة البيانات. قد يكون لدى الأقسام المختلفة قواعد عمل مختلفة للبيانات المتشابهة، مما قد يؤدي إلى عدم القدرة على تسوية اختلافات البيانات للحصول على تحليلات دقيقة. إن وجود برنامج قوي لإدارة البيانات مع رؤية مؤسسية لسياسات البيانات والمعايير والإجراءات والتعريفات، بما في ذلك مسرد أعمال المؤسسة، يمكن أن يقلل من المشكلات التي تنشأ عندما تستخدم وحدات أعمال متعددة بحيرة بيانات واحدة. إذا كانت المؤسسة لديها العديد من بحيرات البيانات، فيجب تضمين كل واحدة منها في عملية إدارة بحيرة البيانات وتعيين مشرفي بيانات الأعمال لها.
كيفية البدء في إدارة بحيرة البيانات
كما هو الحال مع إدارة البيانات في أنواع الأنظمة الأخرى، تتضمن بعض الخطوات الأولى الشائعة التي يجب اتخاذها بشأن إدارة بحيرة البيانات ما يلي:
- توثيق حالة العمل لإدارة بحيرة البيانات، بما في ذلك مقاييس جودة البيانات وطرق أخرى قياس فوائد عمل الحوكمة.
- ابحث عن راعي تنفيذي أو تجاري للمساعدة في الحصول على الموافقة والتمويل لجهود الحوكمة.
- إذا لم يكن لديك بالفعل هيكل لإدارة البيانات، فقم بإنشاء هيكل يتضمن فريق إدارة ومشرفي البيانات ولجنة إدارة البيانات المكونة من مديري الأعمال وغيرهم من مالكي البيانات المعنيين.
- العمل مع لجنة الحوكمة لتطوير معايير البيانات وسياسات الحوكمة لبيئة بحيرة البيانات.
خطوة أولية جيدة أخرى هي بناء كتالوج البيانات لمساعدة المستخدمين النهائيين على تحديد موقع البيانات المخزنة في بحيرة البيانات وفهمها. أو، إذا كان لديك بالفعل كتالوج لأصول البيانات الأخرى، فمن الممكن توسيعه ليشمل بحيرة البيانات. يلتقط كتالوج البيانات بيانات التعريف وينشئ مخزونًا من البيانات المتاحة التي يمكن للمستخدمين البحث عنها للعثور على ما يحتاجون إليه. يمكنك أيضًا تضمين معلومات حول مؤسستك سياسة حوكمة البيانات في كتالوج، إلى جانب آليات فرض القواعد والقيود.
يمكن تعزيز قيمة بحيرة البيانات بشكل كبير من خلال تضمينها حوكمة البيانات القوية جنبًا إلى جنب مع إدارة البيانات الوصفية وجودة البيانات وعمليات أمن البيانات في تصميم البيئة وتحميلها وصيانتها. وتعد المشاركة النشطة من جانب المهنيين ذوي الخبرة في جميع هذه المجالات أمرا بالغ الأهمية أيضا. وإلا فإن بحيرة البيانات الخاصة بك قد تصبح بالفعل مستنقعًا للبيانات.
ملحوظة المحرر: تم تحديث هذه المقالة في يونيو 2024 لتوفير تجربة أفضل للقارئ.
آن ماري سميث، حاصلة على دكتوراه، وهي متخصصة في إدارة المعلومات ومستشارة تتمتع بخبرة واسعة في مختلف الصناعات.
