لطالما تم اعتبار البيانات جواهر تاج المنظمة ، ولكن بسبب انفجار مصادر البيانات ، فإن فهم المعلومات المنظمة وغير المنظمة الواردة في متاجر البيانات المختلفة للمؤسسة هي مهمة معقدة بشكل متزايد. جمع كل شيء معًا لتوفير ملف رؤية متجانسة للنشاط التجاري قد يبدو وكأنه مشروع لن ينتهي أبدًا ، ولهذا السبب يوجد الآن اهتمام بهندسة البيانات.
وفقا للمحلل غارتنر ، مهندسو البيانات تلعب دورًا رئيسيًا في تمكين المؤسسات من فتح قيمة البيانات. يتضمن ذلك تصميم أنظمة وبناءها لجمع البيانات وتخزينها وتحويلها وتشغيلها وتقديمها على نطاق واسع. تقول شركة المحلل إن هندسة البيانات تتضمن التعاون بين العمل وتكنولوجيا المعلومات لجعل البيانات المناسبة متاحة ومتاحة لمستخدمي البيانات المختلفين – مثل علماء البيانات أو محللي البيانات – في الوقت المناسب.
غارتنر المهارات الأساسية لمهندسي البيانات للنجاح يحدد التقرير مجموعة من المهارات المطلوبة في هندسة البيانات. تقرير المؤلفين Mayank Talwar و Zain Khan و Shubhankar Nandi يصفون لغة الاستعلام المنظمة (SQL) نظرًا لكونها منتشرة عبر مجموعة واسعة من الأدوات والمنصات ، مما يجعلها مهارة حاسمة وقابلة للتمديد. كمثال على انتشار SQL ، يلاحظون أن DBT، أداة تحويل البيانات ، تمكن مهندسي البيانات من تحويل البيانات في مستودعاتهم عن طريق كتابة عبارات SQL SQL.
المهارة الأساسية الثانية المحددة في التقرير هي معالجة البيانات، والتي توصف بأنها “مهارة أساسية يجب أن يمتلكها كل مهندس بيانات”. وذلك لأن البيانات بتنسيقها الخام ليست مفيدة عادة للتحليلات. تغطي معالجة البيانات الدُفعات والمعالجة في الوقت الفعلي ؛ يغطي التخزين تقنيات مثل بحيرات البيانات ومستودعات البيانات وقواعد بيانات الرسم البياني ومستندات المستندات ومخازن الكائنات. تتضمن لغات البرمجة الشائعة التي تستخدمها فرق هندسة البيانات Python و Java و Scala.
تشمل المهارات الأساسية الأخرى المدرجة في Gartner تخزين البيانات ، وتنسيق البيانات ، والبرمجة والتعاون. فيما يتعلق بتنسيق البيانات ، يلاحظ المحللون أن خطوط أنابيب هندسة البيانات تنتقل ببطء من الأدوات التي تدعم بنيات تعتمد على المهام ، مثل Apache Airflow و Luigi ، نحو الأدوات التي تقدم نهجًا يعتمد على البيانات ، مثل Dagster ، Flyte من Lyft و Greadow.
يوصي Gartner بقادة تقنية المعلومات بإعطاء الأولوية لتطوير مهارات هندسة البيانات الأساسية حيث يتم تبنيهم على نطاق واسع ، واستخدامها بكثافة وأثبت أنها توفر فوائد كبيرة.
نهج أبسط؟
هناك حالة لتقييم نهج أبسط لتحقيق هدف توفير بيانات المؤسسة في الوقت المناسب للشركة في تنسيق يمكن للمستخدمين الاستفادة من التخطيط والتحليل. هذا هو المكان تخطيط موارد المؤسسة (ERP) ترى الأنظمة فرصة لبناء عمل حول الحاجة إلى الحصول على نسخة واحدة من الحقيقة. من منظور ERP ، توجد هذه النسخة الفردية من الحقيقة في أنظمة السجل التي تشكل نظامًا ERP.
SAP ، على سبيل المثال ، يقدم أنظمة كاملة ومكدس التطبيق كعروض تتمحور حول السحابة على أساس الاشتراك ، إلى جانب تعدين العمليات وغيرها من الأدوات ، بالإضافة إلى الدعم المجمعة والصيانة وغيرها من الخدمات.
ديل فيل ، المؤسس المشارك لشركة المحللين Freeform Dynamics ، يلاحظ أن منصة تكنولوجيا الأعمال في SAP (BTP) يمكن اعتبارها جزءًا لا يتجزأ من عرض السحابة للموردين. BTP هو في الأساس منصة كخدمة (PAAs) تتيح للعملاء تمديد تطبيقات SAP و/أو بناء تطبيقات مخصصة.
يقول Vile: “بالنسبة لبعض العملاء ، فإن هذا النوع من الخدمة الشاملة أمر جذاب حقًا لأنه يعني أنهم لم يعودوا يدعو للقلق بشأن العمليات على مستوى الأنظمة والمراقبة والأمان وما إلى ذلك”. “يتم الاهتمام بالكثير من الأشياء التي تجعل المناظر الطبيعية SAP تحديًا للتشغيل والتغيير بمرور الوقت بمجرد توقيع العقد”.
يربط العقد بشكل فعال المنظمة في SAP. في حين أن هناك حالة للبناء في المرونة ، إلا أنه بالنسبة لبعض المؤسسات ، من المهم بكثير أن يكون لديك نسخة واحدة من الحقيقة والحصول على جميع البيانات في مكان واحد. هذا هو الحال في شركة Waterwipes للتصنيع الأيرلندية ، كما أوضح مدير البيانات ليز كوتر.
يمكنك الحصول على أتمتة التحليلات المتقدمة ، ولكن إذا لم تكن بياناتك الرئيسية دقيقة ، فإن بيانات المعاملات الخاصة بك لا قيمة لها
ليز كوتر ، ووترويبيز
وتقول في السابق ، كما تقول أن أنظمة الخدمات (SAAS) جلس جنبًا إلى جنب مع SAP و “ربما تم دمجها مع SAP ، ولكن لم يتم تنسيقها بالكامل”. بمعنى آخر ، اختارت المؤسسة أفضل منتجات SaaS لدعم عمليات تجارية معينة ، مثل الموارد البشرية أو خدمة العملاء. يقول كوتر إن هذا يعني أن SAP لم يكن نظام التسجيل لبعض مجموعات البيانات الأحدث التي تستخدمها الأعمال.
تقول SAP Datasphere يمكّن العمل من تشغيل منصة قياسية كنظام سجل لبيانات المعاملات ، والذي يوفر نسخة رئيسية من بيانات المؤسسة. وتقول: “أشعر أن SAP قد انتقلت وتقدم المزيد من الأدوات لمواكبة الطلب على البيانات المخصب”.
انضم Cotter إلى Waterwipes في يناير 2024 مع تحويل لوضع إدارة البيانات وحوكمة البيانات. وتقول إن الشركة لم تكن تستخدم أفضل استخدام للبيانات التي كانت متوفرة ، والتي يمكن استخدامها لاكتساب رؤى والمساعدة في التوافق مع مؤشرات الأداء الرئيسية الاستراتيجية (مؤشرات الأداء الرئيسية).
“عندما قمنا بتقييم نضج البيانات لدينا ، لم يكن هناك حوكمة بيانات وأمن البيانات. تقول: “كنا بحاجة إلى أداة للمساعدة في تخفيف هذا المخاطر بسرعة”.
كما يشير Cotter ، تتطلب مبادرات الأعمال الناجحة التي تعتمد على تكنولوجيا المعلومات أساسًا بيانات صلبة. وتقول: “يمكنك الحصول على أتمتة التحليلات المتقدمة ، ولكن إذا لم تكن بياناتك الرئيسية دقيقة ، فإن بيانات المعاملات الخاصة بك لا قيمة لها”. بالنسبة إلى Cotter ، لا توجد نقطة ضئيلة في الاستثمار في التكنولوجيا الجديدة ما لم تكن البيانات دقيقة قدر الإمكان.
بدأت الشركة العمل مع Bluestonex على تنفيذ أداة إدارة بيانات Maextro الرئيسية الخاصة بها. تم تطوير ذلك على SAP BTP ويوفر إدارة البيانات وإدارة البيانات من أجل Waterwipes.
يقول كوتتر: “إنه تطبيق في الأساس لإدارة البيانات وسير العمل وتقارير البيانات”.
هذا يتجنب اضطرار مطوري SAP إلى تشغيل الاستعلامات مباشرة على نظام S/4HANA للشركة. فيما يتعلق بنضج البيانات ، يقول كوتتر: “لن نصل إلى مستوى الخبراء ، لكننا نريد أن نتوافق مع استراتيجيتنا 2027 ، وهي طموحة للغاية من حيث المبيعات ونمو العملاء.”
شمل النهج التدريجي بناء أفضل ممارسات إدارة البيانات وإدارة البيانات أولاً ، قبل الاستثمار في التكنولوجيا.
دعم الذكاء الاصطناعي
بالنظر إلى الاتجاه المطلوب ببذل المزيد من الجهد مع الذكاء الاصطناعي (AI) ، يحث محللو Gartner قادة تكنولوجيا المعلومات على التأكد من أن مهندسي البيانات يدركون الحاجة إلى تخفيف أنفسهم. هذا التقلب ، وفقا لجارتنر ، مطلوب إذا أراد مهندسو البيانات المشاركة في بناء طبقة أساس البيانات بالنسبة للشركات التي قررت تدريب نماذج اللغة على بيانات المؤسسات الخاصة بهم.
“مع Genai [generative artificial intelligence] يمكن لمهندسي البيانات أن يلعبوا دورًا محوريًا في إنشاء منصات البيانات وخطوط الأنابيب التي يمكن أن توفر بيانات عالية الجودة المطلوبة لتدريب هذه النماذج “شهية لتدريب البيانات المتزايدة بشكل كبير المهارات الأساسية لمهندسي البيانات للنجاح تقرير.
يتنبأ Gartner بأن الشركات ستبدأ في بناء نماذج لغوية أصغر وأكثر دقة وتنسيقًا تجاريًا-على عكس نماذج اللغة الكبيرة-لضوابط أكبر على التكلفة والخصوصية والمخاطر والدقة. يعتقد Gartner أن مهندسي البيانات سيحتاجون إلى معرفة كيفية العمل مع البيانات غير المهيكلة وإنشاء مستودعات بيانات لتمكين بناء هذه النماذج.
من الناحية المثالية ، سيتم منح قادة تكنولوجيا المعلومات الوقت والموارد لتطوير ممارسة هندسة البيانات ، ولكن هذا غير مرجح. تُظهر تجربة Cotter في Waterwipes أنه من الممكن تمامًا حتى لتلك المؤسسات التي لا تزال مبكرة جدًا في رحلة إدارة البيانات الخاصة بهم لتحقيق قيمة الأعمال بسرعة نسبية. التحذير واحد هو أن هذا قد يتضمن ربطه في مجموعة منتجات معينة ، مثل نظام ERP.
