فهم الفرق والوظائف للتحليات على نطاق السحابة في Azure
بالنسبة للتحليلات على نطاق السحابة، نوصي بنقل الفرق مثل الاستيعاب والمعالجة والتحليل والاستهلاك والتصور من العمل في الفرق المعزلة أفقيا إلى فرق المجالات العمودية المرنة في كل مستوى. يتم تجميع فرق النظام الأساسي مثل عمليات النظام الأساسي للبيانات وعمليات النظام الأساسي معا في مجموعة منصة مشتركة.
مجموعة النظام الأساسي
تتكون مجموعة النظام الأساسي من فريقين:
- عمليات النظام الأساسي: عمليات النظام الأساسي هي جزء من مجموعة النظام الأساسي. وهي تعمل وتمتلك النظام الأساسي السحابي. هذا الفريق مسؤول عن إنشاء مثيل للمنطقة المنتقل إليها لإدارة البيانات وسقالات منطقة هبوط البيانات مثل الشبكات والتناظر والخدمة الأساسية والمراقبة داخل التحليلات على نطاق السحابة.
عادة ما تساعد عمليات النظام الأساسي للبيانات على تطوير واجهات إدارة خدمة تكنولوجيا المعلومات للشخصيات في منطقة هبوط البيانات في بداية طرح التحليلات على نطاق السحابة. تميل هذه الواجهات إلى أن تكون استدعاءات واجهة برمجة تطبيقات REST إلى خدمة لإلحاق منتجات البيانات وتعيين الأمان وإضافة الخدمات إلى مناطق هبوط البيانات.
- عمليات النظام الأساسي للبيانات: يتم إيواء مجموعة عمليات النظام الأساسي للبيانات داخل مجموعة النظام الأساسي. توفر عمليات النظام الأساسي للبيانات خدمات مثل المراقبة المركزية والفهرسة والسياسات القابلة لإعادة الاستخدام لمناطق ومنتجات هبوط البيانات. تمتلك عمليات النظام الأساسي للبيانات المنطقة المنتقل إليها لإدارة البيانات، ومسؤوليات الفريق الأخرى هي:
تطوير البنية الأساسية
- تطوير قوالب البنية الأساسية كتعلم برمجي للمنطقة المنتقل إليها للبيانات؛ يجب تحديث القوالب وصيانتها بمرور الوقت، ويمكن أن تغطي سيناريوهات متعددة.
- تحديد أولويات القوالب وإضافة وظائف جديدة استنادا إلى دورة ملاحظات من فرق أخرى.
- العمل في إطار عمل مرن بهدف مشترك لإنتاج قوالب البنية الأساسية القياسية.
الاستجابة لطلبات منطقة البيانات المنتقل إليها الجديدة
يجب أن يوفر فريق عمليات النظام الأساسي للبيانات الأدوات والخدمات لدعم القوالب التي أنشأوها. يمكن لأدوات إدارة خدمة تكنولوجيا المعلومات مثل ServiceNow معالجة طلبات التذاكر التي وافق عليها فريق عمليات النظام الأساسي للبيانات لإنشاء مناطق هبوط بيانات جديدة. بمجرد الموافقة، سيتم نسخ منطقة هبوط جديدة من القالب الأساسي لإنشاء مشروع DevOps جديد، وستنشر المسارات القوالب إلى بيئة جديدة.
يقوم النظام الأساسي للبيانات بتعويم الملاحظات وحلقة التحسين
يتوفر خياران لتحسين القوالب:
ستعمل الفرق المسؤولة عن مثيلات قالب البنية الأساسية على تحسين قوالب DevOps وعمليات التوزيع الخاصة بها. إذا اكتشفت الفرق مشكلات في القوالب، يمكن أن تدعم عمليات النظام الأساسي للبيانات الفرق ودمج التغييرات مرة أخرى من نسختها المتشعبة في القالب.
يجب أن تكون فرق المنطقة المنتقل إليها للبيانات الأخرى قادرة على إنشاء تذاكر التحسين والتراكم التي من شأنها تحسين القوالب استنادا إلى كيفية إعطاء الأولوية للتذاكر.
نهج Azure للتحليات على نطاق السحابة
تؤكد مبادئ التحليلات على نطاق السحابة على مرونة الخدمة الذاتية وحمايتها لحماية البيانات والتكاليف والأنماط. تعمل عمليات النظام الأساسي للبيانات مع عمليات النظام الأساسي لتحديد الجودة، وتتعاون هذه الفرق لتنفيذ نهج بيانات محددة. يجب أن تتبع عمليات النظام الأساسي للبيانات عملية مراجعة لتحديث الميزات الجديدة التي تتم إضافتها إلى المنتجات والحفاظ عليها.
توزيع المناطق المنتقل إليها لإدارة البيانات وتشغيلها
تعمل عمليات النظام الأساسي للبيانات وعمليات النظام الأساسي معا لنشر وتشغيل مناطق هبوط إدارة البيانات. توفر منطقة هبوط إدارة البيانات خدمات مشتركة للمناطق المنتقل إليها للبيانات، ما يجعلها جزءا مركزيا من التحليلات على نطاق السحابة.
عمليات المنطقة المنتقل إليها للبيانات
تعمل عمليات المنطقة المنتقل إليها للبيانات وتحافظ على مثيل المنطقة المنتقل إليها للبيانات أثناء الاستجابة لطلبات فريق تطبيق البيانات. وهي توفر العديد من الخدمات نفسها مثل عمليات النظام الأساسي للبيانات ولكنها تقتصر على منطقة البيانات المنتقل إليها.
وهي تعمل من المستودع المتشعب الذي يتم إنشاؤه عند إنشاء منطقة هبوط البيانات. لطلب تغييرات النهج، يجب عليهم رفع التذاكر إلى عمليات النظام الأساسي للبيانات للسماح بهذه الاستثناءات.
دعم فريق تطبيق البيانات لتخصيص منتجات البيانات
يدعم فريق عمليات المنطقة المنتقل إليها البيانات فريق تطبيق البيانات باستخدام طلبات السحب لإرسال قوالب منتجات جديدة إلى مستودعات منتجات البيانات الخاصة بهم.
بصفتك مالك المنطقة المنتقل إليها، سيقوم Azure DevOps بتوجيه الموافقة على التغييرات على عمليات منطقة هبوط البيانات:
إذا تمت الموافقة عليها، فسيتم نقل تغييرات القالب إلى الفرع الرئيسي وتوزيعها في الإنتاج عبر التكامل المستمر/التطوير المستمر، ما يتسبب في تحديث النظام الأساسي/البنية الأساسية لمنتج البيانات.
إذا تم رفضها، ستعمل عمليات المنطقة المنتقل إليها للبيانات مع فريق تطبيق البيانات لإصلاح التغييرات.
الاستجابة لطلبات منتجات البيانات الجديدة
تدعم عمليات المنطقة المنتقل إليها للبيانات فرق تطبيقات البيانات لإنشاء منتجات بيانات جديدة. عندما تطلب فرق تطبيقات البيانات المساعدة، يقوم حل إدارة خدمة تكنولوجيا المعلومات، على سبيل المثال، تطبيق منطق التنفيذ التلقائي، بتنسيق الموافقة على مستودع تطبيق بيانات جديد أو توزيعه. سيتم إعلام عمليات المنطقة المنتقل إليها للبيانات بالطلبات الجديدة والموافقة على عمليات النشر أو رفضها. بمجرد الموافقة، يتم إنشاء مشروع DevOps جديد، ويتم نسخ القالب الرئيسي والبيانات الاصطناعية، ونشر تطبيق بيانات جديد.
الالتزام ب Azure Well-Architected Framework
عمليات المنطقة المنتقل إليها للبيانات مسؤولة عن منطقة البيانات المنتقل إليها، ومن المستحسن أن يكون الفريق بارعا في Azure Well-Architected Framework، والذي يوفر إرشادات حول تحسين التكلفة والموثوقية والأمان.
العمل كالمعتاد
عمليات المنطقة المنتقل إليها للبيانات مسؤولة عن مهام الأعمال التي تتضمن جمع الملاحظات وطلبات التحسين. يتم إعطاء الأولوية لهذه الطلبات ومشاركتها مع عمليات النظام الأساسي للبيانات على أساس منتظم. يراقب الفريق منطقة البيانات المنتقل إليها للحوادث والأحداث الصحية. سيشركون فرق العمليات الأخرى أثناء الحوادث الشديدة للتخفيف من النسخ الاحتياطية واستعادتها وتجاوز الفشل وتوسيع نطاق الخدمات.
فريق تطبيق البيانات
يقدم فريق تطبيق البيانات منتجات بيانات جديدة للأعمال. وهي مصدر من مخازن البيانات المقروءة الخاصة بتكامل البيانات وتحويلها إلى حلول أعمال. يتم تصنيف أي شيء يحول البيانات للاستخدام كمنتج بيانات. غالبا ما يكون هذا الفريق مزيجا من المتخصصين التقنيين والخبراء المتخصصين الذين يمكنهم مساعدة الأعمال على تحقيق القيمة بسرعة. يمكن أن تتراوح منتجات البيانات من التقارير البسيطة ومنتجات البيانات الجديدة إلى الإعدادات المخصصة باستخدام تطبيقات ويب Kubernetes المستندة إلى البيانات.
منتجات بيانات جديدة
ينشئ مالكو المنتجات وممثلو الأعمال طلبات لمنتج بيانات جديد عند الحاجة إليه. يقوم مكتب البيانات بتقييم المتطلبات وتجميع فريق تطبيق بيانات جديد مع مجموعة من الخبرة. يحدد الفريق منتجات البيانات المطلوبة لمنتج البيانات ويطلب الإذن لأصل البيانات. إذا كانت هناك حاجة إلى منتج بيانات جديد، يتلقى فريق تطبيق البيانات تذكرة لاستيعابه. يحدد الفريق الخدمات المطلوبة لمنتج البيانات الجديد ويطلب منتج بيانات جديدا عبر عملية نشر تطبيق البيانات. يتلقى فريق تطبيق البيانات مستودعا متشعبا من قالب تطبيق البيانات الرئيسية لنشر تطبيق البيانات.
اعتماد منتجات البيانات
في النظام الأساسي للخدمة الذاتية، يمكن لأي شخص إنشاء تقارير، وتكوين منتجات البيانات في حساب تخزين مطور Azure Data Lake، وإصدار منتجات البيانات للأعمال لاستخدامها. تحدث طلبات مراجعة منتج البيانات عندما:
- تذاكر تسجيل الشركات الراعية للمصادقة على منتجات البيانات.
- ترشح عمليات النظام الأساسي للبيانات منتجات البيانات بناء على الشعبية.
يمكن لفريق تطبيق البيانات دفع عملية المصادقة، ليتم تعريف عمليات النظام الأساسي للبيانات والأمان الرقمي، والتي قد تتضمن:
- الاختبارات المصممة للتحقق من صحة تحويلات البيانات ومنطق الأعمال
- تقييمات: الأمان أو التوافق أو تأثير الأداء
عند الاعتماد، يتم تجميع البيانات الاصطناعية وتحميلها إلى مستودع منتجات البيانات، ويتم نشر الوثائق، ويتم إعلام فريق تطبيق البيانات.
دعم المنتج
يمكن للمستخدمين إرسال ملاحظات باستخدام حل إدارة خدمة تكنولوجيا المعلومات أو مباشرة داخل المنتج حيث يتم توجيه تذكرة إلى مالك منتج البيانات. يقوم هذا الفرد بفرز الطلب وتحديد ما إذا كان يجب تصعيده إلى فريق تطبيق البيانات لإصلاح أو إدخال الملاحظات في تراكم المنتج والمراجعة أثناء دورات تخطيط المنتج.
فريق تطبيقات علوم البيانات
بينما يقوم فريق منتجات علوم البيانات بإنشاء منتجات البيانات، فإنه متميز لأن وظائفه تؤدي إلى منتجات البيانات. يؤدي هذا إلى أن تصبح النماذج المنشورة منتجات بيانات للآخرين لاستخدامها، ويتبع النمط نموذج عمليات التعلم الآلي المرتبط بمنطقة البيانات المنتقل إليها.
يبدأ فريق منتجات علوم البيانات بالبحث عن منتجات البيانات ذات الصلة والعثور عليها لحالة استخدامها. يمكن أن تكشف حلول إدارة البيانات عن مزيد من التفاصيل مثل جودة البيانات أو دورة حياة البيانات أو مجموعة بيانات أو ملف تعريف مماثل. يقومون بالبحث إذا كانت مجموعة بيانات العينة متوفرة وما إذا كانت البيانات ذات صلة بالمشروع. بمجرد منح الوصول إلى البيانات عبر كتالوج بيانات أو حزمة وصول Azure AD، يستخدم الفريق الخدمات في منطقة البيانات المنتقل إليها لاستكشاف البيانات وتحليلها.
قبل معالجة جميع البيانات، يستخدم الفريق الحوسبة المحلية أو البعيدة لمعالجة منتجات بيانات العينة وتحليلها. يمكنهم تحسين أهداف الحوسبة عن بعد باستخدام منتجات بيانات أكبر لتدريب وتطوير نماذج التعلم الآلي باستخدام عمليات التشغيل والمخرجات والنماذج التي يتم تعقبها داخل التعلم الآلي من Microsoft Azure.
عندما يقوم الفريق بتطوير نماذج التعلم الآلي، يبدأون في تشغيلها. لهذا، يقومون بتوسيع الفريق ليشمل DataOps ومهندسي التعلم الآلي الذين يمكنهم المساعدة في نقل النماذج إلى منتج بيانات جديد، كما هو موضح في دور فريق تطبيق البيانات.
سيستمر فريق علوم البيانات في العمل مع مالكي منتجات البيانات المقترنين لالتقاط الملاحظات والدعم والنماذج التي تم حلها وتحديثها في الإنتاج باستخدام منهجية عمليات التعلم الآلي.
المُحلل
يمثل المحللون مجموعة كبيرة تتضمن محللي الأعمال ومستخدمي الطاقة وعموما أي شخص في المؤسسة لديه مصلحة في تحسين البيانات لإنشاء رؤى تجارية جديدة. تمكين الخدمة الذاتية هو مبدأ رئيسي يدعم المحللين للوصول إلى التحليلات والبيانات دون الحاجة إلى تأمين ميزانية وموارد تكنولوجيا المعلومات الرسمية.
تلميح
يجب على المؤسسات عرض الرؤى التي أنشأها المحللون على أنها المجموعة التالية من منتجات البيانات المحتملة التي سيتم اعتمادها للآخرين لاستخدامها داخل الأعمال.
البحث عن البيانات وطلبها
يتشاور المحللون مع أسواق/كتالوجات البيانات لاكتشاف منتجات البيانات ذات الصلة.
إذا تعذر العثور على أصل البيانات أو لم يكن موجودا، فسيفتح المحللون تذكرة دعم مع فريق تطبيق البيانات. يساعد فريق تطبيق البيانات في العثور على مجموعة البيانات أو إضافة الطلب إلى تراكمها لتقييمها في دورة تطوير أخرى.
إذا كانت مجموعة البيانات موجودة، يمكن للتحليات تحديد Azure AD عضوية المجموعة للأصول المدرجة في الكتالوج واستخدام مدخل حزمة الوصول إلى Azure لطلب الوصول إلى مجموعة Azure AD.
إنشاء تقارير جديدة
يمكن للمحللين استخدام أدوات مثل Microsoft Power BI لدمج منتجات البيانات في التقارير. يمكن أن تكون هذه التقارير للاستخدام الفردي أو نشر منتج بيانات معتمد. قبل نشر التقرير عبر المؤسسة، يجب أن يكون معتمدا مع عملية شهادة منتج البيانات للأمان والتوافق والأداء.
تشغيل الاستعلامات حسب الحاجة
تحتوي التحليلات على نطاق السحابة على مساحات عمل مشتركة حيث يمكن للمحللين الاستعلام عن البيانات، رهنا بالأذونات. من الشائع أن توفر منتجات البيانات حسابا مخصصا لتشغيل الاستعلامات حسب الحاجة. في كلتا الحالتين، يمكن للمحلل تشغيل الاستعلامات مقابل منتجات البيانات في مناطق البيانات المنتقل إليها. كما أنها تخضع للأذونات. يمكن تخزين النتائج من الاستعلامات في مساحات عمل Azure Data Lake لاستخدامها مرة أخرى.
ملاحظات المستخدم
نظرا لأن المحللين يمكن أن يعملوا كمعلومات وتحسينات مصدر غير مستغلة، يتم تشجيع المؤسسات بشدة على إنشاء مجموعات ملاحظات المستخدم لكل منطقة من مناطق البيانات المنتقل إليها.
بالإضافة إلى المشاركة في مجموعات المستخدمين هذه، يجب على المحللين إرسال ملاحظات أصول البيانات إلى فريق تطبيق البيانات ومشكلات كتالوج البيانات داخل كتالوج البيانات أو حل إدارة خدمة تكنولوجيا المعلومات. يمكنهم إرسال مشكلات عملية البيانات إلى فريق تطبيق البيانات أو ضمن حل إدارة خدمة تكنولوجيا المعلومات.
ملاحظة
يجب أن تكون إدارة خدمة تكنولوجيا المعلومات بمثابة موقع مركزي لإرسال الملاحظات وتصعيد المشكلات. قد يبدو إرسال الملاحظات المباشرة إلى فرق فردية حلا أسرع، ولكن هذا النهج لا يعطي رؤية الأعمال للتحديات في النظام الأساسي. يمكن لحل إدارة خدمة تكنولوجيا المعلومات مع التوجيه الصحيح لفرق تطبيقات البيانات منح الأعمال طريقة عرض واحدة عبر المؤسسة.
مصفوفة تعيين المسؤولية
- المسؤوله عن: من يكمل المهمة؟
- المساءله: من الذي يتخذ القرارات ويتخذ إجراءات بشأن المهمة؟
- استشاره: من يتلقى اتصالات حول القرارات والمهمة؟
- ابلغ: من الذي يتم تحديثه حول القرارات والإجراءات أثناء المشروع؟
| الدور | بيئة سحابية | منطقة هبوط إدارة البيانات | المناطق المقصودة للبيانات | تكامل البيانات | منتجات البيانات |
|---|---|---|---|---|---|
| مالك الخدمة | ابلغ | المساءله | تم التشاور مع المطلعين | تم التشاور مع المطلعين | تم التشاور مع المطلعين |
| مالك خدمة المنطقة المنتقل إليها للبيانات | ابلغ | تم التشاور مع المطلعين | المساءله | المساءله | المساءله |
| عمليات النظام الأساسي السحابي | مسؤول | استشاره | استشاره | استشاره | استشاره |
| عمليات النظام الأساسي للبيانات | استشاره | مسؤول | مسؤول | استشاره | استشاره |
| عمليات المنطقة المنتقل إليها للبيانات | ابلغ | مسؤول | مسؤول | مسؤول | مسؤول |
| فريق تطبيق البيانات | ابلغ | ابلغ | ابلغ | مسؤول |