مشاركة عبر

منتجات بيانات التحليلات على نطاق السحابة في Azure

  • مقالة

منتجات البيانات هي بيانات يتم تقديمها كمنتج ويتم حسابها وحفظها وتقديمها بواسطة خدمات استمرار متعددة اللغات، والتي يمكن أن تكون مطلوبة من قبل حالات استخدام معينة. يمكن أن تتطلب عملية إنشاء منتج بيانات وتقديمه خدمات وتقنيات غير مضمنة في الخدمات الأساسية لمنطقة البيانات المنتقل إليها . ومن الأمثلة على ذلك الإبلاغ بمتطلبات متخصصة، مثل الامتثال والإبلاغ الضريبي.

اعتبارات التصميم

يمكن تقديم منطقة البيانات المنتقل إليها منتجات بيانات متعددة تم إنشاؤها عن طريق استيعاب البيانات من داخل نفس منطقة البيانات المنتقل إليها أو من عبر مناطق هبوط بيانات متعددة. يظهر هذا في الرسم التخطيطي التالي.

رسم تخطيطي لاستهلاك المنطقة المنتقل إليها عبر البيانات.

يوضح المثال أعلاه ما يلي:

  • استهلاك البيانات داخل المنطقة:
    • يستهلك منتج البيانات B البيانات من منتج البيانات A والبيانات الأخرى أو منتجات البيانات الموجودة في مستودع البيانات داخل المنطقة المنتقل إليها الخاصة به.
    • تستهلك منتجات البيانات C وD فقط البيانات من داخل مناطق البيانات المنتقل إليها الخاصة بها.
  • استهلاك البيانات بين المنطقة:
    • يستهلك منتج البيانات B أيضا البيانات من منتج البيانات C والبيانات في مستودع بيانات المنطقة المنتقل إليها 3.

هام

في حالة استهلاك البيانات بين المناطق، نظرا لأن منتج البيانات B يتم إنشاؤه من خلال القراءة من المنطقة المنتقل إليها البيانات 3، فإن الوصول للقراءة هذا يتطلب موافقة من عمليات منطقة البيانات المنتقل إليها وفرق عمليات التكامل للمنطقة المنتقل إليها للبيانات 3.

هام

يستهلك منتج البيانات B البيانات من منتجات البيانات A وC. قبل أن يحدث ذلك، يجب أن يسجل منتج البيانات B استهلاكه لمنتجات البيانات عبر اتفاقيات مشاركة البيانات. يجب أن تقوم اتفاقية مشاركة البيانات هذه بتحديث دورة حياة البيانات من منتج البيانات A إلى منتج البيانات B ومن منتج البيانات C إلى منتج البيانات B.

تتضمن مجموعة الموارد لمنتج بيانات جميع الخدمات المطلوبة لإنشائه وصيانته. يمكننا استدعاء مجموعة الموارد هذه بتطبيق بيانات. تتضمن أمثلة الخدمات التي قد تكون جزءا من تطبيق بيانات Azure Functions وAzure App Service وLogic Apps وAzure Analysis Services وAzure Cognitive Services وAzure Machine Learning وAzure SQL Database وAzure Database for MySQL وAzure Cosmos DB. لمزيد من المعلومات، راجع نماذج تطبيق البيانات.

تحتوي منتجات البيانات على بيانات من مصادر بيانات READ تم تطبيق بعض تحويلات البيانات عليها. قد تكون الأمثلة مجموعة بيانات منسقة حديثا أو تقرير BI.

توصيات التصميم

إنشاء منتجات البيانات داخل منطقة البيانات المنتقل إليها من خلال الالتزام بمبادئ التصميم التي تسمح لك بالتوسع مع إدارة البيانات. توفر الأقسام التالية توصيات التصميم للمساعدة أثناء تخطيط النظام البنائي لتطبيق البيانات.

توزيع مجموعات موارد متعددة

كل تطبيق بيانات هو مجموعة موارد. نظرا لأن تطبيقات البيانات هي خدمات حساب أو خدمات استمرار متعددة اللغات أو كليهما، لا يمكن أن تكون مطلوبة إلا اعتمادا على حالات استخدام معينة. على هذا النحو، تعتبر مكونا اختياريا لمنطقة البيانات المنتقل إليها. في حالة كنت بحاجة إلى تطبيقات بيانات، قم بإنشاء مجموعات موارد متعددة حسب تطبيق البيانات كما يظهر الرسم التخطيطي التالي.

رسم تخطيطي لمجموعات موارد تطبيق البيانات.

تعيين حواجز الحماية

يقود نهج Azure التكوين الافتراضي للخدمات داخل منطقة البيانات المنتقل إليها. فكر في التحليلات التشغيلية كمجموعات موارد متعددة يمكن لفريق منتج البيانات طلبها من كتالوج خدمة قياسي. باستخدام Azure Policy، يمكنك تكوين حدود الأمان ومجموعة الميزات المطلوبة.

هام

لدفع التناسق، قم بتكوين نهج Azure واحد لكل تطبيق بيانات.

استهلاك البيانات من أماكن متعددة

تدير تطبيقات البيانات البيانات وتنظمها وتفهمها من أصول بيانات متعددة وتقدم أي رؤى مكتسبة. منتج البيانات هو نتيجة بيانات من تطبيق بيانات واحد أو العديد من تطبيقات البيانات داخل مناطق هبوط البيانات. السماح لتطبيقات البيانات الخاصة بك بالوصول إلى البيانات من مصادر متعددة ومختلفة عند الضرورة.

تغيير الحجم حسب الحاجة

الخدمات التي تشكل تطبيقات البيانات هي عمليات نشر تزايدية إلى منطقة البيانات المنتقل إليها. قم بتوسيع نطاق تطبيقات البيانات حسب الحاجة.

تمكين اكتشاف البيانات

سجل منتجات البيانات تلقائيا في كتالوج بيانات مثل Azure Purview للسماح بمسح البيانات ضوئيا.

تحديد منتجات البيانات

أثناء البدء في تخطيط منطقة هبوط البيانات، حدد العديد من منتجات البيانات (وتطبيقات البيانات التي تنتجها وتحافظ عليها) حسب الضرورة للمساعدة في دفع بنية تطبيق منتج البيانات. يجب أن يلعب التوافق مع إدارة النظام الأساسي المنفذ أكبر دور في قراراتك.

ركز على كيفية أن تكون تطبيقات البيانات الخاصة بك منتجة للبيانات ومستهلكة للآخرين. على سبيل المثال، افترض أنك حددت مجموعة من منتجات البيانات (A وB وC وD) التي يتم إنتاجها واستهلاكها. تحتاج إلى منتجات البيانات A وD كمصادر للبيانات في Data Application B لمنتج البيانات B. يتم إنشاء منتج البيانات B من البيانات التي يستهلكها تطبيق البيانات B من منتجات البيانات A وD. يعمل تطبيق البيانات B كمنتج بيانات نفسه، وينتج أيضا بيانات لمنتج البيانات C.

رسم تخطيطي لمنتج البيانات والمستهلكين.

التحكم في بيئة تطبيق البيانات باستخدام البنية الأساسية كتعليق برمجي

يجب أن تتحكم الحوكمة والبنية الأساسية كتعليق برمجي في بيئة تطبيق البيانات عبر النظام البنائي لمنتجات البيانات، كما هو موضح في الرسم التخطيطي السابق.

نشر نماذج البيانات

يجب أن تنشر فرق منتجات البيانات نماذج البيانات الخاصة بها في مستودع النمذجة.

تعيين توقعات لمستخدمي منتجات البيانات

قم بتحديث عقود مشاركة البيانات الخاصة بك باتفاقيات على مستوى الخدمة وشهادات لمنتجات البيانات الخاصة بك حتى تتمكن من نقل توقعات دقيقة للمستخدمين المحتملين لمنتج البيانات.

التقاط دورة حياة البيانات

إذا تم إنشاء منتج البيانات B من البيانات الواردة من منتجات البيانات A وD، فيجب التقاط دورة حياة البيانات من A وD إلى B. يجب أيضا التقاط دورة حياة إضافية لمنتج البيانات C، حيث يتم إنشاؤها باستخدام بيانات من منتج البيانات B. يجب التقاط دورة حياة البيانات المحدثة في تطبيق دورة حياة البيانات قبل كل إصدار من منتج البيانات الخاص بك.

ملاحظة

يتيح لك استخدام Azure Pipelines إنشاء بوابات الموافقة واستدعاء الدوال التي يمكنها التأكد من تسجيل بيانات التعريف والسلالة واتفاقيات مستوى الخدمة في خدمة الحوكمة الصحيحة.

تعريف بنية تطبيق البيانات

يجب إنشاء بنية مفصلة لكل منتج بيانات يحدد علاقته بالكامل بمنتجات البيانات الأخرى وتبعياتها ومتطلبات الوصول الخاصة به.

مثال على سيناريو التصميم

لفهم عملية تعريف البنية، استكشف المثال التالي لمؤسسة مالية ومنتج بيانات مراقبة الائتمان الخاص بها.

رسم تخطيطي لبنية تعريف منتج البيانات بالتفصيل.

يستهلك منتج بيانات مراقبة الائتمان الموضح في هذا الرسم التخطيطي بيانات من مخزن بيانات للقراءة تم استيعابه من قبل فريق عمليات التكامل. ينتج منتج (منتجات) بيانات يستهلكها أيضا منتجان آخران للبيانات.

ملاحظة

يعرف مصدر بيانات القراءة أو المخزن أيضا كمصدر سجل ذهبي. تم تنظيف مصادر البيانات هذه ولكن لم يتم تطبيق أي تحويلات عليها.

يطلب فريق منتج بيانات مراقبة الائتمان الوصول للقراءة لقراءة مخازن البيانات التي يحتاجونها لإنشاء منتج البيانات الخاص بهم. يتم توجيه طلباتهم إلى مالكي البيانات للموافقة عليها. بمجرد حصولهم على الموافقة، يمكن لفريق المنتج البدء في إنشاء تطبيق البيانات الخاص بهم.

يتم تحويل البيانات من مصدر بيانات القراءة إلى منتج (منتجات) بيانات مراقبة الائتمان. يتم تخزين أي منتجات بيانات جديدة في الطبقة المنسقة لمستودع البيانات. يجب تسجيل منتجات البيانات الجديدة هذه و دورة حياة البيانات الجديدة كجزء من عملية توزيع DevOps. يمكن للدالة التحقق من بيانات التعريف المسجلة مع البنية المادية لأصل البيانات. يجب أن يسجل التبعية على أصول بيانات مصدر البيانات المقروءة ومنتجات البيانات.

يعتمد فريق منتج بيانات الموافقة على القرض على بعض منتجات بيانات مراقبة الائتمان. قد يطلب فريق الموافقة على القروض الوصول للقراءة إلى منتجات بيانات مراقبة الائتمان التي يحتاجونها لمنتجات البيانات الخاصة بهم. بمجرد إصدارهم لمنتج بيانات الموافقة على القروض وتطبيق البيانات الخاص به، يجب تسجيل جميع أصول منتجات البيانات، دورة حياة البيانات، والنماذج في خدمات الحوكمة ذات الصلة.

نماذج تطبيقات البيانات

تحتوي الأقسام التالية على نماذج من تطبيقات البيانات لتوضيح سيناريوهات تطبيق البيانات بشكل أكبر.

تحليلات البيانات وتطبيق بيانات علم البيانات

قد يحتوي تطبيق لتحليلات البيانات وعلوم البيانات على الخدمات الموضحة في نموذج تطبيق product-analytics-rgالبيانات .

رسم تخطيطي يوضح الخدمات المحتملة التي يمكن تحديدها لنشر تطبيق بيانات التحليلات.

ملاحظة

يتوفر تطبيق البيانات أعلاه كقالب، والذي ينشر مجموعة من الخدمات التي يمكنك استخدامها لتحليل البيانات وعلوم البيانات. مثل جميع قوالبنا، يعد قالب تطبيق منتج البيانات هذا مخططا يمكنك استخدامه لتدوين البيئات بسرعة للفرق متعددة الوظائف. يجب تعطيل أي خدمات لا تحتاج إليها بشكل صريح.

يحتوي قالب Data Product Analytics على جميع القوالب لتوزيع منتج بيانات للتحليات وعلوم البيانات داخل منطقة هبوط بيانات سيناريو التحليلات على نطاق السحابة.

تتضمن البيانات الاصطناعية للتوزيع والرمز الخدمات التالية:

تطبيق بيانات الدفعة

يحتوي قالب Batch Data Application على جميع القوالب لتوزيع منتج بيانات لمعالجة بيانات الدفعات داخل منطقة هبوط بيانات سيناريو التحليلات على نطاق السحابة.

تتضمن البيانات الاصطناعية للتوزيع والرمز الخدمات التالية:

رسم تخطيطي يوضح الخدمات المحتملة التي يمكن تحديدها لنشر تطبيق بيانات الدفعة.

تطبيق بيانات الدفق

يحتوي قالب Streaming Data Application على جميع القوالب لنشر منتج بيانات لمعالجة البيانات في الوقت الحقيقي داخل منطقة هبوط بيانات سيناريو التحليلات على نطاق السحابة

تتضمن البيانات الاصطناعية للتوزيع والرمز الخدمات التالية:

رسم تخطيطي يوضح الخدمات المحتملة التي يمكن تحديدها لنشر تطبيق بيانات البث.

للعثور على المستودعات التي تحتوي على قوالب التوزيع المذكورة سابقا، راجع قوالب التوزيع للتحليات على نطاق السحابة

الخطوات التالية

تطبيقات البيانات (محاذاة المصدر)