مناطق وصول البيانات
يتم توصيل مناطق هبوط البيانات بمنطقة إدارة البيانات المنتقل إليها عن طريق تناظر الشبكة الظاهرية (VNet). تعتبر كل منطقة منتقل إليها بيانات منطقة منتقل إليها مرتبطة ببنية منطقة هبوط Azure.
هام
قبل توفير منطقة هبوط البيانات، تأكد من وجود نموذج تشغيل DevOps وCI/CD ونشر منطقة هبوط لإدارة البيانات.
تحتوي كل منطقة من مناطق هبوط البيانات على عدة طبقات تتيح السرعة لتكامل بيانات الخدمة ومنتجات البيانات التي تحتوي عليها. يمكنك نشر منطقة هبوط بيانات جديدة مع مجموعة قياسية من الخدمات التي تسمح للمنطقة المنتقل إليها بالبيانات البدء في استيعاب البيانات وتحليلها.
يحتوي اشتراك Azure المقترن بمنطقة البيانات المنتقل إليها على البنية التالية:
| الطبقة | مطلوب | مجموعات الموارد |
|---|---|---|
| الخدمات الأساسية | نعم | |
| تطبيق البيانات | اختياري |
|
| المرئيات | اختياري |
ملاحظة
ينتج تطبيق البيانات منتجا واحدا أو أكثر من منتجات البيانات.
بنية المنطقة المنتقل إليها للبيانات
توضح بنية منطقة هبوط البيانات الطبقات ومجموعات الموارد والخدمات التي تحتويها كل مجموعة موارد. توفر البنية أيضا نظرة عامة على جميع المجموعات والأدوار المرتبطة بمنطقة البيانات المنتقل إليها، بالإضافة إلى مدى وصولها إلى مستويات التحكم والبيانات الخاصة بك.
تلميح
قبل نشر منطقة البيانات المنتقل إليها، تأكد من مراعاة عدد مناطق البيانات المنتقل إليها الأولية التي تريد نشرها.
استخدم هذه البنية كنقطة بداية. قم بتنزيل ملف Visio وتعديله ليناسب متطلبات العمل والتقنية المحددة عند التخطيط لتنفيذ منطقة هبوط البيانات.
طبقة الخدمات الأساسية
تتضمن طبقة الخدمات الأساسية جميع الخدمات المطلوبة لتمكين منطقة البيانات المنتقل إليها في سياق التحليلات على نطاق السحابة. يسرد الجدول التالي مجموعات الموارد التي توفر مجموعة قياسية من الخدمات المتوفرة في كل منطقة هبوط بيانات تقوم بنشرها.
| مجموعة الموارد | مطلوب | الوصف |
|---|---|---|
| network-rg | نعم | الشبكات |
| databricks-monitoring-rg | اختياري | مراقبة مساحات عمل Azure Databricks |
| hive-rg | اختياري | Hive metastore ل Azure Databricks |
| storage-rg | نعم | خدمات مستودعات البيانات |
| external-data-rg | نعم | تحميل تخزين استيعاب |
| وقت التشغيل-rg | نعم | أوقات تشغيل التكامل المشترك |
| mgmt-rg | نعم | عوامل CI/CD |
| بيانات التعريف-استيعاب-rg | اختياري | استيعاب البيانات غير محدد |
| databricks-monitoring-rg | اختياري | مساحة عمل تحليلات السجل لمساحات عمل databricks في المنطقة المنتقل إليها |
| shared-synapse-rg | اختياري | Azure Synapse المشترك |
| shared-databricks-rg | اختياري | مساحة عمل Azure Databricks المشتركة |
الشبكات
تحتوي مجموعة موارد الشبكة على مكونات أساسية، بما في ذلك Azure Network Watcherومجموعات أمان الشبكة (NSG) وشبكة ظاهرية. يتم نشر جميع هذه الخدمات في مجموعة موارد واحدة.
يتم تناظر الشبكة الظاهرية لمنطقة البيانات المنتقل إليها تلقائيا مع الشبكة الظاهرية للمنطقة المنتقل إليها لإدارة البياناتوالشبكة الظاهرية لاشتراك الاتصال الخاص بك.
مراقبة مساحات عمل Azure Databricks
مجموعة الموارد هذه اختيارية ويتم نشرها فقط مع Azure Databricks.
يوصي نمط منطقة هبوط Azure بإرسال جميع السجلات إلى مساحة عمل Log Analytics مركزية. ومع ذلك، تتضمن كل منطقة هبوط بيانات أيضا مجموعة موارد مراقبة لالتقاط سجلات Spark من Databricks. تحتوي كل مجموعة موارد على مساحة عمل Log Analytics مشتركة وAzure Key Vault لتخزين مفاتيح Log Analytics.
هام
استخدم مساحة عمل Log Analytics فقط في مجموعة موارد مراقبة Databricks لالتقاط سجلات Azure Databricks Spark.
لمزيد من المعلومات، راجع مراقبة Azure Databricks.
Hive metastore ل Azure Databricks
مجموعة الموارد هذه اختيارية ويجب توزيعها فقط مع Azure Databricks.
يوفر Hive metastore ل Azure Databricks قاعدة بيانات Azure لقاعدة بيانات MySQL وخزنة مفاتيح. تستخدم جميع مساحات عمل Azure Databricks في منطقة البيانات المنتقل إليها هذا metastore كمخزن بيانات تعريف Apache Hive خارجي.
لمزيد من المعلومات، راجع مخزن Apache Hive Metastore الخارجي.
خدمات مستودع البيانات
كما هو موضح في الرسم التخطيطي السابق، يتم توفير ثلاثة حسابات Azure Data Lake Storage Gen2 في مجموعة موارد خدمات مستودع بيانات واحدة. يتم حفظ البيانات التي يتم تحويلها في مراحل مختلفة في إحدى مستودعات البيانات في منطقة البيانات المنتقل إليها. تتوفر البيانات للاستهلاك من قبل فرق التحليلات وعلوم البيانات والتصور.
تستخدم طبقات مستودع البيانات مصطلحات مختلفة اعتمادا على التكنولوجيا والمورد. يوفر هذا الجدول إرشادات حول كيفية تطبيق شروط التحليلات على نطاق السحابة:
| تحليلات على نطاق السحابة | Delta Lake | مصطلحات أخرى | الوصف |
|---|---|---|---|
| RAW | Bronze | الهبوط والتوافق | جداول الاستيعاب |
| المخصب | فضة | منطقة التوحيد القياسي | الجداول المكررة. الكيان الكامل المخزن ومجموعات السجلات الجاهزة للاستهلاك من أنظمة السجلات. |
| منسق | ذهب | منطقة المنتج | ميزة أو جداول مجمعة. المنطقة الأساسية للتطبيقات والفرق والمستخدمين لاستهلاك منتجات البيانات. |
| التطوير | -- | منطقة التطوير | موقع لمهندسي البيانات والعلماء، الذي يضم كلا من بيئة الاختبار المعزولة للتحليات ومنطقة تطوير المنتجات. |
ملاحظة
في الرسم التخطيطي السابق، تحتوي كل منطقة من مناطق البيانات المنتقل إليها على ثلاث مستودعات بيانات. ومع ذلك، اعتمادا على متطلباتك، قد ترغب في دمج الطبقات الأولية والمثرية والمنسقة في حساب تخزين واحد، والحفاظ على حساب تخزين آخر يسمى "التطوير" لمستهلكي البيانات لجلب منتجات بيانات مفيدة أخرى.
لمزيد من المعلومات، راجع:
- نظرة عامة على Azure Data Lake Storage للتحليات على نطاق السحابة
- توحيد البيانات
- توفير حسابات Azure Data Lake Storage Gen2 لكل منطقة من مناطق البيانات المنتقل إليها
- الاعتبارات الرئيسية Azure Data Lake Storage
- التحكم في الوصول وتكوينات مستودع البيانات في Azure Data Lake Storage
تحميل تخزين استيعاب
يحتاج ناشري البيانات التابعون لجهة خارجية إلى نقل البيانات إلى النظام الأساسي الخاص بك حتى تتمكن فرق تطبيقات البيانات من سحبها إلى مستودعات البيانات الخاصة بهم. كما هو موضح في الرسم التخطيطي التالي، تتيح لك مجموعة موارد تخزين استيعاب التحميل توفير مخازن كائن ثنائي كبير الحجم لجهات خارجية.
تطلب فرق تطبيق البيانات هذه الكائنات الثنائية كبيرة الحجم للتخزين. ثم تتم الموافقة على طلباتهم من قبل فريق عمليات المنطقة المنتقل إليها للبيانات. يجب إزالة البيانات من كائن التخزين الثنائي كبير الحجم المصدر الخاص بها بمجرد سحبها من كائن ثنائي كبير الحجم للتخزين إلى خام.
هام
نظرا لأن الكائنات الثنائية كبيرة الحجم ل Azure Storage يتم توفيرها على أساس الحاجة ، يجب عليك في البداية توزيع مجموعة موارد خدمات تخزين فارغة في كل منطقة هبوط بيانات.
أوقات تشغيل التكامل المشترك
نشر مجموعة مقياس جهاز ظاهري مع أوقات تشغيل التكامل المستضافة ذاتيا في منطقة البيانات المنتقل إليها. استضيفه في مجموعة موارد التكامل المشتركة. يتيح لك هذا النشر إلحاق منتجات البيانات بسرعة بمنطقة البيانات المنتقل إليها.
لتمكين مجموعة الموارد:
- إنشاء Azure Data Factory واحد على الأقل في مجموعة موارد التكامل المشتركة لمنطقة البيانات المنتقل إليها. استخدمه فقط لربط وقت تشغيل التكامل المستضاف ذاتيا المشترك، وليس لتدفقات البيانات.
- إنشاء صورة مشتركة لمجموعة مقياس جهاز Azure الظاهري مع تكوين وقت تشغيل تكامل مستضاف ذاتيا.
- قم بإعداد أوقات تشغيل التكامل المستضاف ذاتيا في وضع التوفر العالي.
- إقران أوقات تشغيل التكامل المستضاف ذاتيا بمصانع بيانات Azure في منطقة (مناطق) البيانات المنتقل إليها.
- قم بإعداد Azure Automation لتحديث وقت تشغيل التكامل المستضاف ذاتيا بشكل دوري.
هام
نشر أوقات تشغيل التكامل المشتركة بالقرب من مصدر البيانات قدر الإمكان. لا يقيد توزيعها توزيع أوقات تشغيل التكامل في منطقة هبوط البيانات أو في السحب التابعة لجهات خارجية. بدلا من ذلك، يوفر احتياطيا لمصادر البيانات الأصلية في السحابة داخل المنطقة.
عوامل CI/CD
تساعدك عوامل CI/CD على نشر تطبيقات البيانات والتغييرات في منطقة البيانات المنتقل إليها.
لمزيد من المعلومات، راجع عوامل Azure Pipeline.
استيعاب البيانات غير محدد
مجموعة الموارد هذه اختيارية، ولا تمنعك من نشر المنطقة المنتقل إليها.
تنطبق مجموعة الموارد هذه إذا كان لديك (أو تقوم بتطوير) محرك استيعاب بيانات غير محدد لاستيعاب البيانات تلقائيا استنادا إلى تسجيل بيانات التعريف (بما في ذلك سلاسل الاتصال ومسار نسخ البيانات من وإلى وجدول الاستيعاب. تحتوي مجموعة موارد الاستيعاب والمعالجة على خدمات رئيسية لهذا النوع من الإطار.
انشر مثيل قاعدة بيانات Azure SQL للاحتفاظ ببيانات التعريف المستخدمة من قبل Azure Data Factory. توفير Key Vault Azure لتخزين البيانات السرية المتعلقة بخدمات الاستيعاب التلقائية. يمكن أن تتضمن هذه الأسرار ما يلي:
- بيانات اعتماد مخزن بيانات Azure Data Factory metastore
- بيانات اعتماد كيان الخدمة لعملية الاستيعاب التلقائية
لمزيد من المعلومات، راجع كيف تدعم أطر الاستيعاب التلقائية التحليلات على نطاق السحابة في Azure.
تتضمن الخدمات المضمنة في مجموعة الموارد هذه ما يلي:
| الخدمة | مطلوب | الإرشادات |
|---|---|---|
| Azure Data Factory | نعم | Azure Data Factory هو محرك التزامن لاستيعاب البيانات غير المحدد. |
| Azure SQL DB | نعم | Azure SQL DB هو metastore ل Azure Data Factory. |
| مراكز الأحداث أو IoT Hub | اختياري | يمكن أن توفر مراكز الأحداث أو IoT Hub دفقا في الوقت الحقيقي إلى مراكز الأحداث، بالإضافة إلى معالجة الدفعات والتدفق عبر مساحة عمل هندسية Databricks. |
| Azure Databricks | اختياري | يمكنك نشر Azure Databricks أو Azure Synapse Spark للاستخدام مع محرك الاستيعاب غير الأساسي للبيانات. |
| Azure Synapse | اختياري | يمكنك نشر Azure Databricks أو Azure Synapse Spark لاستخدامها مع محرك الاستيعاب غير الظاهر للبيانات. |
Databricks المشتركة
مجموعة الموارد هذه اختيارية ويتم نشرها فقط مع Azure Databricks. يمكن لكل شخص في منطقة البيانات المنتقل إليها استخدام مساحة عمل Databricks.
Azure Databricks هو المستهلك الرئيسي لخدمة Azure Data Lake Storage. تم تحسين عمليات الملفات الذرية لمحركات Spark التحليلية. يعمل هذا التحسين على تسريع إكمال مهام Spark التي تصدرها خدمة Azure Databricks.
هام
يتم توفير مساحة عمل Azure Databricks تسمى مساحة عمل Azure Databricks (التحليلات) لجميع علماء البيانات وDataOps، كما هو موضح في مجموعة موارد المنتجات المشتركة.
يمكنك تكوين مساحة العمل هذه للاتصال ب Azure Data Lake باستخدام إما مرور Azure Active Directory أو التحكم في الوصول إلى الجدول. اعتمادا على حالة الاستخدام الخاصة بك، يمكنك تكوين الوصول المشروط كإجراء أمان آخر.
اتبع أفضل ممارسات التحليلات على نطاق السحابة لدمج Azure Databricks:
يوصي نمط منطقة هبوط Azure بإرسال جميع السجلات إلى مساحة عمل Log Analytics مركزية. ومع ذلك، تحتوي كل منطقة هبوط بيانات أيضا على مجموعة موارد مراقبة لالتقاط سجلات Spark من Databricks.
تحليلات Azure Synapse المشتركة
مجموعة الموارد هذه اختيارية.
أثناء الإعداد الأولي لمنطقة البيانات المنتقل إليها، يتم نشر مساحة عمل Azure Synapse Analytics واحدة للاستخدام من قبل جميع محللي البيانات والعلماء في مجموعة موارد المنتجات المشتركة.
يمكنك إعداد المزيد من مساحات عمل synapse لمنتجات البيانات إذا كانت إدارة التكلفة وإعادة الشحن مطلوبة. قد تستخدم فرق تطبيق البيانات مساحات عمل Azure Synapse Analytics المخصصة لإنشاء تجمعات قاعدة بيانات Azure SQL مخصصة كمخزن بيانات للقراءة تستخدمه طبقة المرئيات الخاصة بك.
هام
منع استخدام مساحة عمل Azure Synapse المشتركة لإنشاء منتج البيانات عن طريق تأمين مساحة العمل للسماح فقط باستعلامات SQL عند الطلب. إنه موجود لأغراض استغلالية فقط.
تطبيق البيانات
يمكن أن تحتوي كل منطقة هبوط بيانات على منتجات بيانات متعددة. يمكنك إنشاء منتجات البيانات هذه عن طريق استيعاب البيانات من المصدر. يمكنك أيضا إنشاء منتجات بيانات من منتجات بيانات أخرى داخل نفس منطقة البيانات المنتقل إليها أو من مناطق البيانات المنتقل إليها الأخرى. يخضع إنشاء منتج البيانات لمنتجات البيانات لموافقة المشرف على البيانات.
مجموعة موارد منتج البيانات
يتضمن منتج مجموعة موارد منتج البيانات جميع الخدمات المطلوبة لإنشاء منتج البيانات هذا. على سبيل المثال، قاعدة بيانات Azure مطلوبة ل MySQL، والتي تستخدمها أداة تصور. يجب استيعاب البيانات وتحويلها قبل أن تهبط في قاعدة بيانات MySQL هذه. في هذه الحالة، يمكنك نشر قاعدة بيانات Azure ل MySQL وAzure Data Factory في مجموعة موارد منتج البيانات.
تلميح
إذا اخترت عدم تنفيذ محرك غير محدد للبيانات لاستيعابه مرة واحدة من مصادر التشغيل، أو إذا لم يتم تسهيل الاتصالات المعقدة في محرك البيانات، فقم بإنشاء تطبيق بيانات محاذاة المصدر. لمزيد من المعلومات، راجع تطبيقات البيانات (محاذاة المصدر)
لمزيد من المعلومات حول كيفية إلحاق منتجات البيانات، راجع منتجات بيانات التحليلات على نطاق السحابة في Azure.
عرض البيانات بشكل بياني
يتم إنشاء مجموعة موارد مرئيات فارغة لكل منطقة منتقل إليها البيانات. املأ مجموعة الموارد هذه بالخدمات التي تحتاجها لتنفيذ حل المرئيات الخاص بك. يتيح استخدام الشبكة الظاهرية الحالية الاتصال بحلك بمنتجات البيانات.
يمكن لمجموعة الموارد هذه استضافة الأجهزة الظاهرية لخدمات المرئيات التابعة لجهة خارجية.
تلميح
نظرا لتكاليف الترخيص، قد يكون من الأكثر اقتصادا نشر منتجات التصور التابعة لجهة خارجية في منطقة إدارة البيانات المنتقل إليها، وأن تتصل هذه المنتجات عبر مناطق هبوط البيانات لسحب البيانات مرة أخرى.