Analytics end-to-end with Azure Synapse

يجمع الحل الموضح في هذه المقالة بين مجموعة من خدمات Azure التي ستستوعب البيانات والرؤى وتخزنها وتعالجها وتثريها وتخدمها من مصادر مختلفة (منظمة وشبه منظمة وغير منظمة وتدفق).

بناء الأنظمة

قم بتنزيل ملف Visio لهذه البنية.

تدفق البيانات

يتم توضيح حالات استخدام التحليلات التي تغطيها البنية من خلال مصادر البيانات المختلفة على الجانب الأيمن من الرسم التخطيطي. تتدفق البيانات عبر الحل من الأسفل إلى الأعلى كما يلي:

يرجى الرجوع إلى وثائق مناطق مستودع البيانات والحاويات لإجراء مراجعة كاملة لطبقات وحاويات Azure Data Lake واستخداماتها.

خدمات بيانات Azure، سحابة أصلية HTAP مع Azure Cosmos DB وDataverse

معالجة

1. يمكّنك Azure Synapse Link لـ Azure Cosmos DB وAzure Synapse Link لـ Dataverse من تشغيل تحليلات قريبة من الوقت الحقيقي على بيانات التطبيقات التشغيلية والتجارية، باستخدام محركات التحليلات المتوفرة من مساحة عمل Azure Synapse: SQL بلا خادم وSpark Pools.

2. عند استخدام Azure Synapse Link ل Azure Cosmos DB، استخدم إما استعلام SQL Serverless أو دفتر ملاحظات Spark Pool. يمكنك الوصول إلى مخزن Azure Cosmos DB التحليلي ثم دمج مجموعات البيانات من بياناتك التشغيلية القريبة من الوقت الحقيقي مع البيانات من مستودع البيانات أو من مستودع البيانات الخاص بك.

3. عند استخدام Azure Synapse Link لـ Dataverse، استخدم إما استعلام SQL بلا خادم أو دفتر ملاحظات Spark Pool. يمكنك الوصول إلى جداول Dataverse المحددة، ثم دمج مجموعات البيانات من بيانات تطبيقات الأعمال القريبة من الوقت الحقيقي مع البيانات من مخزن البيانات أو من مستودع البيانات.

متجر

1. يمكن استمرار مجموعات البيانات الناتجة من استعلامات SQL بلا خادم في مستودع البيانات. إذا كنت تستخدم دفاتر ملاحظات Spark، يمكن استمرار مجموعات البيانات الناتجة إما في مستودع البيانات أو مخزن البيانات (تجمع SQL).

الخدمة

1. قم بتحميل البيانات ذات الصلة من تجمع Azure Synapse SQL أو مستودع البيانات في مجموعات بيانات Power BI لتصور البيانات واستكشافها. نماذج Power BI تنفذ نموذجاً دلالياً لتبسيط تحليل بيانات الأعمال والعلاقات. يستخدم محللو الأعمال تقارير Power BI ولوحات المعلومات لتحليل البيانات واستخلاص رؤى الأعمال.

2. يمكن أيضاً مشاركة البيانات بأمان مع وحدات الأعمال الأخرى أو الشركاء الموثوق بهم الخارجيين باستخدام Azure Data Share. يتمتع مستهلكو البيانات بحرية اختيار تنسيق البيانات الذي يريدون استخدامه، وأيضًا محرك الحوسبة الأفضل لمعالجة مجموعات البيانات المشتركة.

3. يمكن أيضاً استخدام البيانات المنظمة وغير المنظمة المخزنة في مساحة عمل Synapse لإنشاء حلول البحث عن المعرفة واستخدام الذكاء الاصطناعي للكشف عن رؤى الأعمال القيمة عبر أنواع وتنسيقات المستندات المختلفة، بما في ذلك من مستندات Office وملفات PDF والصور والصوت والنماذج وصفحات الويب.

قواعد البيانات الارتباطية

الاستيعاب

1. استخدم مسارات Azure Synapse لسحب البيانات من مجموعة واسعة من قواعد البيانات، سواء في الموقع أو في السحابة. يمكن تشغيل المسارات استناداً إلى جدول زمني محدد مسبقاً، استجابة لحدث ما، أو يمكن استدعاؤها صراحة عبر واجهات برمجة تطبيقات REST.

متجر

1. ضمن طبقة مستودع البيانات الخام، قم بتنظيم مستودع البيانات الخاص بك باتباع أفضل الممارسات حول الطبقات التي يجب إنشاؤها، وهياكل المجلدات التي يجب استخدامها في كل طبقة، وتنسيق الملفات المراد استخدامها لكل سيناريو تحليلي.

2. من البنية الأساسية لبرنامج ربط العمليات التجارية Azure Synapse، استخدم نشاط نسخ البيانات لتنظيم البيانات المنسوخة من قواعد البيانات الارتباطية في الطبقة الأولية من مستودع بيانات Azure Data Lake Store Gen 2 . يمكنك حفظ البيانات بتنسيق نص محدد أو ضغطها كملفات Parquet.

معالجة

1. استخدم إما تدفقات البيانات أو استعلامات SQL بلا خادم أو دفاتر ملاحظات Spark للتحقق من صحة مجموعات البيانات وتحويلها ونقلها من الطبقة الخام، من خلال الطبقة المحسنة وإلى الطبقة المنسقة في مستودع البيانات.

   1. كجزء من تحويلات البيانات الخاصة بك، يمكنك استدعاء نماذج التدريب الآلي من تجمعات SQL باستخدام دفاتر ملاحظات T-SQL أو Spark القياسية. يمكن استخدام نماذج التعلم الآلي هذه لإثراء مجموعات البيانات لديك وإنشاء مزيد من نتائج تحليلات الأعمال. يمكن استهلاك نماذج التعلم الآلي هذه من خدمات Azure المعرفية أو نماذج التعلم الآلي المخصصة من خدمة التعلم الآلي من Azure.

الخدمة

1. يمكنك تقديم مجموعة البيانات النهائية مباشرة من طبقة مستودع البيانات المنسقة أو يمكنك استخدام نشاط نسخ البيانات لاستيعاب مجموعة البيانات النهائية في جداول تجمع SQL باستخدام الأمر COPY لاستيعاب سريع.

2. قم بتحميل البيانات ذات الصلة من تجمع Azure Synapse SQL أو مستودع البيانات في مجموعات بيانات Power BI لتصور البيانات. نماذج Power BI تنفذ نموذجاً دلالياً لتبسيط تحليل بيانات الأعمال والعلاقات. يستخدم محللو الأعمال تقارير Power BI ولوحات المعلومات لتحليل البيانات واستخلاص رؤى الأعمال.

3. يمكن أيضاً مشاركة البيانات بأمان مع وحدات الأعمال الأخرى أو الشركاء الموثوق بهم الخارجيين باستخدام Azure Data Share. يتمتع مستهلكو البيانات بحرية اختيار تنسيق البيانات الذي يريدون استخدامه، وأيضًا محرك الحوسبة الأفضل لمعالجة مجموعات البيانات المشتركة.

4. يمكن أيضاً استخدام البيانات المنظمة وغير المنظمة المخزنة في مساحة عمل Synapse لإنشاء حلول البحث عن المعرفة واستخدام الذكاء الاصطناعي للكشف عن رؤى الأعمال القيمة عبر أنواع وتنسيقات المستندات المختلفة، بما في ذلك من مستندات Office وملفات PDF والصور والصوت والنماذج وصفحات الويب.

مصادر البيانات شبه المنظمة

الاستيعاب

1. استخدم مسارات Azure Synapse لسحب البيانات من مجموعة واسعة من مصادر البيانات شبه المنظمة، سواء في الموقع أو في السحابة. على سبيل المثال:

   • استيعاب البيانات من المصادر المستندة إلى الملفات التي تحتوي على ملفات CSV أو JSON.
   • الاتصال بقواعد بيانات No-SQL مثل Azure Cosmos DB أو MongoDB.
   • استدعاء واجهات برمجة تطبيقات REST التي توفرها تطبيقات خدمة تأجير البرامج التي ستعمل كمصدر بيانات للمسار.

متجر

1. ضمن طبقة مستودع البيانات الخام، قم بتنظيم مستودع البيانات الخاص بك باتباع أفضل الممارسات حول الطبقات التي يجب إنشاؤها، وهياكل المجلدات التي يجب استخدامها في كل طبقة، وتنسيق الملفات المراد استخدامها لكل سيناريو تحليلي.

2. من مسار Azure Synapse، استخدم نشاط نسخ البيانات لتنظيم البيانات المنسوخة من مصادر البيانات شبه المنظمة في الطبقة الأولية من مستودع بيانات Azure Data Lake Store Gen 2 . احفظ البيانات للحفاظ على التنسيق الأصلي، كما تم الحصول عليه من مصادر البيانات.

معالجة

1. بالنسبة للبنية الأساسية لبرنامج ربط العمليات التجارية الدفعية/الصغيرة، استخدم إما تدفقات البيانات أو استعلامات SQL بلا خادم أو دفاتر ملاحظات Spark للتحقق من صحة مجموعات البيانات وتحويلها ونقلها إلى الطبقة المنسقة في مستودع البيانات الخاص بك. تعرض استعلامات SQL بلا خادم ملفات CSV أو Parquet أو JSON الأساسية كجداول خارجية، بحيث يمكن الاستعلام عنها باستخدام T-SQL.

   1. كجزء من تحويلات البيانات، يمكنك استدعاء نماذج التعلم الآلي من تجمعات SQL باستخدام دفاتر ملاحظات T-SQL أو Spark القياسية. يمكن استخدام نماذج التعلم الآلي هذه لإثراء مجموعات البيانات لديك وإنشاء مزيد من نتائج تحليلات الأعمال. يمكن استهلاك نماذج التعلم الآلي هذه من خدمات Azure المعرفية أو نماذج التعلم الآلي المخصصة من خدمة التعلم الآلي من Azure.

2. بالنسبة إلى سيناريوهات بيانات تتبع الاستخدام وتحليلات السلاسل الزمنية القريبة من الوقت الحقيقي، استخدم تجمعات Data Explorer من أجل استيعاب السجلات وبيانات أحداث IoT ودمجها وربطها بسهولة عبر مصادر بيانات متعددة. باستخدام تجمعات Data Explorer، يمكنك استخدام استعلامات Kusto (KQL) لإجراء تحليل السلاسل الزمنية، وتكوين أنظمة المجموعات للموضع الجيوفضائي، وإثراء التعلم الآلي.

الخدمة

1. يمكنك تقديم مجموعة البيانات النهائية مباشرة من طبقة مستودع البيانات المنسقة أو يمكنك استخدام نشاط نسخ البيانات لاستيعاب مجموعة البيانات النهائية في جداول تجمع SQL باستخدام الأمر COPY لاستيعاب سريع.

2. قم بتحميل البيانات ذات الصلة من تجمعات SQL لـ Azure Synapse، أو تجمعات Data Explorer أو مستودع بيانات إلى مجموعات بيانات Power BI لتصور البيانات. نماذج Power BI تنفذ نموذجاً دلالياً لتبسيط تحليل بيانات الأعمال والعلاقات. يستخدم محللو الأعمال تقارير Power BI ولوحات المعلومات لتحليل البيانات واستخلاص رؤى الأعمال.

3. يمكن أيضاً مشاركة البيانات بأمان مع وحدات الأعمال الأخرى أو الشركاء الموثوق بهم الخارجيين باستخدام Azure Data Share. يتمتع مستهلكو البيانات بحرية اختيار تنسيق البيانات الذي يريدون استخدامه، وأيضًا محرك الحوسبة الأفضل لمعالجة مجموعات البيانات المشتركة.

4. يمكن أيضاً استخدام البيانات المنظمة وغير المنظمة المخزنة في مساحة عمل Synapse لإنشاء حلول البحث عن المعرفة واستخدام الذكاء الاصطناعي للكشف عن رؤى الأعمال القيمة عبر أنواع وتنسيقات المستندات المختلفة، بما في ذلك من مستندات Office وملفات PDF والصور والصوت والنماذج وصفحات الويب.

مصادر البيانات غير المنظمة

الاستيعاب

1. استخدم مسارات Azure Synapse لسحب البيانات من مجموعة واسعة من مصادر البيانات غير المنظمة، سواء في الموقع أو في السحابة. على سبيل المثال:

   • استيعاب الفيديو أو الصورة أو الصوت أو النص المجاني من المصادر المستندة إلى الملفات التي تحتوي على الملفات المصدر.
   • استدعاء واجهات برمجة تطبيقات REST التي توفرها تطبيقات خدمة تأجير البرامج التي ستعمل كمصدر بيانات للمسار.

متجر

1. ضمن طبقة مستودع البيانات الخام، قم بتنظيم مستودع البيانات باتباع أفضل الممارسات حول الطبقات التي يجب إنشاؤها، وهياكل المجلدات التي يجب استخدامها في كل طبقة، وتنسيق الملفات المراد استخدامها لكل سيناريو تحليلي.

2. من مسار Azure Synapse، استخدم نشاط نسخ البيانات لتنظيم البيانات المنسوخة من مصادر البيانات غير المنظمة في الطبقة الأولية من مستودع بيانات Azure Data Lake Store Gen 2 . احفظ البيانات عن طريق الحفاظ على التنسيق الأصلي، كما تم الحصول عليه من مصادر البيانات.

معالجة

1. استخدم دفاتر ملاحظات Spark للتحقق من صحة مجموعات البيانات وتحويلها وإثراءها ونقلها من الطبقة الأولية، من خلال الطبقة الغنية وإلى الطبقة المنسقة في مستودع البيانات الخاص بك.

   1. كجزء من تحويلات البيانات، يمكنك استدعاء نماذج التعلم الآلي من تجمعات SQL باستخدام دفاتر ملاحظات T-SQL أو Spark القياسية. يمكن استخدام نماذج التعلم الآلي هذه لإثراء مجموعات البيانات لديك وإنشاء مزيد من نتائج تحليلات الأعمال. يمكن استهلاك نماذج التعلم الآلي هذه من خدمات Azure المعرفية أو نماذج التعلم الآلي المخصصة من خدمة التعلم الآلي من Azure.

الخدمة

1. يمكنك خدمة مجموعة البيانات النهائية مباشرة من طبقة مستودع البيانات المنسقة أو يمكنك استخدام نشاط نسخ البيانات لاستيعاب مجموعة البيانات النهائية في جداول مستودع البيانات باستخدام الأمر COPY لاستيعاب سريع.

2. قم بتحميل البيانات ذات الصلة من تجمع Azure Synapse SQL أو مستودع البيانات في مجموعات بيانات Power BI لتصور البيانات. نماذج Power BI تنفذ نموذجاً دلالياً لتبسيط تحليل بيانات الأعمال والعلاقات.

3. يستخدم محللو الأعمال تقارير Power BI ولوحات المعلومات لتحليل البيانات واستخلاص رؤى الأعمال.

4. يمكن أيضاً مشاركة البيانات بأمان مع وحدات الأعمال الأخرى أو الشركاء الموثوق بهم الخارجيين باستخدام Azure Data Share. يتمتع مستهلكو البيانات بحرية اختيار تنسيق البيانات الذي يريدون استخدامه، وأيضًا محرك الحوسبة الأفضل لمعالجة مجموعات البيانات المشتركة.

5. يمكن أيضاً استخدام البيانات المنظمة وغير المنظمة المخزنة في مساحة عمل Synapse لإنشاء حلول البحث عن المعرفة واستخدام الذكاء الاصطناعي للكشف عن رؤى الأعمال القيمة عبر أنواع وتنسيقات المستندات المختلفة، بما في ذلك من مستندات Office وملفات PDF والصور والصوت والنماذج وصفحات الويب.

الدفق

الاستيعاب

1. استخدم مركز الأحداث من Azure أو Azure IoT Hubs لاستيعاب تدفقات البيانات التي تم إنشاؤها بواسطة تطبيقات العميل أو أجهزة IoT. ستقوم مراكز الأحداث أو IoT Hub بعد ذلك باستيعاب وتخزين البيانات المتدفقة التي تحافظ على تسلسل الأحداث المستلمة. يمكن للمستهلكين بعد ذلك الاتصال بمراكز الأحداث، أو نقاط نهاية مركز IoT، واسترداد الرسائل للمعالجة.

متجر

1. ضمن طبقة مستودع البيانات الخام، قم بتنظيم مستودع البيانات الخاص بك باتباع أفضل الممارسات حول الطبقات التي يجب إنشاؤها، وهياكل المجلدات التي يجب استخدامها في كل طبقة، وتنسيق الملفات المراد استخدامها لكل سيناريو تحليلي.

2. تكوين التقاط مراكز الأحداث أو نقاط نهاية تخزين IoT Hub لحفظ نسخة من الأحداث في الطبقة الأولية من مستودع بيانات Azure Data Lake Store Gen 2 . تنفذ هذه الميزة "المسار البارد" لـ نمط بنية Lambda، وتسمح لك بإجراء تحليل للاتجاهات والأحداث السابقة على بيانات التدفق المحفوظة في مستودع البيانات لديك باستخدام استعلامات SQL بلا خادم أو دفاتر ملاحظات Spark التي تتبع النمط لمصادر البيانات شبه المنظمة الموضحة أعلاه.

معالجة

1. للحصول على نتائج تحليلات في الوقت الحقيقي، استخدم وظيفة Stream Analytics لتنفيذ "المسار السريع" لنمط بنية Lambda واستخلاص رؤى من بيانات الدفق أثناء النقل. حدد إدخالاً واحداً على الأقل لتدفق البيانات الوارد من مراكز الأحداث أو IoT Hub، واستعلام واحد لمعالجة دفق بيانات الإدخال ومخرج Power BI واحد إلى المكان الذي سيتم إرسال نتائج الاستعلام إليه.

   1. كجزء من معالجة البيانات باستخدام Stream Analytics، يمكنك استدعاء نماذج التعلم الآلي لإثراء مجموعات بيانات الدفق ودفع قرارات الأعمال استناداً إلى التنبؤات التي تم إنشاؤها. يمكن استهلاك نماذج التعلم الآلي هذه من خدمات Azure المعرفية أو من نماذج التعلم الآلي المخصصة في التعلم الآلي من Azure.

2. استخدم مخرجات مهام Stream Analytics الأخرى لإرسال الأحداث المعالجة إلى تجمعات SQL لـ Azure Synapse أو تجمعات Data Explorer لمزيد من حالات استخدام التحليلات.

3. بالنسبة إلى سيناريوهات بيانات تتبع الاستخدام والسلاسل الزمنية القريبة من الوقت الحقيقي، استخدم تجمعات Data Explorer لاستيعاب أحداث IoT بسهولة مباشرة من مراكز الأحداث أو IoT Hubs. باستخدام تجمعات Data Explorer، يمكنك استخدام استعلامات Kusto (KQL) لإجراء تحليل السلاسل الزمنية، وتكوين أنظمة المجموعات للموضع الجيوفضائي، وإثراء التعلم الآلي.

الخدمة

1. ثم يستخدم محللو الأعمال إمكانات مجموعات البيانات في الوقت الحقيقي لـ Power BI ولوحة المعلومات لتصور الرؤى المتغيرة السريعة التي تم إنشاؤها بواسطة استعلام Stream Analytics.

2. يمكن أيضاً مشاركة البيانات بأمان مع وحدات الأعمال الأخرى أو الشركاء الموثوق بهم الخارجيين باستخدام Azure Data Share. يتمتع مستهلكو البيانات بحرية اختيار تنسيق البيانات الذي يريدون استخدامه، وأيضًا محرك الحوسبة الأفضل لمعالجة مجموعات البيانات المشتركة.

3. يمكن أيضاً استخدام البيانات المنظمة وغير المنظمة المخزنة في مساحة عمل Synapse لإنشاء حلول البحث عن المعرفة واستخدام الذكاء الاصطناعي للكشف عن رؤى الأعمال القيمة عبر أنواع وتنسيقات المستندات المختلفة، بما في ذلك من مستندات Office وملفات PDF والصور والصوت والنماذج وصفحات الويب.

المكونات

تم استخدام خدمات Azure التالية في البنية:

• Azure Synapse Analytics
• Azure Data Lake Gen2
• Azure Cosmos DB
• خدمات Azure المعرفية
• التعلم الآلي من Microsoft Azure
• مراكز أحداث Azure
• Azure IoT Hub
• Azure Stream Analytics
• Microsoft Purview
• مشاركة بيانات Azure
• Microsoft Power BI
• معرِّف Microsoft Entra
• Microsoft Cost Management
• Azure Key Vault
• Azure Monitor
• Microsoft Defender for Cloud
• أAzure DevOps
• نهج Azure
• GitHub

البدائل

• في البنية أعلاه، تكون مسارات Azure Synapse مسؤولة عن تنسيق مسارات البيانات. مسارات Azure Data Factory تقوم أيضاً بتوفير نفس الإمكانات كما هو موضح في هذه المقالة.

• Azure Databricks يمكن أيضًا استخدامه كمحرك حساب يستخدم لمعالجة البيانات المنظمة وغير المنظمة مباشرة على مستودع البيانات.

• في البنية أعلاه، تعد Azure Stream Analytics هي الخدمة المسؤولة عن معالجة البيانات المتدفقة. ويمكن أيضاً استخدام تجمعات Azure Synapse Spark وAzure Databricks لأداء نفس الدور من خلال تنفيذ دفاتر الملاحظات.

• أنظمة مجموعات Azure HDInsight Kafka يمكن أيضاً استخدامها لاستيعاب البيانات المتدفقة، وتوفير المستوى الصحيح من الأداء وقابلية التوسع المطلوبة من قبل أحمال عمل الدفق الكبيرة.

• يمكنك أيضاً الاستفادة من دالات Azure لاستدعاء خدمات Azure المعرفية أو نماذج التعلم الآلي المخصصة لخدمة التعلم الآلي من Azure من مسار Azure Synapse.

• للحصول على مقارنات البدائل الأخرى، قم بمراجعة:

  • اختيار تقنية تنسيق البنية الأساسية لبرنامج ربط العمليات التجارية للبيانات في Azure
  • اختيار تقنية معالجة دفعة من الملفات في Azure
  • اختيار مخزن بيانات تحليلي في Azure
  • اختيار تقنية تحليلات البيانات في Azure
  • اختيار تقنية معالجة دفق البيانات في Azure

تفاصيل السيناريو

يوضح هذا السيناريو المثال كيفية استخدام Azure Synapse Analytics مع مجموعة واسعة من خدمات بيانات Azure لإنشاء نظام أساسي حديث للبيانات قادر على التعامل مع تحديات البيانات الأكثر شيوعاً في المؤسسة.

حالات الاستخدام المحتملة

من الممكن استخدام هذا النهج أيضاً من أجل:

• إنشاء بنية منتج بيانات، والتي تتكون من مستودع بيانات للبيانات المنظمة ومستودع بيانات للبيانات شبه المنظمة وغير المنظمة. يمكنك اختيار توزيع منتج بيانات واحد للبيئات المركزية أو منتجات بيانات متعددة للبيئات الموزعة، مثل «شبكة البيانات». راجع المزيد من المعلومات حول إدارة البيانات ومناطق البيانات المنتقل إليها.
• دمج مصادر البيانات الارتباطية مع مجموعات البيانات الأخرى غير المنظمة، مع استخدام تقنيات معالجة البيانات الضخمة.
• استخدم النمذجة الدلالية وأدوات التصور القوية لتحليل البيانات بطريقة أبسط.
• مشاركة مجموعات البيانات داخل المؤسسة أو مع شركاء خارجيين موثوق بهم.
• تنفيذ حلول استخراج المعرفة لاستخراج معلومات الأعمال القيمة المخفية في الصور وملفات PDF والمستندات وما إلى ذلك.

التوصيات

الاكتشاف والإدارة

تعد إدارة البيانات تحدياً شائعاً في بيئات المؤسسات الكبيرة. من ناحية، يحتاج محللو الأعمال إلى أن يكونوا قادرين على اكتشاف وفهم أصول البيانات التي يمكن أن تساعدهم في حل مشاكل الأعمال. من ناحية أخرى، يريد كبير مسؤولي البيانات نتائج معرفية حول خصوصية بيانات الأعمال وأمانها.

Microsoft Purview

1. استخدم Microsoft Purview من أجل اكتشاف البيانات ونتائج التحليلات حول أصول البيانات وتصنيف البيانات والحساسية، والتي تغطي مشهد البيانات التنظيمية بالكامل.

2. يمكن أن يساعدك Microsoft Purview في الاحتفاظ بمسرد مصطلحات الأعمال مع مصطلحات الأعمال المحددة المطلوبة للمستخدمين لفهم دلالات ما تعنيه مجموعات البيانات وكيفية استخدامها عبر المؤسسة.

3. يمكنك تسجيل جميع مصادر البيانات وتنظيمها في مجموعات، والتي تعمل أيضا كحد أمان لبيانات التعريف الخاصة بك.

4. قم بإعداد عمليات فحص منتظمة للكتالوج وتحديث بيانات التعريف ذات الصلة حول أصول البيانات في المؤسسة تلقائياً. يمكن لـ Microsoft Purview أيضاً إضافة معلومات دورة حياة البيانات تلقائياً استناداً إلى معلومات من Azure Data Factory أو مسارات Azure Synapse.

5. تصنيف البيانات وتسميات حساسية البيانات يمكن إضافتها تلقائياً إلى أصول البيانات الخاصة بك استناداً إلى قواعد تم تكوينها مسبقاً أو قواعد مخصصة مطبقة أثناء عمليات الفحص العادية.

6. يمكن لمتخصصي إدارة البيانات استخدام التقارير والرؤى التي تم إنشاؤها بواسطة Microsoft Purview للحفاظ على التحكم في مشهد البيانات بأكمله وحماية المؤسسة من أي مشكلات تتعلق بالأمان والخصوصية.

خدمات النظام الأساسي

لتحسين جودة حلول Azure الخاصة بك، اتبع التوصيات والإرشادات المحددة في الركائز الخمس لتميز بنية Azure Well-Architected Framework: وهي تحسين التكلفة والتميز التشغيلي وكفاءة الأداء والموثوقية والأمان.

باتباع هذه التوصيات، ينبغي النظر إلى الخدمات أدناه كجزء من التصميم:

1. معرف Microsoft Entra: خدمات الهوية وتسجيل الدخول الأحادي والمصادقة متعددة العوامل عبر أحمال عمل Azure.
2. إدارة التكلفة من Microsoft: الحوكمة المالية على أحمال عمل Azure.
3. Azure Key Vault: إدارة الشهادات وبيانات الاعتماد الآمنة. على سبيل المثال، يمكن لـ Azure Synapse Pipelines وAzure Synapse Spark Pools والتعلم الآلي من Azure استرداد بيانات الاعتماد والشهادات من Azure Key Vault المستخدمة للوصول بأمان إلى مخازن البيانات.
4. مراقبة Azure: جمع وتحليل والعمل على بيانات تتبع الاستخدام لموارد Azure لتحديد المشكلات بشكل استباقي وزيادة الأداء والموثوقية.
5. Microsoft Defender for Cloud: تعزيز ومراقبة الوضع الأمني لأحمال عمل Azure.
6. Azure DevOps وGitHub: تنفيذ ممارسات DevOps لفرض الأتمتة والتوافق مع مسارات تطوير ونشر حمل العمل ل Azure Synapse وAzure ML.
7. نهج Azure: تنفيذ المعايير التنظيمية والإدارة لتناسق الموارد والتوافق التنظيمي والأمان والتكلفة والإدارة.

الاعتبارات

تنفذ هذه الاعتبارات ركائز Azure Well-Architected Framework، وهو عبارة عن مجموعة من المبادئ التوجيهية التي يمكن استخدامها لتحسين جودة حمل العمل. لمزيد من المعلومات، يرجى مراجعةMicrosoft Azure Well-Architected Framework.

تم اختيار التقنيات في هذه البنية لأن كل منها يوفر الوظائف اللازمة للتعامل مع تحديات البيانات الأكثر شيوعاً في المؤسسة. تلبي هذه الخدمات متطلبات قابلية التوسع والتوافر، مع مساعدتها في التحكم في التكاليف. الخدمات التي تغطيها هذه البنية ليست سوى مجموعة فرعية من عائلة أكبر بكثير من خدمات Azure. ويمكن تحقيق نتائج مماثلة باستخدام خدمات أو ميزات أخرى لا يغطيها هذا التصميم.

قد تتطلب متطلبات العمل المحددة لحالات استخدام التحليلات أيضاً استخدام خدمات أو ميزات مختلفة لم يراعيها التصميم.

يمكن أيضاً تنفيذ بنية مماثلة لبيئات ما قبل التشغيل، حيث يمكنك تطوير واختبار أحمال العمل الخاصة بك. ضع في اعتبارك المتطلبات المحددة لأحمال العمل لديك وإمكانات كل خدمة لبيئة ما قبل التشغيل تكون فعالة من حيث التكلفة.

تحسين التكلفة

يركز تحسين التكلفة على البحث عن طرق للحد من النفقات غير الضرورية وتحسين الكفاءة التشغيلية. لمزيد من المعلومات، راجع نظرة عامة على ركيزة تحسين التكلفة.

بشكل عام، استخدم حاسبة أسعار Azure لتقدير التكاليف. يعتمد مستوى الأسعار الفردي المثالي والتكلفة الإجمالية لكل خدمة مضمنة في البنية على كمية البيانات التي ستتم معالجتها وتخزينها ومستوى الأداء المقبول المتوقع. استخدم الدليل أدناه لمعرفة المزيد حول كيفية تسعير كل خدمة:

• بنية Azure Synapse Analytics بلا خادم تتيح لك توسيع نطاق مستويات الحوسبة والتخزين بشكل مستقل. يتم فرض رسوم على موارد الحساب استناداً إلى الاستخدام، ويمكنك توسيع نطاق هذه الموارد أو إيقافها مؤقتاً عند الطلب. تتم فوترة موارد التخزين لكل تيرابايت، لذلك ستزيد التكاليف الخاصة بك أثناء استيعاب المزيد من البيانات.

• يتم تحصيل رسوم على Azure Data Lake Gen 2 استناداً إلى كمية البيانات المخزنة واستناداً إلى عدد العمليات لقراءة البيانات وكتابتها.

• يتم تحصيل رسوم على مراكز الأحداث من Azure وAzure IoT Hubs استناداً إلى مقدار موارد الحساب المطلوبة لمعالجة تدفقات الرسائل.

• رسوم التعلم الآلي من Azure تأتي من مقدار موارد الحساب المستخدمة لتدريب نماذج التعلم الآلي وتوزيعها.

• الخدمات المعرفية يتم تحصيل رسوم عليها استناداً إلى عدد الاستدعاءات التي تجريها لواجهات برمجة تطبيقات الخدمة.

• Microsoft Purview يتم تحديد أسعاره استناداً إلى عدد أصول البيانات في الكتالوج، ومقدار طاقة الحساب المطلوبة لمسحها ضوئيا.

• Azure Stream Analytics يتم تحصيل رسوم عليه استناداً إلى مقدار طاقة السحاب المطلوبة لمعالجة استعلامات دفق البيانات.

• يحتويPower BI على خيارات منتج مختلفة لمتطلبات مختلفة. Power BI Embedded يوفر خياراً مستنداً إلى Azure لتضمين وظائف Power BI داخل تطبيقاتك. ويتم تضمين مثيل Power BI Embedded في النموذج الخاص بالأسعار أعلاه.

• يتم تسعير Azure Cosmos DB استنادا إلى مقدار التخزين وموارد الحساب التي تتطلبها قواعد البيانات الخاصة بك.

نشر هذا السيناريو

يمنحك هذا النشر خيار تنفيذ البنية المرجعية بأكملها أو اختيار أحمال العمل التي تحتاجها لحالة استخدام التحليلات الخاصة بك. كما يتوفر لديك أيضاً خيار تحديد ما إذا كان يمكن الوصول إلى الخدمات عبر نقاط النهاية العامة، أو إذا كان سيتم الوصول إليها فقط عبر نقاط النهاية الخاصة.

az deployment group create --resource-group azsynapse-e2e \
    --template-uri https://raw.githubusercontent.com/Azure/azure-synapse-analytics-end2end/main/Deploy/AzureAnalyticsE2E.json \
    --parameters networkIsolationMode=default synapseSqlAdminPassword=use-complex-password-here

az deployment group create --resource-group azsynapse-e2e \
    --template-uri https://raw.githubusercontent.com/Azure/azure-synapse-analytics-end2end/main/Deploy/AzureAnalyticsE2E.json \
    --parameters networkIsolationMode=vNet synapseSqlAdminPassword=use-complex-password-here

للحصول على معلومات مفصلة وخيارات نشر إضافية، راجع دليل التوزيع في مستودع GitHub مع الوثائق والرمز المستخدم لتعريف هذا الحل.

المساهمون

يتم تحديث هذه المقالة وتعديلها بواسطة Microsoft. وهي مكتوبة في الأصل من قبل المساهمين التاليين.

الكاتب الرئيسي:

• فابيو براغا | المهندس التقني الرئيسي ل MTC

لمشاهدة ملفات تعريف LinkedIn غير العامة، سجل الدخول إلى LinkedIn.

الخطوات التالية

• راجع الإرشادات المحددة في سيناريو إدارة البيانات والتحليلات في Azure لبيئة التحليلات القابلة للتوسعة في Azure.

• استكشف مسارات التعلم لمهندس البيانات في Microsoft learn للتعرف على المزيد من محتوى التدريب والتمارين المعملية على الخدمات المتضمنة في هذه البنية المرجعية.

• راجع الوثائق، وتوزيع البنية المرجعية باستخدام مسرع التوزيع المتوفر من GitHub.

المورد ذي الصلة

• الاستعلام عن مستودع بيانات أو مستودع باستخدام Azure Synapse بلا خادم