مشاركة عبر

اختيار تقنية معالجة الدفعات في Azure

  • مقالة

غالبا ما تتكون حلول البيانات الضخمة من مهام معالجة دفعية منفصلة تساهم في حل معالجة البيانات الشامل. يمكنك استخدام معالجة الدفعات لأحمال العمل التي لا تتطلب وصولا فوريا إلى الرؤى. يمكن أن تكمل معالجة الدفعات متطلبات المعالجة في الوقت الحقيقي. يمكنك أيضا استخدام معالجة الدفعات لتحقيق التوازن بين التعقيد وتقليل التكلفة لتنفيذك الكلي.

المتطلب الأساسي لمحركات معالجة الدفعات هو توسيع نطاق الحسابات للتعامل مع حجم كبير من البيانات. على عكس المعالجة في الوقت الحقيقي، فإن معالجة الدفعات لها زمن انتقال، أو الوقت بين استيعاب البيانات والحوسبة نتيجة، من الدقائق أو الساعات.

اختيار تقنية لمعالجة الدفعات

تقدم Microsoft العديد من الخدمات التي يمكنك استخدامها لإجراء معالجة الدفعات.

Microsoft Fabric

Microsoft Fabric هو نظام أساسي للبيانات والتحليلات للجميع للمؤسسات. إنه برنامج كعرض خدمة يبسط كيفية توفير حل تحليلات شامل وإدارته والتحكم فيه. يعالج Fabric حركة البيانات والمعالجة والاستيعاب والتحويل وإعداد التقارير. تتضمن ميزات النسيج التي تستخدمها لمعالجة الدفعات هندسة البيانات ومستودعات البيانات ومستودعات المستودعات ومعالجة Apache Spark. يدعم Azure Data Factory في Fabric أيضا lakehouses. لتبسيط التطوير وتسريعه، يمكنك تمكين Copilot المستند إلى الذكاء الاصطناعي.

  • اللغات: R وPython وJava وSc scala وSQL

  • الأمان: الشبكة الظاهرية المدارة والتحكم في الوصول المستند إلى دور OneLake (RBAC)

  • التخزين الأساسي: OneLake، الذي يحتوي على اختصارات وخيارات النسخ المتطابق

  • Spark: تجمع بداية تم ترطيبه مسبقا وتجمع Spark مخصص مع أحجام عقدة محددة مسبقا

Azure Synapse Analytics

Azure Synapse Analytics هي خدمة تحليلات المؤسسة التي تجمع بين تقنيات SQL وSpark ضمن بنية واحدة لمساحة عمل. يعمل Azure Synapse Analytics على تبسيط الأمان والحوكمة والإدارة. تحتوي كل مساحة عمل على مسارات بيانات متكاملة يمكنك استخدامها لتأليف مهام سير العمل الشاملة. يمكنك أيضا توفير تجمع SQL مخصص للتحليلات واسعة النطاق، ونقطة نهاية SQL بلا خادم يمكنك استخدامها للاستعلام مباشرة عن المستودع، ووقت تشغيل Spark لمعالجة البيانات الموزعة.

  • اللغات: Python وJava وSc scala وSQL

  • الأمان: الشبكة الظاهرية المدارة والتحكم في الوصول استنادا إلى الدور والتحكم في الوصول وقوائم التحكم في الوصول إلى التخزين على Azure Data Lake Storage

  • التخزين الأساسي: Data Lake Storage ويدمج أيضا مع مصادر أخرى

  • Spark: إعداد تكوين Spark مخصص مع أحجام عقدة محددة مسبقا

Azure Databricks

Azure Databricks هو نظام أساسي للتحليلات يستند إلى Spark. يتميز بميزات Spark الغنية والمميزة التي تم إنشاؤها فوق Spark مفتوح المصدر. Azure Databricks هي خدمة Microsoft تتكامل مع بقية خدمات Azure. ويتميز تكوينات إضافية لتوزيع نظام مجموعة Spark. ويساعد كتالوج Unity على تبسيط إدارة كائنات Azure Databricks Spark.

  • اللغات: R وPython وJava وSc scala وSpark SQL.

  • الأمان: مصادقة المستخدم باستخدام معرف Microsoft Entra.

  • التخزين الأساسي: التكامل المضمن مع Azure Blob Storage وData Lake Storage وAzure Synapse Analytics وخدمات أخرى. لمزيد من المعلومات، راجع مصادر البيانات.

وتشمل الفوائد الأخرى ما يلي:

معايير تحديد المفتاح

لاختيار تقنيتك لمعالجة الدفعات، ضع في اعتبارك الأسئلة التالية:

  • هل تريد خدمة مدارة، أم تريد إدارة الخوادم الخاصة بك؟

  • هل تريد تأليف منطق معالجة الدفعات بشكل تعريفي أو إلزامي؟

  • هل تقوم بمعالجة الدفعات في اندفاعات؟ إذا كانت الإجابة بنعم، ففكر في الخيارات التي توفر القدرة على إنهاء نظام مجموعة تلقائيا أو التي تحتوي على نماذج تسعير لكل وظيفة دفعية.

  • هل تحتاج إلى الاستعلام عن مخازن البيانات الارتباطية جنبا إلى جنب مع معالجة الدفعات الخاصة بك، على سبيل المثال للبحث عن البيانات المرجعية؟ إذا كانت الإجابة بنعم، ففكر في الخيارات التي توفر القدرة على الاستعلام عن المتاجر العلائقية الخارجية.

مصفوفة الإمكانات

تلخص الجداول التالية الاختلافات الرئيسية في القدرات بين الخدمات.

الإمكانات العامة

الإمكانية Fabric Azure Synapse Analytics Azure Databricks
خدمة تأجير البرامج نعم1 لا لا
⁧⁩خدمة مدارة⁧ لا نعم ‏‏نعم‬
مخزن البيانات العلائقية ‏‏نعم‬ نعم ‏‏نعم‬
نموذج الأسعار وحدات السعة تجمع SQL أو ساعة نظام المجموعة وحدة Azure Databricks 2 وساعة نظام المجموعة

[1] سعة النسيج المعينة.

[2] وحدة Azure Databricks هي إمكانية المعالجة في الساعة.

قدرات أخرى

الإمكانية Fabric Azure Synapse Analytics Azure Databricks
التحجيم التلقائي لا لا ‏‏نعم‬
نقاوة التحجيم لكل Fabric SKU لكل مجموعة أو لكل تجمع SQL لكل نظام مجموعة
التخزين المؤقت للبيانات في الذاكرة لا نعم ‏‏نعم‬
الاستعلام من المخازن العلائقية الخارجية ‏‏نعم‬ لا ‏‏نعم‬
المصادقة Microsoft Entra ID معرف SQL أو Microsoft Entra Microsoft Entra ID
التدقيق ‏‏نعم‬ نعم ‏‏نعم‬
الأمان على مستوى الصف ‏‏نعم‬ نعم 1 ‏‏نعم‬
يدعم جدران الحماية ‏‏نعم‬ نعم ‏‏نعم‬
إخفاء البيانات الديناميكي ‏‏نعم‬ نعم ‏‏نعم‬

[1] دالات تقييم التصفية فقط. لمزيد من المعلومات، راجع الأمان على مستوى الصف.

المساهمون

تحتفظ Microsoft بهذه المقالة. وهي مكتوبة في الأصل من قبل المساهمين التاليين.

الكتاب الرئيسيون:

لمشاهدة ملفات تعريف LinkedIn غير العامة، سجل الدخول إلى LinkedIn.

الخطوات التالية