اختيار تقنية معالجة الدفعات في Azure
غالبا ما تتكون حلول البيانات الضخمة من مهام معالجة دفعية منفصلة تساهم في حل معالجة البيانات الشامل. يمكنك استخدام معالجة الدفعات لأحمال العمل التي لا تتطلب وصولا فوريا إلى الرؤى. يمكن أن تكمل معالجة الدفعات متطلبات المعالجة في الوقت الحقيقي. يمكنك أيضا استخدام معالجة الدفعات لتحقيق التوازن بين التعقيد وتقليل التكلفة لتنفيذك الكلي.
المتطلب الأساسي لمحركات معالجة الدفعات هو توسيع نطاق الحسابات للتعامل مع حجم كبير من البيانات. على عكس المعالجة في الوقت الحقيقي، فإن معالجة الدفعات لها زمن انتقال، أو الوقت بين استيعاب البيانات والحوسبة نتيجة، من الدقائق أو الساعات.
اختيار تقنية لمعالجة الدفعات
تقدم Microsoft العديد من الخدمات التي يمكنك استخدامها لإجراء معالجة الدفعات.
Microsoft Fabric
Microsoft Fabric هو نظام أساسي للبيانات والتحليلات للجميع للمؤسسات. إنه برنامج كعرض خدمة يبسط كيفية توفير حل تحليلات شامل وإدارته والتحكم فيه. يعالج Fabric حركة البيانات والمعالجة والاستيعاب والتحويل وإعداد التقارير. تتضمن ميزات النسيج التي تستخدمها لمعالجة الدفعات هندسة البيانات ومستودعات البيانات ومستودعات المستودعات ومعالجة Apache Spark. يدعم Azure Data Factory في Fabric أيضا lakehouses. لتبسيط التطوير وتسريعه، يمكنك تمكين Copilot المستند إلى الذكاء الاصطناعي.
اللغات: R وPython وJava وSc scala وSQL
الأمان: الشبكة الظاهرية المدارة والتحكم في الوصول المستند إلى دور OneLake (RBAC)
التخزين الأساسي: OneLake، الذي يحتوي على اختصارات وخيارات النسخ المتطابق
Spark: تجمع بداية تم ترطيبه مسبقا وتجمع Spark مخصص مع أحجام عقدة محددة مسبقا
Azure Synapse Analytics
Azure Synapse Analytics هي خدمة تحليلات المؤسسة التي تجمع بين تقنيات SQL وSpark ضمن بنية واحدة لمساحة عمل. يعمل Azure Synapse Analytics على تبسيط الأمان والحوكمة والإدارة. تحتوي كل مساحة عمل على مسارات بيانات متكاملة يمكنك استخدامها لتأليف مهام سير العمل الشاملة. يمكنك أيضا توفير تجمع SQL مخصص للتحليلات واسعة النطاق، ونقطة نهاية SQL بلا خادم يمكنك استخدامها للاستعلام مباشرة عن المستودع، ووقت تشغيل Spark لمعالجة البيانات الموزعة.
اللغات: Python وJava وSc scala وSQL
الأمان: الشبكة الظاهرية المدارة والتحكم في الوصول استنادا إلى الدور والتحكم في الوصول وقوائم التحكم في الوصول إلى التخزين على Azure Data Lake Storage
التخزين الأساسي: Data Lake Storage ويدمج أيضا مع مصادر أخرى
Spark: إعداد تكوين Spark مخصص مع أحجام عقدة محددة مسبقا
Azure Databricks
Azure Databricks هو نظام أساسي للتحليلات يستند إلى Spark. يتميز بميزات Spark الغنية والمميزة التي تم إنشاؤها فوق Spark مفتوح المصدر. Azure Databricks هي خدمة Microsoft تتكامل مع بقية خدمات Azure. ويتميز تكوينات إضافية لتوزيع نظام مجموعة Spark. ويساعد كتالوج Unity على تبسيط إدارة كائنات Azure Databricks Spark.
اللغات: R وPython وJava وSc scala وSpark SQL.
الأمان: مصادقة المستخدم باستخدام معرف Microsoft Entra.
التخزين الأساسي: التكامل المضمن مع Azure Blob Storage وData Lake Storage وAzure Synapse Analytics وخدمات أخرى. لمزيد من المعلومات، راجع مصادر البيانات.
وتشمل الفوائد الأخرى ما يلي:
دفاتر الملاحظات المستندة إلى الويب للتعاون واستكشاف البيانات.
أوقات بدء المجموعة السريعة والإنهاء التلقائي والتحجيم التلقائي.
معايير تحديد المفتاح
لاختيار تقنيتك لمعالجة الدفعات، ضع في اعتبارك الأسئلة التالية:
هل تريد خدمة مدارة، أم تريد إدارة الخوادم الخاصة بك؟
هل تريد تأليف منطق معالجة الدفعات بشكل تعريفي أو إلزامي؟
هل تقوم بمعالجة الدفعات في اندفاعات؟ إذا كانت الإجابة بنعم، ففكر في الخيارات التي توفر القدرة على إنهاء نظام مجموعة تلقائيا أو التي تحتوي على نماذج تسعير لكل وظيفة دفعية.
هل تحتاج إلى الاستعلام عن مخازن البيانات الارتباطية جنبا إلى جنب مع معالجة الدفعات الخاصة بك، على سبيل المثال للبحث عن البيانات المرجعية؟ إذا كانت الإجابة بنعم، ففكر في الخيارات التي توفر القدرة على الاستعلام عن المتاجر العلائقية الخارجية.
مصفوفة الإمكانات
تلخص الجداول التالية الاختلافات الرئيسية في القدرات بين الخدمات.
الإمكانات العامة
الإمكانية | Fabric | Azure Synapse Analytics | Azure Databricks |
---|---|---|---|
خدمة تأجير البرامج | نعم1 | لا | لا |
خدمة مدارة | لا | نعم | نعم |
مخزن البيانات العلائقية | نعم | نعم | نعم |
نموذج الأسعار | وحدات السعة | تجمع SQL أو ساعة نظام المجموعة | وحدة Azure Databricks 2 وساعة نظام المجموعة |
[1] سعة النسيج المعينة.
[2] وحدة Azure Databricks هي إمكانية المعالجة في الساعة.
قدرات أخرى
الإمكانية | Fabric | Azure Synapse Analytics | Azure Databricks |
---|---|---|---|
التحجيم التلقائي | لا | لا | نعم |
نقاوة التحجيم | لكل Fabric SKU | لكل مجموعة أو لكل تجمع SQL | لكل نظام مجموعة |
التخزين المؤقت للبيانات في الذاكرة | لا | نعم | نعم |
الاستعلام من المخازن العلائقية الخارجية | نعم | لا | نعم |
المصادقة | Microsoft Entra ID | معرف SQL أو Microsoft Entra | Microsoft Entra ID |
التدقيق | نعم | نعم | نعم |
الأمان على مستوى الصف | نعم | نعم 1 | نعم |
يدعم جدران الحماية | نعم | نعم | نعم |
إخفاء البيانات الديناميكي | نعم | نعم | نعم |
[1] دالات تقييم التصفية فقط. لمزيد من المعلومات، راجع الأمان على مستوى الصف.
المساهمون
تحتفظ Microsoft بهذه المقالة. وهي مكتوبة في الأصل من قبل المساهمين التاليين.
الكتاب الرئيسيون:
- زوينر تيجادا | المدير التنفيذي والمهندس المعماري
- براتيما فالافالا | مهندس الحلول الأساسي
لمشاهدة ملفات تعريف LinkedIn غير العامة، سجل الدخول إلى LinkedIn.
الخطوات التالية
- ما هو Fabric؟
- دليل قرار النسيج
- التدريب: مقدمة إلى Azure Synapse Analytics
- ما المقصود بـ Azure HDInsight؟
- ما المقصود بـ Azure Databricks؟