قم بإنشاء مجموعة Spark

  • 3 دقائق

يمكنك إنشاء نظام مجموعة واحد أو أكثر في مساحة عمل Azure Databricks باستخدام مدخل Azure Databricks.

Screenshot of the Create Cluster interface in the Azure Databricks portal.

عند إنشاء نظام المجموعة، يمكنك تحديد إعدادات التكوين، بما في ذلك:

  • اسم لنظام المجموعة.
  • وضع نظام المجموعة، والذي يمكن أن يكون:
    • قياسي: مناسب لأحمال عمل المستخدم الفردي التي تتطلب عقد عاملة متعددة.
    • التزامن العالي: مناسب لأحمال العمل حيث سيستخدم العديد من المستخدمين نظام المجموعة بشكل متزامن.
    • عقدة واحدة: مناسبة لأحمال العمل الصغيرة أو الاختبار، حيث يلزم عقدة عاملة واحدة فقط.
  • إصدار Databricks Runtime الذي سيتم استخدامه في نظام المجموعة؛ الذي يحدد إصدار Spark والمكونات الفردية مثل Python وScala وغيرها التي يتم تثبيتها.
  • نوع الجهاز الظاهري (VM) المستخدم للعقد العاملة في نظام المجموعة.
  • الحد الأدنى والحد الأقصى لعدد العقد العاملة في نظام المجموعة.
  • نوع الجهاز الظاهري المستخدم لعقدة برنامج التشغيل في نظام المجموعة.
  • ما إذا كان نظام المجموعة يدعم التحجيم التلقائي لتغيير حجم نظام المجموعة ديناميكياً.
  • كم من الوقت يمكن أن يظل نظام المجموعة خاملاً قبل إيقاف التشغيل تلقائياً.

كيفية إدارة Azure لموارد نظام المجموعة

عند إنشاء مساحة عمل Azure Databricks، يتم توزيع جهاز Databricks كمورد Azure في الاشتراك الخاص بك. عند إنشاء نظام مجموعة في مساحة العمل، يمكنك تحديد أنواع وأحجام الأجهزة الظاهرية (VMs) لاستخدامها لكل من عقد برنامج التشغيل والعامل، وبعض خيارات التكوين الأخرى، ولكن Azure Databricks يدير جميع الجوانب الأخرى لنظام المجموعة.

يتم توزيع جهاز Databricks في Azure كمجموعة موارد مدارة ضمن اشتراكك. تحتوي مجموعة الموارد هذه على الأجهزة الظاهرية لبرنامج التشغيل والعامل لأنظمة المجموعة، بالإضافة إلى الموارد الأخرى المطلوبة، بما في ذلك شبكة اتصال ظاهرية، ومجموعة أمان، وحساب تخزين. يتم تخزين كافة بيانات التعريف الخاصة بك نظام المجموعة؛ مثل: المهام المجدولة، في قاعدة Azure Databricks مع النسخ المتماثل جغرافيًا للتسامح مع الخطأ.

داخلياً، يتم استخدام خدمة Azure Kubernetes (AKS) لتشغيل وحدة التحكم في Azure Databricks، وخطط البيانات عبر الحاويات التي تعمل على أحدث جيل من أجهزة Azure (Dv3 VMs)، مع محركات NvMe SSD قادرة على تشغيل زمن انتقال 100us على أجهزة Azure الظاهرية عالية الأداء ذات الشبكة المسرعة. تستخدم Azure Databricks هذه الميزات من Azure لمواصلة تحسين أداء Spark. عندما تُصبح الخدمات ضمن مجموعة الموارد المدارة لديك جاهزة، يمكنك إدارة نظام مجموعة Databricks من خلال واجهة مستخدم Azure Databricks ومن خلال ميزات مثل التحجيم التلقائي والإنهاء التلقائي.

Diagram of Azure Databricks architecture.

إشعار

لديك أيضاً خيار إرفاق نظام المجموعة الخاص بك بتجمع من العقد الخاملة لتقليل وقت بدء تشغيل نظام المجموعة. لمزيد من المعلومات، راجع التجمعات في وثائق Azure Databricks.