مشاركة عبر


التشغيل السريع: نشر مجموعة Azure Managed Apache Spark باستخدام Azure Databricks

يوفر Azure Managed Instance لـ Apache Cassandra عمليات التوزيع والتوسيع الآلية لمراكز بيانات Apache Cassandra المُدارة مفتوحة المصدر. تعمل هذه الميزة على تسريع السيناريوهات المختلطة وتساعد على تقليل الصيانة المستمرة.

يوضح هذا التشغيل السريع كيفية استخدام مدخل Azure لإنشاء مجموعة Apache Spark مدارة بالكامل داخل شبكة Azure الظاهرية لمثيل Azure المدار لنظام مجموعة Apache Cassandra. يمكنك إنشاء نظام مجموعة Spark في Azure Databricks. في وقت لاحق، يمكنك إنشاء دفاتر ملاحظات أو إرفاقها بالمجموعة، وقراءة البيانات من مصادر بيانات مختلفة، وتحليل الرؤى.

يمكنك أيضا معرفة المزيد من خلال إرشادات مفصلة حول نشر Azure Databricks في شبكة Azure الظاهرية (حقن الشبكة الظاهرية).

Prerequisites

في حال لم يكن لديك اشتراك Azure، فأنشئ حساباً مجانيّاً قبل البدء.

أنشئ حساب نظام مجموعة Azure Databricks

اتبع هذه الخطوات لإنشاء مجموعة Azure Databricks في شبكة ظاهرية تحتوي على مثيل Azure المدار ل Apache Cassandra:

  1. قم بتسجيل الدخول إلى بوابة Azure.

  2. في الجزء الأيمن، حدد موقع مجموعات الموارد. انتقل إلى مجموعة الموارد التي تحتوي على الشبكة الظاهرية حيث يتم نشر المثيل المدار.

  3. افتح مورد الشبكة الظاهرية ، وقم بتدوين مساحة العنوان.

    لقطة شاشة توضح مكان الحصول على مساحة العنوان لشبكتك الظاهرية.

  4. من مجموعة الموارد، حدد إضافة وابحث عن Azure Databricks في حقل البحث.

    لقطة شاشة تعرض بحثا عن Azure Databricks.

  5. حدد إنشاء لإنشاء حساب Azure Databricks.

    لقطة شاشة تعرض عرض Azure Databricks مع تحديد Create.

  6. أدخل القيم التالية:

    • اسم مساحة العمل: قم بتوفير اسم لمساحة عمل Azure Databricks.
    • المنطقة: تأكد من تحديد نفس المنطقة مثل شبكتك الظاهرية.
    • مستوى التسعير: حدد قياسي أو مميز أو تجريبي. لمزيد من المعلومات حول هذه المستويات، راجع صفحة تسعير Azure Databricks.

    لقطة شاشة تعرض مربع حوار حيث يمكنك إدخال اسم مساحة العمل والمنطقة ومستوى التسعير لحساب Azure Databricks.

  7. حدد علامة التبويب الشبكة ، وأدخل التفاصيل التالية:

    • نشر مساحة عمل Azure Databricks في الشبكة الظاهرية (VNet): حدد نعم.
    • الشبكة الظاهرية: من القائمة المنسدلة، اختر الشبكة الظاهرية حيث يوجد المثيل المدار.
    • اسم الشبكة الفرعية العامة: أدخل اسما للشبكة الفرعية العامة.
    • نطاق CIDR للشبكة الفرعية العامة: أدخل نطاق IP للشبكة الفرعية العامة.
    • اسم الشبكة الفرعية الخاصة: أدخل اسما للشبكة الفرعية الخاصة.
    • نطاق CIDR للشبكة الفرعية الخاصة: أدخل نطاق IP للشبكة الفرعية الخاصة.

    لتجنب تضارب النطاق، تأكد من تحديد نطاقات أعلى. إذا لزم الأمر، استخدم حاسبة الشبكة الفرعية المرئية لتقسيم النطاقات.

    لقطة شاشة تعرض حاسبة الشبكة الفرعية المرئية مع عنوانين متطابقين مميزين للشبكة.

    تعرض لقطة الشاشة التالية تفاصيل المثال على جزء الشبكات.

    لقطة شاشة تعرض أسماء الشبكة الفرعية العامة والخاصة المحددة.

  8. حدد Review + create، ثم حدد Create لنشر مساحة العمل.

  9. افتح مساحة العمل بعد إنشاء مساحة العمل.

  10. سوف تتم إعادة توجيهك إلى مدخل Microsoft Azure Databricks. من المدخل، حدد نظام مجموعة جديد.

  11. في جزء نظام مجموعة جديد ، اقبل القيم الافتراضية لكافة الحقول بخلاف الحقول التالية:

    • اسم نظام المجموعة: أدخل اسما لنظام المجموعة.
    • Databricks Runtime Version: نوصي بتحديد إصدار وقت تشغيل Azure Databricks 7.5 أو أحدث، لدعم Spark 3.x.

    لقطة شاشة تعرض مربع الحوار New Cluster مع تحديد إصدار وقت تشغيل Azure Databricks.

  12. قم بتوسيع الخيارات المتقدمة، وأضف التكوين التالي. تأكد من استبدال عناوين IP العقدة وبيانات الاعتماد.

    spark.cassandra.connection.host <node1 IP>,<node 2 IP>, <node IP>
    spark.cassandra.auth.password cassandra
    spark.cassandra.connection.port 9042
    spark.cassandra.auth.username cassandra
    spark.cassandra.connection.ssl.enabled true
    
  13. أضف مكتبة Apache Spark Cassandra Connector إلى مجموعتك للاتصال بنقاط نهاية Azure Cosmos DB Cassandra الأصلية. في نظام المجموعة الخاص بك، حدد المكتبات>تثبيت New>Maven، ثم أضفه com.datastax.spark:spark-cassandra-connector-assembly_2.12:3.0.0 في حقل إحداثيات Maven.

    توضح لقطة شاشة البحث عن حزم Maven في Azure Databricks.

  14. حدد تثبيت.

تنظيف الموارد

إذا كنت لن تستمر في استخدام نظام مجموعة المثيل المدار هذا، فاتبع الخطوات التالية لحذفه:

  1. في القائمة اليمنى مدخل Microsoft Azure، حدد "Resource groups".
  2. من القائمة، حدد مجموعة الموارد التي قمت بإنشائها لهذا التشغيل السريع.
  3. في جزء نظرة عامة على مجموعة الموارد، حدد حذف مجموعة الموارد.
  4. في الجزء التالي، أدخل اسم مجموعة الموارد المراد حذفها، ثم حدد حذف.

الخطوة التالية

في هذا التشغيل السريع، تعلمت كيفية إنشاء مجموعة Apache Spark مدارة بالكامل داخل الشبكة الظاهرية لمثيل Azure المدار لنظام مجموعة Apache Cassandra. بعد ذلك، تعرف على كيفية إدارة موارد نظام المجموعة ومركز البيانات.