إدارة تكوين Apache Spark

في هذا البرنامج التعليمي، ستتعلم كيفية إنشاء تكوين Apache Spark لاستوديو synapse الخاص بك. يمكن إدارة تكوين Apache Spark الذي تم إنشاؤه بطريقة موحدة وعند إنشاء دفتر الملاحظات أو تعريف مهمة Apache Spark، يمكن تحديد تكوين Apache Spark الذي تريد استخدامه مع تجمع Apache Spark. عند تحديده، يتم عرض تفاصيل التكوين.

إنشاء تكوين Apache Spark

يمكنك إنشاء تكوينات مخصصة من نقاط إدخال مختلفة، مثل من صفحة تكوين Apache Spark لتجمع spark موجود.

إنشاء تكوينات مخصصة في تكوينات Apache Spark

اتبع الخطوات أدناه لإنشاء تكوين Apache Spark في Synapse Studio.

1. حدد إدارة>تكوينات Apache Spark.

2. انقر فوق الزر جديد لإنشاء تكوين Apache Spark جديد، أو انقر فوق استيراد ملف .json محلي إلى مساحة العمل الخاصة بك.

3. سيتم فتح صفحة تكوين Apache Spark الجديدة بعد النقر فوق الزر جديد.

4. بالنسبة إلى الاسم، يمكنك إدخال اسمك المفضل والصالح.

5. بالنسبة للوصف، يمكنك إدخال بعض الوصف فيه.

6. بالنسبة للتعليقات التوضيحية، يمكنك إضافة تعليقات توضيحية بالنقر فوق الزر جديد، ويمكنك أيضًا حذف التعليقات التوضيحية الموجودة عن طريق تحديد الزر حذف والنقر فوقه.

7. بالنسبة لخصائص التكوين، قم بتخصيص التكوين بالنقر فوق الزر Add لإضافة خصائص. إذا لم تقم بإضافة خاصية، فسيستخدم Azure Synapse القيمة الافتراضية عند الاقتضاء.

   

8. انقر فوق الزر متابعة.

9. انقر فوق الزر إنشاء عند نجاح التحقق من الصحة.

10. Publish all

إشعار

تمت إزالة تحميل ميزة تكوين Apache Spark، ولكن سيحتفظ Synapse Studio بالتكوين الذي تم تحميله مسبقًا.

إنشاء تكوين Apache Spark في تجمع Apache Spark الموجود بالفعل

اتبع الخطوات أدناه لإنشاء تكوين Apache Spark في تجمع Apache Spark موجود.

1. حدد تجمع Apache Spark موجود، وانقر فوق الإجراء "..." زر.

2. حدد تكوين Apache Spark في قائمة المحتوى.

   

3. لتكوين Apache Spark، يمكنك تحديد تكوين تم إنشاؤه بالفعل من القائمة المنسدلة، أو النقر فوق +New لإنشاء تكوين جديد.

   • إذا نقرت فوق +New، فسيتم فتح صفحة تكوين Apache Spark، ويمكنك إنشاء تكوين جديد باتباع الخطوات الواردة في إنشاء تكوينات مخصصة في تكوينات Apache Spark.

   • إذا قمت بتحديد تكوين موجود، فسيتم عرض تفاصيل التكوين في أسفل الصفحة، يمكنك أيضًا النقر فوق الزر تحرير لتحرير التكوين الموجود.

     

4. انقر فوق View Configurations لفتح صفحة Select a Configuration. سيتم عرض جميع التكوينات على هذه الصفحة. يمكنك تحديد تكوين تريد استخدامه على تجمع Apache Spark هذا.

   

5. انقر فوق الزر تطبيق لحفظ الإجراء.

إنشاء تكوين Apache Spark في جلسة تكوين دفتر الملاحظات

إذا كنت بحاجة إلى استخدام تكوين Apache Spark مخصص عند إنشاء دفتر ملاحظات، يمكنك إنشاؤه وتكوينه في جلسة تكوين باتباع الخطوات أدناه.

1. إنشاء دفتر ملاحظات جديد/فتح دفتر ملاحظات موجود.

2. افتح خصائص دفتر الملاحظات هذا.

3. انقر فوق Configure session لفتح صفحة تكوين جلسة العمل.

4. مرر لأسفل صفحة تكوين جلسة العمل، لتكوين Apache Spark، وقم بتوسيع القائمة المنسدلة، يمكنك النقر فوق الزر جديد لإنشاء تكوين جديد. أو حدد تكوينًا موجودًا، إذا حددت تكوينًا موجودا، فانقر فوق أيقونة تحرير للانتقال إلى صفحة تكوين تحرير Apache Spark لتحرير التكوين.

5. انقر فوق View Configurations لفتح صفحة Select a Configuration. سيتم عرض جميع التكوينات على هذه الصفحة. يمكنك تحديد تكوين تريد استخدامه.

   

إنشاء تكوين Apache Spark في تعريفات وظيفة Apache Spark

عند إنشاء تعريف وظيفة spark، تحتاج إلى استخدام تكوين Apache Spark، والذي يمكن إنشاؤه باتباع الخطوات أدناه:

1. إنشاء تعريفات مهمة Apache Spark جديدة أو فتح تعريفات موجودة.

2. لتكوين Apache Spark، يمكنك النقر فوق زر جديد لإنشاء تكوين جديد. أو حدد تكوينًا موجودًا، إذا حددت تكوينًا موجودًا، فانقر فوق أيقونة تحرير للانتقال إلى صفحة تكوين تحرير Apache Spark لتحرير التكوين.

3. انقر فوق View Configurations لفتح صفحة Select a Configuration. سيتم عرض جميع التكوينات على هذه الصفحة. يمكنك تحديد تكوين تريد استخدامه.

   

إشعار

إذا لم يقم تكوين Apache Spark في دفتر الملاحظات وتعريف مهمة Apache Spark بأي شيء خاص، فسيتم استخدام التكوين الافتراضي عند تشغيل الوظيفة.

استيراد وتصدير تكوين Apache Spark

يمكنك استيراد تكوين .txt/.conf/.json بثلاثة تنسيقات ثم تحويله إلى بيانات اصطناعية ونشره. ويمكن أيضًا التصدير إلى أحد هذه التنسيقات الثلاثة.

• استيراد تكوين .txt/.conf/.json من محلي.

  

• تصدير تكوين .txt/.conf/.json إلى محلي.

  

بالنسبة .txt ملف التكوين وملف تكوين .conf، يمكنك الرجوع إلى الأمثلة التالية:

spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

بالنسبة إلى ملف تكوين .json، يمكنك الرجوع إلى الأمثلة التالية:

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}

إشعار

سيستمر Synapse Studio في دعم ملفات التكوين المستندة إلى terraform أو bicep.

الخطوات التالية

• إنشاء تجمع Apache Spark بلا خادم باستخدام Synapse Studio.
• تشغيل تطبيق Spark في دفتر الملاحظات.
• إنشاء تعريف وظيفة Apache Spark في Azure Studio.
• جمع سجلات ومقاييس تطبيقات Apache Spark والمقاييس مع حساب تخزين Azure.
• جمع سجلات ومقاييس تطبيقات Apache Spark بجانب مراكز أحداث Azure .