تشغيل دفتر ملاحظات Databricks مع نشاط دفتر ملاحظات Databricks في Azure Data Factory

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

وفقاً للبرنامج التعليمي، يُمكن استخدام مدخل Azure لإنشاء مسار Azure Data Factory الذي ينفذ دفتر ملاحظات Databricks مقابل نظام مجموعة مهام Databricks. كما أنه يمرر معلمات Azure Data Factory إلى دفتر ملاحظات Databricks أثناء التنفيذ.

نفذ الخطوات التالية في هذا البرنامج التعليمي:

• إنشاء data factory.

• إنشار المسار التي يستخدمDatabricks Notebook Activity.

• تتبع تشغيل البنية الأساسية

• مراقبة تشغيل المسار.

في حال لم يكن لديك اشتراك Azure، فأنشئ حساباً مجانيّاً قبل البدء.

إشعار

للحصول على تفاصيل كاملة حول كيفية استخدام نشاط دفتر ملاحظات Databricks، بما في ذلك استخدام المكتبات وتمرير معلمات الإدخال والإخراج، راجع وثائق نشاط دفتر ملاحظات Databricks.

المتطلبات الأساسية

• مساحة عمل Azure Databricks. إنشاء Databricks workspace أو استخدام workspace موجودة. إنشاء دفتر ملاحظات Python فيAzure Databricks workspace. ثم تنفيذ دفتر الملاحظات وتمرير المعلمات إليه باستخدام Azure Data Factory.

إنشاء مصدرًا للبيانات

1. شغِّل إما مستعرض الويب Microsoft Edge أو Google Chrome. يتم حاليًّا دعم واجهة مستخدم Data Factory فقط في مستعرضي الويب Microsoft Edge وGoogle Chrome.

2. حدد Create a resource في قائمة مدخل Microsoft Azure، ثم حدد Analytics>Data Factory :

   

3. في صفحة إنشاء Data Factory، في إطار علامة التبويب الأساسية، حدد اشتراك Azure المراد إنشاءData Factory فيه.

4. بالنسبة إلى مجموعة الموارد، نفِّذ إحدى الخطوات التالية:

   1. حدد مجموعة موارد موجودة من القائمة المنسدلة.

   2. حدد إنشاء جديد وأدخل اسم مجموعة الموارد الجديدة.

   للتعرف على مجموعات الموارد، يُرجى الرجوع إلى استخدام مجموعات الموارد لإدارة موارد Azure.

5. بالنسبة للمنطقة، حدد موقع data factory.

   تعرض القائمة المواقع التي يدعمها Data Factory فقط، والمواقع التي سيتم تخزين بيانات تعريف Azure Data Factory عليها. مخازن البيانات المقترنة (مثلAzure Storage وقاعدة بيانات azure SQL) والحوسبة (مثل Azure HDInsight) التي يستخدمهاData Factory التي يُمكن تشغيلها في مناطق أخرى.

6. للاسم، أدخل ADFTutorialDataFactory.

   يجب أن يكون اسم Azure data factory مميزاً عالمياً. إذا اطلعت على الخطأ التالي، تغيير اسمdata factory (على سبيل المثال، استخدام <yourname> ADFTutorialDataFactory). للحصول على قواعد تسمية للبيانات الاصطناعية الخاصة بـ Data Factory، راجع مقالة Data Factory - قواعد التسمية.

   

7. بالنسبة إلى Version، حدد V2.

8. تحديد التالي: تكوين Git، ثم حدد مربع الاختيار تكوين Git لاحقاً.

9. تحديد مراجعة + إنشاء، ثم حدد إنشاء بعد إتمام التحقق من الصحة.

10. بعد اكتمال الإنشاء، تحديد الانتقال إلى المورد للانتقال إلى صفحة Data Factory. تحديد لوحة Open Azure Data Factory Studio لبدء تشغيل تطبيق Azure Data Factory user interface (UI) في علامة تبويب المتصفح المنفصلة.

    

إنشاء linked services

في هذا القسم، يمكنك تأليف خدمة مرتبطة بـ Databricks. تحتوي الخدمة المرتبطة على معلومات الاتصال إلى نظام مجموعة Databricks:

إنشاء خدمة ذات صلة بـ Azure Databricks

1. في الصفحة الرئيسية، الانتقال إلى علامة تبويب Manage في اللوحة اليسرى.

   

2. حدد الخدمات المرتبطة في إطار الاتصالات، ثم حدد +جديد.

   

3. في نافذةخدمة الارتباط التشعبي الجديدة،حددحوسبة>Azure Databricks، ثم حدداستمرار.

   

4. في نافذة "الخدمة المرتبطة الجديدة"، أكمل الخطوات التالية:

   1. فيما يتعلق بـالاسم, أدخلAzureDatabricks_LinkedService.

   2. حدد مساحة عمل Databricks المناسبة التي ستقوم بتشغيل دفتر الملاحظات فيها.

   3. لتحديد مجموعة النظام، حدد مهام مجموعة النظام الجديدة.

   4. بالنسبة إلى عنوان URL لمساحة عمل Databricks، يجب ملء المعلومات تلقائيا.

   5. بالنسبة إلى Authentication type، إذا حددت Access Token، فنشئه من مكان عمل Azure Databricks. يمكن العثور على الخطوات هنا. بالنسبة إلى هوية الخدمة المدارة والهوية المدارة المعينة من قبل المستخدم، امنح دور المساهم لكلا الهويتين في قائمة التحكم في الوصول لمورد Azure Databricks.

   6. بالنسبة لـ إصدار نظام المجموعة، حدد الإصدار الذي تريد استخدامه.

   7. فيما يتعلقنوع بعقدة نظام المجموعة، حددStandard_D3_v2تحت فئةالغرض العام (HDD) لهذا البرنامج التعليمي.

   8. للعاملين، أدخل 2.

   9. حدد إنشاء.

      

إنشاء البنية الأساسية لبرنامج ربط العمليات التجارية

1. حدد زر (علامة الزائد) + ثم حدد Pipeline المُتاح في القائمة.

   

2. إنشاء معلمة لاستخدامها في المسار. تمرير هذه المعلمة إلىDatabricks Notebook Activity لاحقاً. في المسار الفارغ، حدد معلمات علامة التبويب، ثم حدد + جديد وسميه باسم 'name'.

   

   

3. في مربع أدوات الأنشطة، توسيع Databricks. سحب نشاط دفتر الملاحظات من مربع أدوات الأنشطة إلى سطح مصمم المسار.

   

4. في الخصائص الخاصة بنافذة DatabricksNotebook activity في الأسفل، أكمل الخطوات التالية:

   1. قم بالتبديل إلى علامة التبويب Azure Databricks .

   2. حددAzureDatabricks_LinkedService(التي جرى إنشائها في الإجراء السابق).

   3. الانتقال إلى علامة تبويب الإعدادات.

   4. التصفح لتحديد مسار Databricks Notebook path. لنقم بإنشاء دفتر ملاحظات وتحديد المسار هنا. يُمكن الحصول على مسار دفتر الملاحظات باتباع بعض من الخطوات التالية.

      1. إصدار Azure Databricks Workspace.

      2. إنشاء مجلد جديد في مكان العمل وتسميتها باسم adftutorial.

      3. إنشاء دفتر ملاحظات جديد، دعنا نسميه mynotebook. انقر بزر الماوس الأيمن فوق adftutorial Folder، وحدد Create.

      4. في دفتر الملاحظات الذي تم إنشاؤه حديثًا "mynotebook"، أضف التعليمة البرمجية التالية:

         # Creating widgets for leveraging parameters, and printing the parameters
         
         dbutils.widgets.text("input", "","")
         y = dbutils.widgets.get("input")
         print ("Param -\'input':")
         print (y)
         

      5. يكون مسار دفتر الملاحظات في هذه الحالة هو /adftutorial/mynotebook.

5. الانتقال مرة أخرى إلى أداة تأليفData Factory UI. الانتقال إلى علامة تبويب الإعدادات في إطار نشاط Notebook1.

   أ. إضافة معلمة إلى نشاط دفتر الملاحظات. يُمكن استخدام نفس المعلمة المُضافة مسبقاً إلى المسار.

   

   ب. تسمية المعلمةعلى أنها مدخلاتوتوفير القيمة كتعبير خاص@pipeline().parameters.name.

6. للتحقق من صحة المسار، حدد زرالتحقق المُتاح على شريط الأدوات. لإغلاق إطار التحقق من الصحة، حدد زرالإغلاق.

   

7. حدد نشر الكل. تقوم The Data Factory UI بنشر الكيانات المتمثلة في (الخدمات المرتبطة والمسار) إلى خدمة Azure Data Factory.

   

تتبع تشغيل البنية الأساسية

حدد إضافة مشغل على شريط الأدوات، ثم حدد المشغل الآن.

يطلب مربع حوار تشغيلمساراسمالمعلمة. استخدم /path/filename كمعلمة هنا. حدد موافق.

راقب عملية تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية

1. انتقل إلى علامة تبويب Monitor. وتأكد من الاطلاع على تشغيل المسار. يستغرق إنشاء مجموعة مهام Databricks حوالي 5-8 دقائق، حيث يتم تنفيذ الكمبيوتر الدفتري.

   

2. حدد تحديث بشكل دوري للتحقق من حالة تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية.

3. لعرض عمليات تشغيل النشاط المقترنة بتشغيل البنية الأساسية لبرنامج ربط العمليات التجارية، حدد الارتباط البنية الأساسية لبرنامج ربط العمليات التجارية 1 في عمود اسم البنية الأساسية لبرنامج ربط العمليات التجارية.

4. في الصفحة عمليات تشغيل النشاط، حدد الإخراج في العمود اسم النشاط لعرض إخراج كل نشاط، ويمكنك العثور على الارتباط إلى سجلات Databricks في جزء الإخراج للحصول على سجلات Spark أكثر تفصيلاً.

5. يُمكنك الانتقال مرة أخرى إلى طريقة عرض عمليات تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية عن طريق تحديد ارتباط كل عمليات تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية في قائمة التنقل بالأعلى.

تحقق من الإخراج

يمكنك تسجيل الدخول إلى مساحة عمل Azure Databricks، انتقل إلى Job Runs ويمكنك رؤية حالة المهمة على أنها معلقة للتنفيذ أو التشغيل أو الإنهاء.

يمكنك تحديد اسم الوظيفة والانتقال للاطلاع على مزيد من التفاصيل. عند التشغيل الناجح، يُمكنك التحقق من صحة المعلمات المكتملة وإخراج Python notebook.

الملخص

يقوم المسار المذكور في النموذج بتشغيل Databricks Notebook activity وإكمال المعلمة. لقد تعرفت على كيفية:

• إنشاء data factory.

• إنشار المسار التي يستخدم Databricks Notebook Activity.

• تتبع تشغيل البنية الأساسية

• مراقبة تشغيل المسار.