تطوير التعليمات البرمجية في دفاتر ملاحظات Databricks

توضح هذه الصفحة كيفية تطوير التعليمات البرمجية في دفاتر ملاحظات Databricks، بما في ذلك الإكمال التلقائي، والتنسيق التلقائي ل Python وSQL، والجمع بين Python وSQL في دفتر ملاحظات، وتعقب محفوظات إصدار دفتر الملاحظات.

لمزيد من التفاصيل حول الوظائف المتقدمة المتوفرة مع المحرر، مثل الإكمال التلقائي، وتحديد المتغير، ودعم متعددة المؤشرات، و diffs جنبا إلى جنب، راجع استخدام دفتر ملاحظات Databricks ومحرر الملفات.

عند استخدام دفتر الملاحظات أو محرر الملفات، يتوفر مساعد Databricks لمساعدتك في إنشاء التعليمات البرمجية وشرحها وتصحيحها. راجع استخدام مساعد Databricks للحصول على مزيد من المعلومات.

تتضمن دفاتر ملاحظات Databricks أيضا مصحح أخطاء تفاعلي مضمن لدفاتر ملاحظات Python. راجع استخدام مصحح الأخطاء التفاعلي Databricks.

الحصول على تعليمات الترميز من مساعد Databricks

مساعد Databricks هو مساعد الذكاء الاصطناعي مدرك للسياق يمكنك التفاعل معه باستخدام واجهة محادثة، ما يجعلك أكثر إنتاجية داخل Databricks. يمكنك وصف مهمتك باللغة الإنجليزية والسماح للمساعد بإنشاء تعليمات Python البرمجية أو استعلامات SQL، وشرح التعليمات البرمجية المعقدة، وإصلاح الأخطاء تلقائيا. يستخدم المساعد بيانات تعريف كتالوج Unity لفهم الجداول والأعمدة والأوصاف وأصول البيانات الشائعة عبر شركتك لتوفير استجابات مخصصة.

يمكن أن يساعدك مساعد Databricks في المهام التالية:

• إنشاء التعليمات البرمجية.
• تصحيح التعليمات البرمجية، بما في ذلك تحديد الأخطاء واقتراح إصلاحات لها.
• تحويل التعليمات البرمجية وتحسينها.
• شرح التعليمات البرمجية.
• تساعدك في العثور على المعلومات ذات الصلة في وثائق Azure Databricks.

للحصول على معلومات حول استخدام مساعد Databricks لمساعدتك في التعليمات البرمجية بكفاءة أكبر، راجع استخدام مساعد Databricks. للحصول على معلومات عامة حول Databricks Assistant، راجع الميزات التي تعمل ب DatabricksIQ.

الوصول إلى دفتر الملاحظات للتحرير

لفتح دفتر ملاحظات، استخدم وظيفة البحث في مساحة العمل أو استخدم مستعرض مساحة العمل للانتقال إلى دفتر الملاحظات والنقر فوق اسم دفتر الملاحظات أو أيقونته.

استعراض البيانات

استخدم مستعرض المخطط لاستكشاف الجداول ووحدات التخزين المتوفرة لدفتر الملاحظات. انقر على الجانب الأيمن من دفتر الملاحظات لفتح مستعرض المخطط.

يعرض الزر For you فقط الجداول التي استخدمتها في جلسة العمل الحالية أو التي تم وضع علامة عليها مسبقا كمفضلة.

أثناء كتابة النص في المربع تصفية ، يتغير العرض لإظهار العناصر التي تحتوي على النص الذي تكتبه فقط. تظهر العناصر المفتوحة حاليا أو التي تم فتحها في جلسة العمل الحالية فقط. لا يقوم مربع عامل التصفية بالبحث الكامل عن الكتالوجات والمخططات والجداول المتوفرة لدفتر الملاحظات.

لفتح قائمة الكباب، مرر المؤشر فوق اسم العنصر كما هو موضح:

إذا كان العنصر جدولا، يمكنك القيام بما يلي:

• إنشاء خلية وتشغيلها تلقائيا لعرض معاينة للبيانات في الجدول. حدد معاينة في خلية جديدة من قائمة كباب للجدول.
• عرض كتالوج أو مخطط أو جدول في مستكشف الكتالوج. حدد فتح في مستكشف الكتالوج من قائمة الكباب. تفتح علامة تبويب جديدة تعرض العنصر المحدد.
• احصل على المسار إلى كتالوج أو مخطط أو جدول. حدد نسخ ... المسار من قائمة kebab للعنصر.
• إضافة جدول إلى المفضلة. حدد إضافة جدول إلى المفضلة من قائمة كباب للجدول.

إذا كان العنصر كتالوج أو مخطط أو وحدة تخزين، فيمكنك نسخ مسار العنصر أو فتحه في مستكشف الكتالوج.

لإدراج اسم جدول أو عمود مباشرة في خلية:

1. انقر فوق المؤشر في الخلية في الموقع الذي تريد إدخال الاسم فيه.
2. حرك المؤشر فوق اسم الجدول أو اسم العمود في مستعرض المخطط.
3. انقر فوق السهم المزدوج الذي يظهر على يمين اسم العنصر.

‎اختصارات لوحة المفاتيح

لعرض اختصارات لوحة المفاتيح، حدد اختصارات لوحة المفاتيح المساعدة>. تعتمد اختصارات لوحة المفاتيح المتوفرة على ما إذا كان المؤشر في خلية تعليمات برمجية (وضع التحرير) أم لا (وضع الأوامر).

البحث عن نص واستبداله

للبحث عن نص واستبداله داخل دفتر ملاحظات، حدد تحرير > بحث واستبدال. يتم تمييز المطابقة الحالية باللون البرتقالي ويتم تمييز جميع المباريات الأخرى باللون الأصفر.

لاستبدال المطابقة الحالية، انقر فوق استبدال. لاستبدال كافة التطابقات في دفتر الملاحظات، انقر فوق استبدال الكل.

للتنقل بين التطابقات، انقر فوق الزرين Prev و Next. يمكنك أيضا الضغط على shift+enter وإدخال للانتقال إلى المباريات السابقة والتالية، على التوالي.

لإغلاق أداة البحث والاستبدال، انقر فوق esc أو اضغط عليه.

مستكشف متغير

يمكنك مراقبة متغيرات Python وSc scala وR مباشرة في واجهة مستخدم دفتر الملاحظات. بالنسبة إلى Python على Databricks Runtime 12.2 LTS وما فوق، يتم تحديث المتغيرات أثناء تشغيل الخلية. بالنسبة إلى Scala وR وPython على Databricks Runtime 11.3 LTS والإصدارات أدناه، يتم تحديث المتغيرات بعد انتهاء تشغيل الخلية.

لفتح مستكشف المتغيرات، انقر في الشريط الجانبي الأيمن. يفتح مستكشف المتغيرات، ويعرض القيمة ونوع البيانات، بما في ذلك الشكل، لكل متغير معرف حاليا في دفتر الملاحظات. (شكل إطار بيانات PySpark هو '؟'، لأن حساب الشكل يمكن أن يكون مكلفا حسابيا.)

لتصفية جهاز العرض، أدخل النص في مربع البحث. تتم تصفية القائمة تلقائيا أثناء الكتابة.

يتم تحديث قيم المتغيرات تلقائيا أثناء تشغيل خلايا دفتر الملاحظات.

تشغيل الخلايا المحددة

يمكنك تشغيل خلية واحدة أو مجموعة من الخلايا. لتحديد خلية واحدة، انقر فوق أي مكان في الخلية. لتحديد خلايا متعددة، اضغط باستمرار Command على المفتاح على MacOS أو Ctrl المفتاح على Windows، وانقر فوق الخلية خارج منطقة النص كما هو موضح في لقطة الشاشة.

لتشغيل الخلايا المحددة، حدد تشغيل > تشغيل الخلية (الخلايا) المحددة.

يعتمد سلوك هذا الأمر على نظام المجموعة المرفق بدفتر الملاحظات.

• على نظام مجموعة يقوم بتشغيل Databricks Runtime 13.3 LTS أو أقل، يتم تنفيذ الخلايا المحددة بشكل فردي. إذا حدث خطأ في خلية، يستمر التنفيذ مع الخلايا اللاحقة.
• على نظام مجموعة يقوم بتشغيل Databricks Runtime 14.0 أو أعلى، أو في مستودع SQL، يتم تنفيذ الخلايا المحددة كدفعة. أي خطأ يوقف التنفيذ، ولا يمكنك إلغاء تنفيذ خلايا فردية. يمكنك استخدام الزر مقاطعة لإيقاف تنفيذ كافة الخلايا.

تعديل التعليمات البرمجية الخاصة بك

هام

هذه الميزة في المعاينة العامة.

باستخدام Databricks Runtime 11.3 LTS وما فوق، يمكنك إنشاء ملفات التعليمات البرمجية المصدر وإدارتها في مساحة عمل Azure Databricks، ثم استيراد هذه الملفات إلى دفاتر الملاحظات حسب الحاجة.

لمزيد من المعلومات حول العمل مع ملفات التعليمات البرمجية المصدر، راجع مشاركة التعليمات البرمجية بين دفاتر ملاحظات Databricks والعمل مع وحدات Python وR.

تشغيل النص المحدد

يمكنك تمييز التعليمات البرمجية أو عبارات SQL في خلية دفتر ملاحظات وتشغيل هذا التحديد فقط. هذا مفيد عندما تريد تكرار التعليمات البرمجية والاستعلامات بسرعة.

1. قم بتمييز الأسطر التي تريد تشغيلها.

2. حدد تشغيل النص المحدد أو استخدم اختصار+Enter+ShiftCtrl لوحة المفاتيح .> إذا لم يتم تمييز أي نص، يقوم تشغيل النص المحدد بتنفيذ السطر الحالي.

   

إذا كنت تستخدم لغات مختلطة في خلية، فيجب تضمين %<language> السطر في التحديد.

يقوم تشغيل النص المحدد أيضا بتنفيذ التعليمات البرمجية المطوية، إذا كان هناك أي في التحديد المميز.

يتم دعم أوامر الخلايا الخاصة مثل %runو %pipو %sh .

لا يمكنك استخدام تشغيل نص محدد على الخلايا التي تحتوي على علامات تبويب إخراج متعددة (أي الخلايا التي قمت فيها بتعريف ملف تعريف بيانات أو مرئيات).

تنسيق خلايا التعليمات البرمجية

يوفر Azure Databricks أدوات تسمح لك بتنسيق Python ورمز SQL في خلايا دفتر الملاحظات بسرعة وسهولة. تقلل هذه الأدوات من الجهد المبذول للحفاظ على تنسيق التعليمات البرمجية الخاصة بك وتساعد على فرض نفس معايير الترميز عبر دفاتر الملاحظات.

تنسيق خلايا Python

هام

هذه الميزة في المعاينة العامة.

يدعم Azure Databricks تنسيق التعليمات البرمجية ل Python باستخدام Black داخل دفتر الملاحظات. يجب إرفاق دفتر الملاحظات بمجموعة مع black حزم tokenize-rt Python وتثبيتها، ويتم تنفيذ التنسيق Black على نظام المجموعة الذي تم إرفاق دفتر الملاحظات به.

في Databricks Runtime 11.3 LTS وما فوق، يتم black تثبيت Azure Databricks مسبقا و tokenize-rt. يمكنك استخدام المنسق مباشرة دون الحاجة إلى تثبيت هذه المكتبات.

في Databricks Runtime 10.4 LTS وما يلي، يجب تثبيت black==22.3.0 ومن tokenize-rt==4.2.1 PyPI على دفتر الملاحظات أو نظام المجموعة لاستخدام تنسيق Python. يمكنك تشغيل الأمر التالي في دفتر الملاحظات:

%pip install black==22.3.0 tokenize-rt==4.2.1

أو قم بتثبيت المكتبة على نظام المجموعة.

لمزيد من التفاصيل حول تثبيت المكتبات، راجع إدارة بيئة Python.

بالنسبة للملفات ودفاتر الملاحظات في مجلدات Databricks Git، يمكنك تكوين تنسيق Python استنادا pyproject.toml إلى الملف. لاستخدام هذه الميزة، أنشئ ملفا pyproject.toml في الدليل الجذر لمجلد Git وقم بتكوينه وفقا لتنسيق تكوين Black. تحرير المقطع [tool.black] في الملف. يتم تطبيق التكوين عند تنسيق أي ملف ودفتر ملاحظات في مجلد Git هذا.

كيفية تنسيق خلايا Python وSQL

يجب أن يكون لديك إذن CAN EDIT على دفتر الملاحظات لتنسيق التعليمات البرمجية.

يمكنك تشغيل المنسق بالطرق التالية:

• تنسيق خلية واحدة

  • اختصار لوحة المفاتيح: اضغط على Cmd+Shift+F.
  • قائمة سياق الأمر:
    • تنسيق خلية SQL: حدد تنسيق SQL في القائمة المنسدلة لسياق الأمر لخلية SQL. عنصر القائمة هذا مرئي فقط في خلايا دفتر ملاحظات SQL أو تلك التي لها سحر اللغة%sql.
    • تنسيق خلية Python: حدد تنسيق Python في القائمة المنسدلة لسياق الأوامر لخلية Python. يكون عنصر القائمة هذا مرئيا فقط في خلايا دفتر ملاحظات Python أو تلك التي تحتوي على %pythonسحر اللغة.
  • قائمة تحرير دفتر الملاحظات: حدد خلية Python أو SQL، ثم حدد تحرير > تنسيق الخلية (الخلايا).

• تنسيق خلايا متعددة

  حدد خلايا متعددة ثم حدد تحرير > تنسيق الخلية (الخلايا). إذا قمت بتحديد خلايا بأكثر من لغة واحدة، يتم تنسيق خلايا SQL وPython فقط. يتضمن ذلك تلك التي تستخدم %sql و %python.

• تنسيق كافة خلايا Python وSQL في دفتر الملاحظات

  حدد تحرير > تنسيق دفتر الملاحظات. إذا كان دفتر الملاحظات يحتوي على أكثر من لغة واحدة، يتم تنسيق خلايا SQL وPython فقط. يتضمن ذلك تلك التي تستخدم %sql و %python.

قيود تنسيق التعليمات البرمجية

• يفرض Black معايير PEP 8 لمسافة بادئة 4 مساحة. المسافة البادئة غير قابلة للتكوين.
• تنسيق سلاسل Python المضمنة داخل SQL UDF غير مدعوم. وبالمثل، تنسيق سلاسل SQL داخل Python UDF غير مدعوم.

محفوظات الإصدارات

تحتفظ دفاتر ملاحظات Azure Databricks بمحفوظات إصدارات دفتر الملاحظات، مما يسمح لك بعرض النسخ المطابقة السابقة لدفتر الملاحظات واستعادتها. يمكنك تنفيذ الإجراءات التالية على الإصدارات: إضافة تعليقات واستعادة الإصدارات وحذفها ومسح محفوظات الإصدارات.

يمكنك أيضا مزامنة عملك في Databricks مع مستودع Git بعيد.

للوصول إلى إصدارات دفتر الملاحظات، انقر فوق الشريط الجانبي الأيسر. تظهر محفوظات إصدار دفتر الملاحظات. يمكنك أيضا تحديد محفوظات إصدار الملف>.

إضافة تعليق

لإضافة تعليق إلى أحدث إصدار:

1. انقر فوق الإصدار.

2. انقر فوق حفظ الآن.

   

3. في مربع الحوار حفظ إصدار دفتر الملاحظات، أدخل تعليقا.

4. انقر فوق حفظ. يتم حفظ إصدار دفتر الملاحظات مع التعليق الذي تم إدخاله.

استعادة إصدار

لاستعادة إصدار:

1. انقر فوق الإصدار.

2. انقر فوق استعادة هذا الإصدار.

   

3. انقر فوق تأكيد. يصبح الإصدار المحدد أحدث إصدار من دفتر الملاحظات.

حذف إصدار

لحذف إدخال إصدار:

1. انقر فوق الإصدار.

2. انقر فوق أيقونة سلة المهملات .

   

3. انقر فوق نعم، مسح البيانات. يتم حذف الإصدار المحدد من المحفوظات.

مسح محفوظات الإصدارات

لا يمكن استرداد محفوظات الإصدار بعد مسحها.

لمسح محفوظات الإصدارات لدفتر ملاحظات:

1. حدد محفوظات إصدار مسح الملف>.
2. انقر فوق نعم، قم بإلغاء تحديد. تم مسح محفوظات إصدار دفتر الملاحظات.

لغات التعليمات البرمجية في دفاتر الملاحظات

تعيين اللغة الافتراضية

تظهر اللغة الافتراضية لدفتر الملاحظات إلى جانب اسم دفتر الملاحظات.

لتغيير اللغة الافتراضية، انقر فوق زر اللغة وحدد اللغة الجديدة من القائمة المنسدلة. للتأكد من أن الأوامر الموجودة تستمر في العمل، يتم تلقائيا بادئة أوامر اللغة الافتراضية السابقة بأمر سحري للغة.

خلط اللغات

بشكل افتراضي، تستخدم الخلايا اللغة الافتراضية لدفتر الملاحظات. يمكنك تجاوز اللغة الافتراضية في خلية بالنقر فوق زر اللغة وتحديد لغة من القائمة المنسدلة.

بدلا من ذلك، يمكنك استخدام الأمر %<language> السحري للغة في بداية الخلية. الأوامر السحرية المدعومة هي: %pythonو %r%scalaو و.%sql

إشعار

عند استدعاء أمر سحري للغة، يتم إرسال الأمر إلى REPL في سياق التنفيذ لدفتر الملاحظات. المتغيرات المعرفة بلغة واحدة (وبالتالي في REPL لتلك اللغة) غير متوفرة في REPL للغة أخرى. يمكن ل REPLs مشاركة الحالة فقط من خلال الموارد الخارجية مثل الملفات في DBFS أو الكائنات في تخزين الكائن.

تدعم أجهزة الكمبيوتر المحمولة أيضًا بعض الأوامر السحرية المساعدة:

• %sh: يسمح لك بتشغيل التعليمات البرمجية shell في دفتر ملاحظاتك. لفشل الخلية إذا كان الأمر shell يحتوي على حالة خروج غير صفرية، أضف -e الخيار . يعمل هذا الأمر فقط على برنامج تشغيل Apache Spark، وليس العمال. لتشغيل أمر shell على جميع العقد، استخدم برنامج نصي init.
• %fs: يسمح لك باستخدام dbutils أوامر نظام الملفات. على سبيل المثال، لتشغيل dbutils.fs.ls الأمر لسرد الملفات، يمكنك تحديد %fs ls بدلا من ذلك. لمزيد من المعلومات، راجع العمل مع الملفات على Azure Databricks.
• %md: يسمح لك بتضمين أنواع مختلفة من الوثائق، بما في ذلك النصوص والصور والصيغ والمعادلات الرياضية. راجع القسم التالي.

تمييز بناء جملة SQL والإكمال التلقائي في أوامر Python

يتوفر تمييز بناء الجملة والإكمال التلقائي ل SQL عند استخدام SQL داخل أمر Python، كما هو الحال في spark.sql أمر.

استكشاف نتائج خلية SQL في دفاتر ملاحظات Python باستخدام Python

قد تحتاج إلى تحميل البيانات باستخدام SQL واستكشافها باستخدام Python. في دفتر ملاحظات Databricks Python، يتم توفير نتائج الجدول من خلية لغة SQL تلقائيا ك Python DataFrame المعين للمتغير _sqldf.

في Databricks Runtime 13.3 LTS وما فوق، يمكنك أيضا الوصول إلى نتيجة DataFrame باستخدام نظام التخزين المؤقت لإخراج IPython. يظهر عداد المطالبة في رسالة الإخراج المعروضة في أسفل نتائج الخلية. على سبيل المثال الموضح، يمكنك الرجوع إلى النتيجة ك Out[2].

إشعار

• قد تتم إعادة تعيين المتغير _sqldf في كل مرة يتم فيها %sql تشغيل خلية. لتجنب فقدان مرجع إلى نتيجة DataFrame، قم بتعيينه إلى اسم متغير جديد قبل تشغيل الخلية التالية %sql :

  new_dataframe_name = _sqldf
  

• إذا كان الاستعلام يستخدم عنصر واجهة مستخدم للمعلمات، فلن تتوفر النتائج ك Python DataFrame.

• إذا كان الاستعلام يستخدم الكلمات الأساسية CACHE TABLE أو UNCACHE TABLE، فلن تتوفر النتائج ك Python DataFrame.

تظهر لقطة الشاشة مثالا:

تنفيذ خلايا SQL بالتوازي

أثناء تشغيل أمر وإرفاق دفتر الملاحظات بمجموعة تفاعلية، يمكنك تشغيل خلية SQL في وقت واحد باستخدام الأمر الحالي. يتم تنفيذ خلية SQL في جلسة عمل متوازية جديدة.

لتنفيذ خلية بالتوازي:

1. تشغيل الخلية.

2. انقر فوق تشغيل الآن. يتم تنفيذ الخلية على الفور.

   

نظرا لتشغيل الخلية في جلسة عمل جديدة، فإن طرق العرض المؤقتة وUDFs وPython DataFrame الضمنية (_sqldf) غير معتمدة للخلايا التي يتم تنفيذها بالتوازي. بالإضافة إلى ذلك، يتم استخدام أسماء الكتالوج وقاعدة البيانات الافتراضية أثناء التنفيذ المتوازي. إذا كانت التعليمات البرمجية تشير إلى جدول في كتالوج أو قاعدة بيانات مختلفة، فيجب تحديد اسم الجدول باستخدام مساحة اسم من ثلاثة مستويات (catalog.schema.table).

تنفيذ خلايا SQL على مستودع SQL

يمكنك تشغيل أوامر SQL في دفتر ملاحظات Databricks على مستودع SQL، وهو نوع من الحوسبة التي تم تحسينها لتحليلات SQL. راجع استخدام دفتر ملاحظات مع مستودع SQL.

عرض الصور

لعرض الصور المخزنة في FileStore، استخدم بناء الجملة:

%md
![test](files/image.png)

على سبيل المثال، افترض أن لديك ملف صورة شعار Databricks في FileStore:

dbfs ls dbfs:/FileStore/

databricks-logo-mobile.png

عند تضمين التعليمات البرمجية التالية في خلية Markdown:

يتم عرض الصورة في الخلية:

عرض المعادلات الرياضية

تدعم دفاتر الملاحظات KaTeX لعرض الصيغ الرياضية والمعادلات. على سبيل المثال،

%md
\\(c = \\pm\\sqrt{a^2 + b^2} \\)

\\(A{_i}{_j}=B{_i}{_j}\\)

$$c = \\pm\\sqrt{a^2 + b^2}$$

\\[A{_i}{_j}=B{_i}{_j}\\]

يعرض على النحو التالي:

و

%md
\\( f(\beta)= -Y_t^T X_t \beta + \sum log( 1+{e}^{X_t\bullet\beta}) + \frac{1}{2}\delta^t S_t^{-1}\delta\\)

where \\(\delta=(\beta - \mu_{t-1})\\)

يعرض على النحو التالي:

تضمين HTML

يمكنك تضمين HTML في دفتر ملاحظات باستخدام الدالة displayHTML. راجع HTML وD3 وSVG في دفاتر الملاحظات للحصول على مثال حول كيفية القيام بذلك.

إشعار

displayHTML يتم تقديم iframe من المجال databricksusercontent.com وتتضمن بيئة الاختبار المعزولة iframe السمة allow-same-origin . databricksusercontent.com يجب أن يكون الوصول إليها من المستعرض الخاص بك. إذا كانت شبكة شركتك محظورة حاليا، فيجب إضافتها إلى قائمة السماح.

الارتباط بدفاتر الملاحظات الأخرى

يمكنك إنشاء ارتباط إلى دفاتر ملاحظات أو مجلدات أخرى في خلايا Markdown باستخدام مسارات نسبية. حدد سمة href علامة ارتساء كمسار نسبي، بدءا من $ ثم اتبع نفس النمط كما هو الحال في أنظمة ملفات Unix:

%md
<a href="$./myNotebook">Link to notebook in same folder as current notebook</a>
<a href="$../myFolder">Link to folder in parent folder of current notebook</a>
<a href="$./myFolder2/myNotebook2">Link to nested notebook</a>