مشاركة عبر

تثبيت المكتبات من مستودع حزمة

  • مقالة

يوفر Azure Databricks أدوات لتثبيت المكتبات من مستودعات حزم PyPI وMaven وCRAN. راجع المكتبات ذات نطاق نظام المجموعة للحصول على تفاصيل توافق المكتبة الكاملة.

هام

يمكن تثبيت المكتبات من DBFS عند استخدام Databricks Runtime 14.3 LTS وما دونه. ومع ذلك، يمكن لأي مستخدم مساحة عمل تعديل ملفات المكتبة المخزنة في DBFS. لتحسين أمان المكتبات في مساحة عمل Azure Databricks، يتم إهمال تخزين ملفات المكتبات في جذر DBFS وتعطيلها بشكل افتراضي في Databricks Runtime 15.1 وما فوق. راجع إهمال وتعطيل تخزين المكتبات في جذر DBFS بشكل افتراضي.

بدلا من ذلك، توصي Databricks بتحميل جميع المكتبات، بما في ذلك مكتبات Python وملفات JAR وموصلات Spark، إلى ملفات مساحة العمل أو وحدات تخزين كتالوج Unity، أو استخدام مستودعات حزم المكتبات. إذا كان حمل العمل الخاص بك لا يدعم هذه الأنماط، يمكنك أيضا استخدام المكتبات المخزنة في تخزين الكائنات السحابية.

حزمة PyPI

  1. في قائمة الزر مصدر المكتبة، حدد PyPI.

  2. أدخل اسم حزمة PyPI. لتثبيت إصدار معين من مكتبة، استخدم هذا التنسيق للمكتبة: <library>==<version>. على سبيل المثال، scikit-learn==0.19.1

    إشعار

    بالنسبة للوظائف، توصي Databricks بتحديد إصدار مكتبة لضمان بيئة قابلة للتكرار. إذا لم يتم تحديد إصدار المكتبة بشكل كامل، فإن Databricks يستخدم أحدث إصدار مطابق. وهذا يعني أن عمليات التشغيل المختلفة لنفس المهمة قد تستخدم إصدارات مكتبة مختلفة حيث يتم نشر إصدارات جديدة. يؤدي تحديد إصدار المكتبة إلى منع التغييرات الجديدة في المكتبات من قطع مهامك.

  3. (اختياري) في حقل Index URL، أدخل عنوان URL لمؤشر PyPI.

  4. انقر فوق تثبيت.

حزمة Maven أو Spark

هام

لتثبيت مكتبات Maven على حساب تم تكوينه باستخدام وضع الوصول المشترك، يجب إضافة الإحداثيات إلى قائمة السماح. راجع Allowlist libraries and init scripts on shared compute.

هام

بالنسبة إلى DBR 14.3 LTS والإصدارات أدناه، يستخدم Databricks Apache Ivy 2.4.0 لحل حزم Maven. بالنسبة إلى DBR 15.0 والإصدارات الأحدث، يستخدم Databricks Ivy 2.5.1 أو أحدث ويتم سرد إصدار اللبلاب المحدد في إصدارات ملاحظات وقت تشغيل Databricks والتوافق.

قد يؤثر ترتيب تثبيت حزم Maven على شجرة التبعية النهائية، والتي يمكن أن تؤثر على الترتيب الذي يتم تحميل المكتبات به.

  1. في قائمة زر مصدر المكتبة، حدد Maven.

  2. حدد إحداثيات Maven. قم بأحد الإجراءات التالية:

    • في حقل الإحداثيات، أدخل إحداثيات Maven للمكتبة المراد تثبيتها. إحداثيات Maven في النموذج groupId:artifactId:version؛ على سبيل المثال، com.databricks:spark-avro_2.10:1.0.0.
    • إذا كنت لا تعرف الإحداثيات الدقيقة، أدخل اسم المكتبة وانقر فوق حزم البحث. يتم عرض قائمة بالحزم المتطابقة. لعرض تفاصيل حول حزمة، انقر فوق اسمها. يمكنك فرز الحزم حسب الاسم والمؤسسة والتصنيف. يمكنك أيضا تصفية النتائج عن طريق كتابة استعلام في شريط البحث. يتم تحديث النتائج تلقائيا.
      1. حدد Maven Central أو Spark Packages في القائمة المنسدلة في أعلى اليسار.
      2. حدد إصدار الحزمة اختياريا في عمود الإصدارات.
      3. انقر فوق + تحديد بجوار حزمة. يتم تعبئة حقل الإحداثيات بالحزمة والإصدار المحددين.

  3. (اختياري) في حقل Repository، يمكنك إدخال عنوان URL لمستودع Maven.

    إشعار

    مستودعات Maven الداخلية غير مدعومة.

  4. في حقل الاستثناءات ، قم groupId بتوفير و artifactId اختياريا للتبعيات التي تريد استبعادها (على سبيل المثال، log4j:log4j).

    إشعار

    يعمل Maven باستخدام الإصدار الأقرب إلى الجذر، وفي حالة وجود حزمتين ت vying للإصدارات ذات التبعيات المختلفة، يكون الترتيب مهما، لذلك قد يفشل عند تحميل الحزمة ذات التبعية القديمة أولا.

    للتغلب على ذلك، استبعد المكتبة المتعارضة. على سبيل المثال، عند تثبيت الحزمة مع الإحداثيات com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.22، قم بتعيين الحقل Exclusions إلى com.nimbusds:oauth2-oidc-sdk:RELEASE بحيث يتم تحميل أحدث إصدار من eventhubs MSAL4J ويتم استيفاء التبعية eventhubs .

  5. انقر فوق تثبيت.

حزمة CRAN

  1. في قائمة الزر مصدر المكتبة، حدد CRAN.
  2. في حقل الحزمة، أدخل اسم الحزمة.
  3. (اختياري) في حقل Repository، يمكنك إدخال عنوان URL لمستودع CRAN.
  4. انقر فوق تثبيت.

إشعار

تخدم مرايا CRAN أحدث إصدار من المكتبة. ونتيجة لذلك، قد ينتهي بك الأمر بإصدارات مختلفة من حزمة R إذا قمت بإرفاق المكتبة بمجموعات مختلفة في أوقات مختلفة. لمعرفة كيفية إدارة إصدارات حزمة R وإصلاحها على Databricks، راجع قاعدة المعارف.