مشاركة عبر

تثبيت Databricks Connect ل Python

  • مقالة

إشعار

تتناول هذه المقالة Databricks Connect ل Databricks Runtime 13.3 LTS وما فوق.

توضح هذه المقالة كيفية تثبيت Databricks Connect ل Python. راجع ما هو Databricks Connect؟. للحصول على إصدار Scala من هذه المقالة، راجع تثبيت Databricks Connect ل Scala.

المتطلبات

لتثبيت Databricks Connect ل Python، يجب استيفاء المتطلبات التالية:

  • إذا كنت تتصل بحساب بلا خادم، يجب أن تفي مساحة العمل بمتطلبات الحوسبة بلا خادم.

    إشعار

    يتم دعم الحوسبة بلا خادم في Databricks Connect الإصدار 15.1 والإصدارات الأحدث. بالإضافة إلى ذلك، فإن إصدارات Databricks Connect في إصدار وقت تشغيل Databricks أو أقل منه على بلا خادم متوافقة تماما. راجع ملاحظات الإصدار. للتحقق مما إذا كان إصدار Databricks Connect متوافقا مع الحوسبة بلا خادم، راجع التحقق من صحة الاتصال ب Databricks.

  • إذا كنت تتصل بمجموعة، يجب أن تفي المجموعة المستهدفة بمتطلبات تكوين نظام المجموعة، والتي تتضمن متطلبات إصدار Databricks Runtime.

  • يجب أن يكون لديك Python 3 مثبتا على جهاز التطوير الخاص بك، ويجب أن يفي الإصدار الثانوي من Python المثبت على جهاز التطوير بمتطلبات الإصدار في الجدول أدناه.

    نوع الحساب إصدار Databricks Connect إصدار Python متوافق
    دون خادم 15.1 وما فوق 3.11
    نظام المجموعة 15.1 وما فوق 3.11
    نظام المجموعة 13.3 LTS إلى 14.3 LTS 3.10

  • إذا كنت ترغب في استخدام PySpark UDFs، يجب أن يتطابق الإصدار الثانوي المثبت لجهاز التطوير الخاص بك من Python مع الإصدار الثانوي من Python المضمن مع Databricks Runtime المثبت على نظام المجموعة أو الحوسبة بلا خادم. للعثور على إصدار Python الثانوي من مجموعتك، راجع قسم بيئة النظام في ملاحظات إصدار Databricks Runtime لنظام المجموعة أو الحوسبة بلا خادم. راجع إصدارات ملاحظات إصدار Databricks Runtime والتوافق وملاحظات إصدار الحساب بلا خادم.

تنشيط بيئة Python الظاهرية

توصي Databricks بشدة بتنشيط بيئة Python الظاهرية لكل إصدار Python تستخدمه مع Databricks Connect. تساعد بيئات Python الظاهرية على التأكد من أنك تستخدم الإصدارات الصحيحة من Python وDatabricks Connect معا. لمزيد من المعلومات حول هذه الأدوات وكيفية تنشيطها، راجع venv أو الشعر.

تثبيت عميل Databricks Connect

يصف هذا القسم كيفية تثبيت عميل Databricks Connect مع venv أو الشعر.

إشعار

إذا كان لديك بالفعل ملحق Databricks ل Visual Studio Code مثبتا، فلن تحتاج إلى اتباع إرشادات الإعداد هذه، لأن ملحق Databricks ل Visual Studio Code يحتوي بالفعل على دعم مضمن ل Databricks Connect ل Databricks Runtime 13.3 LTS وما فوق. انتقل إلى Debug code باستخدام Databricks Connect لملحق Databricks ل Visual Studio Code.

تثبيت عميل Databricks Connect مع venv

  1. مع تنشيط بيئتك الظاهرية، قم بإلغاء تثبيت PySpark، إذا كان مثبتا بالفعل، عن طريق تشغيل uninstall الأمر . هذا مطلوب لأن الحزمة databricks-connect تتعارض مع PySpark. للحصول على التفاصيل، راجع عمليات تثبيت PySpark المتعارضة. للتحقق مما إذا كان PySpark مثبتا بالفعل، قم بتشغيل show الأمر .

    # Is PySpark already installed?
pip3 show pyspark

# Uninstall PySpark
pip3 uninstall pyspark

  2. مع استمرار تنشيط بيئتك الظاهرية، قم بتثبيت عميل Databricks Connect عن طريق تشغيل install الأمر . --upgrade استخدم الخيار لترقية أي تثبيت عميل موجود إلى الإصدار المحدد.

    pip3 install --upgrade "databricks-connect==15.4.*"  # Or X.Y.* to match your cluster version.

    إشعار

    توصي Databricks بإلحاق رمز "dot-asterisk" لتحديد databricks-connect==X.Y.* بدلا من databricks-connect=X.Y، للتأكد من تثبيت أحدث حزمة. على الرغم من أن هذا ليس مطلبا، فإنه يساعد على التأكد من أنه يمكنك استخدام أحدث الميزات المدعومة لتلك المجموعة.

تثبيت عميل Databricks Connect مع الشعر

  1. مع تنشيط بيئتك الظاهرية، قم بإلغاء تثبيت PySpark، إذا كان مثبتا بالفعل، عن طريق تشغيل remove الأمر . هذا مطلوب لأن الحزمة databricks-connect تتعارض مع PySpark. للحصول على التفاصيل، راجع عمليات تثبيت PySpark المتعارضة. للتحقق مما إذا كان PySpark مثبتا بالفعل، قم بتشغيل show الأمر .

    # Is PySpark already installed?
poetry show pyspark

# Uninstall PySpark
poetry remove pyspark

  2. مع استمرار تنشيط بيئتك الظاهرية، قم بتثبيت عميل Databricks Connect عن طريق تشغيل add الأمر .

    poetry add databricks-connect@~15.4  # Or X.Y to match your cluster version.

    إشعار

    توصي Databricks باستخدام علامة "at-tilde" لتحديد databricks-connect@~15.4 بدلا من databricks-connect==15.4، للتأكد من تثبيت أحدث حزمة. على الرغم من أن هذا ليس مطلبا، فإنه يساعد على التأكد من أنه يمكنك استخدام أحدث الميزات المدعومة لتلك المجموعة.

الخطوات التالية

بعد تثبيت Databricks Connect، تحتاج إلى تكوين اتصال ب Databricks. راجع تكوين الحساب ل Databricks Connect.