إدارة تبعيات Python لخطوط أنابيب Delta Live Tables
تدعم Delta Live Tables التبعيات الخارجية في البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك. توصي Databricks باستخدام أحد النمطين لتثبيت حزم Python:
%pip installاستخدم الأمر لتثبيت حزم لكافة الملفات المصدر في البنية الأساسية لبرنامج ربط العمليات التجارية.- استيراد الوحدات النمطية أو المكتبات من التعليمات البرمجية المصدر المخزنة في ملفات مساحة العمل. راجع استيراد وحدات Python النمطية من مجلدات Git أو ملفات مساحة العمل.
تدعم Delta Live Tables أيضا استخدام البرامج النصية العامة والنطاقية لنظام المجموعة. ومع ذلك، تزيد هذه التبعيات الخارجية، خاصة البرامج النصية للتثبيت، من خطر حدوث مشكلات في ترقيات وقت التشغيل. للتخفيف من هذه المخاطر، قلل من استخدام البرامج النصية init في البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك. إذا كانت المعالجة تتطلب برامج نصية، فأتمتة اختبار البنية الأساسية لبرنامج ربط العمليات التجارية للكشف عن المشكلات في وقت مبكر. إذا كنت تستخدم البرامج النصية init، فإن Databricks توصي بزيادة تكرار الاختبار الخاص بك.
هام
نظرا لأن مكتبات JVM غير مدعومة في مسارات Delta Live Tables، لا تستخدم برنامج نصي init لتثبيت مكتبات JVM. ومع ذلك، يمكنك تثبيت أنواع مكتبات أخرى، مثل مكتبات Python، باستخدام برنامج نصي init.
مكتبات Python
لتحديد مكتبات Python الخارجية، استخدم %pip install الأمر السحري. عند بدء تحديث، تقوم Delta Live Tables بتشغيل كافة الخلايا التي %pip install تحتوي على أمر قبل تشغيل أي تعريفات جدول. يشارك كل دفتر ملاحظات Python مضمن في البنية الأساسية لبرنامج ربط العمليات التجارية بيئة مكتبة ولديه حق الوصول إلى جميع المكتبات المثبتة.
هام
%pip installيجب أن تكون الأوامر في خلية منفصلة في أعلى دفتر ملاحظات مسار Delta Live Tables. لا تقم بتضمين أي تعليمات برمجية أخرى في الخلايا التي تحتوي على%pip installأوامر.- نظرا لأن كل دفتر ملاحظات في البنية الأساسية لبرنامج ربط العمليات التجارية يشارك بيئة مكتبة، فلا يمكنك تعريف إصدارات مكتبة مختلفة في مسار واحد. إذا كانت المعالجة تتطلب إصدارات مكتبة مختلفة، فيجب عليك تعريفها في مسارات مختلفة.
يقوم المثال التالي بتثبيت المكتبة numpy وإتاحتها عالميا لأي دفتر ملاحظات Python في المسار:
%pip install simplejson
لتثبيت حزمة عجلة Python، أضف مسار عجلة Python إلى %pip install الأمر . تتوفر حزم عجلة Python المثبتة لجميع الجداول في البنية الأساسية لبرنامج ربط العمليات التجارية. يقوم المثال التالي بتثبيت ملف عجلة Python المسمى dltfns-1.0-py3-none-any.whl من دليل /dbfs/dlt/DBFS :
%pip install /dbfs/dlt/dltfns-1.0-py3-none-any.whl
راجع تثبيت حزمة عجلة Python باستخدام ٪pip.
هل يمكنني استخدام مكتبات Scala أو Java في مسار Delta Live Tables؟
لا، تدعم Delta Live Tables SQL وPython فقط. لا يمكنك استخدام مكتبات JVM في البنية الأساسية لبرنامج ربط العمليات التجارية. سيؤدي تثبيت مكتبات JVM إلى سلوك غير متوقع، وقد يتعطل مع إصدارات Delta Live Tables المستقبلية. إذا كانت البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك تستخدم برنامج نصي init، يجب عليك أيضا التأكد من عدم تثبيت مكتبات JVM بواسطة البرنامج النصي.