Databricks Utilities مع Databricks Connect ل Python
إشعار
تتناول هذه المقالة Databricks Connect ل Databricks Runtime 13.3 LTS وما فوق.
توضح هذه المقالة كيفية استخدام Databricks Utilities مع Databricks Connect ل Python. يمكنك Databricks Connect من توصيل IDEs الشائعة وخوادم دفاتر الملاحظات والتطبيقات المخصصة إلى مجموعات Azure Databricks. راجع ما هو Databricks Connect؟. للحصول على إصدار Scala من هذه المقالة، راجع Databricks Utilities with Databricks Connect for Scala.
إشعار
قبل البدء في استخدام Databricks Connect، يجب عليك إعداد عميل Databricks Connect.
يمكنك استخدام Databricks Connect للوصول إلى Databricks Utilities كما يلي:
WorkspaceClient
استخدم متغير الفئةdbutils
للوصول إلى Databricks Utilities.WorkspaceClient
تنتمي الفئة إلى Databricks SDK ل Python ويتم تضمينها في Databricks Connect.- استخدم
dbutils.fs
للوصول إلى الأداة المساعدة Databricks Utilities fs . - استخدم
dbutils.secrets
للوصول إلى الأداة المساعدة Databricks Utilities secrets . - لا تتوفر وظائف أدوات Databricks المساعدة بخلاف الأدوات المساعدة السابقة من خلال
dbutils
.
تلميح
يمكنك أيضا استخدام Databricks SDK المضمنة ل Python للوصول إلى أي واجهة برمجة تطبيقات Databricks REST متوفرة، وليس فقط واجهات برمجة تطبيقات Databricks Utilities السابقة. راجع databricks-sdk على PyPI.
لتهيئة WorkspaceClient
، يجب توفير معلومات كافية لمصادقة Databricks SDK مع مساحة العمل. على سبيل المثال، يمكنك:
قم بتكوين تعليمات برمجية مضمنة لعنون URL لمساحة العمل ورمز الوصول المميز مباشرة داخل التعليمات البرمجية الخاصة بك، ثم قم بتهيئة
WorkspaceClient
كما يلي. على الرغم من أن هذا الخيار مدعوم، إلا أن Databricks لا يوصي بهذا الخيار، لأنه يمكن أن يعرض معلومات حساسة، مثل رموز الوصول المميزة، إذا تم إيداع التعليمات البرمجية الخاصة بك في التحكم بالإصدار أو تمت مشاركتها بطريقة أخرى:from databricks.sdk import WorkspaceClient w = WorkspaceClient(host = f"https://{retrieve_workspace_instance_name()}", token = retrieve_token())
قم بإنشاء أو تحديد ملف تعريف تكوين يحتوي على الحقول
host
وtoken
، ثم قم بتعريف علىWorkspaceClient
النحو التالي:from databricks.sdk import WorkspaceClient w = WorkspaceClient(profile = "<profile-name>")
تعيين متغيرات
DATABRICKS_HOST
البيئة وبنفسDATABRICKS_TOKEN
الطريقة التي تقوم بتعيينها ل Databricks Connect، ثم تهيئتهاWorkspaceClient
كما يلي:from databricks.sdk import WorkspaceClient w = WorkspaceClient()
لا يتعرف Databricks SDK ل Python على SPARK_REMOTE
متغير البيئة ل Databricks Connect.
للحصول على خيارات مصادقة Azure Databricks إضافية ل Databricks SDK ل Python، بالإضافة إلى كيفية التهيئة AccountClient
داخل Databricks SDKs للوصول إلى واجهات برمجة تطبيقات Databricks REST المتوفرة على مستوى الحساب بدلا من مستوى مساحة العمل، راجع databricks-sdk على PyPI.
يوضح المثال التالي كيفية استخدام Databricks SDK ل Python لأتمتة Databricks Utilities. ينشئ هذا المثال ملفا باسم zzz_hello.txt
في مسار وحدة تخزين كتالوج Unity داخل مساحة العمل، ويقرأ البيانات من الملف، ثم يحذف الملف. يفترض هذا المثال أن متغيرات DATABRICKS_HOST
البيئة وقد تم تعيينها DATABRICKS_TOKEN
بالفعل:
from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
file_path = "/Volumes/main/default/my-volume/zzz_hello.txt"
file_data = "Hello, Databricks!"
fs = w.dbutils.fs
fs.put(
file = file_path,
contents = file_data,
overwrite = True
)
print(fs.head(file_path))
fs.rm(file_path)
راجع أيضا التفاعل مع dbutils في Databricks SDK لوثائق Python.
الملاحظات
https://aka.ms/ContentUserFeedback.
قريبًا: خلال عام 2024، سنتخلص تدريجيًا من GitHub Issues بوصفها آلية إرسال ملاحظات للمحتوى ونستبدلها بنظام ملاحظات جديد. لمزيد من المعلومات، راجعإرسال الملاحظات وعرضها المتعلقة بـ