استخدام dbx لمزامنة الملفات المحلية مع مساحات العمل البعيدة في الوقت الفعلي

هام

تم إيقاف هذه الوثائق وقد لا يتم تحديثها.

توصي Databricks باستخدام إصدارات Databricks CLI 0.205 أو أعلى بدلا من dbx sync، والتي تتضمن وظائف مشابهة من dbx sync خلال databricks sync الأمر .

يتضمن ملحق Databricks ل Visual Studio Code أيضا وظائف مشابهة للتكامل dbx sync في Visual Studio Code IDE. لاحظ أنه dbx sync يمكن مزامنة تغييرات الملفات من جهاز تطوير محلي إلى DBFS ومواقع مساحة العمل ومجلدات Databricks Git في مساحات عمل Azure Databricks. يدعم ملحق Databricks ل Visual Studio Code مزامنة تغييرات الملفات فقط إلى ملفات مستخدم مساحة العمل (/Users) ومجلدات Databricks Git (/Repos).

إشعار

تتناول dbx هذه المقالة Databricks Labs، والتي يتم توفيرها كما هي ولا تدعمها Databricks من خلال قنوات الدعم التقني للعملاء. يمكن توصيل الأسئلة وطلبات الميزات من خلال صفحة المشكلات في databrickslabs/dbx repo على GitHub.

يمكنك إجراء مزامنة في الوقت الحقيقي للتغييرات على الملفات على جهاز التطوير المحلي الخاص بك مع ملفاتها المقابلة في مساحات عمل Azure Databricks باستخدام dbx by Databricks Labs. يمكن أن تكون ملفات مساحة العمل هذه في DBFS أو في مجلدات Databricks Git.

تعد مزامنة الملفات في الوقت الحقيقي مع dbx (المعروفة أيضا باسم dbx sync) مفيدة في سيناريوهات تطوير التعليمات البرمجية السريعة. على سبيل المثال، يمكنك استخدام بيئة تطوير محلية متكاملة (IDE) لميزات الإنتاجية مثل تمييز بناء الجملة وإكمال التعليمات البرمجية الذكية وتحليل التعليمات البرمجية والاختبار وتصحيح الأخطاء. يمكنك بعد ذلك الانتقال فورا إلى مساحة العمل الخاصة بك وتشغيل التعليمات البرمجية المحدثة.

يمكنك استخدام dbx sync في حد ذاته، مع وظائف تلقائية، أو مع IDE.

dbx sync مهام سير عمل التطوير

هناك نوعان من مهام سير عمل التطوير ل dbx sync، أحدهما مع DBFS والآخر مع مجلدات Databricks Git.

سير عمل التطوير النموذجي مع dbx sync وDBFS هو:

  1. حدد دليلا محليا يحتوي على الملفات التي تريد مزامناتها مع DBFS.
  2. حدد المسار في DBFS الذي تريد مزامنة الدليل المحلي معه (أو اسمح dbx sync بإنشاء مسار DBFS افتراضي لك).
  3. قم بتشغيل dbx sync dbfs لمزامنة الدليل المحلي إلى مسار DBFS. dbx sync يبدأ في مشاهدة الدليل المحلي الخاص بك لأي تغييرات في الملفات.
  4. قم بإجراء تغييرات على الملفات في الدليل المحلي حسب الحاجة. dbx sync يطبق هذه التغييرات على الملفات المقابلة في مسار DBFS في الوقت الفعلي.

سير عمل التطوير النموذجي مع dbx sync ومجلدات Databricks Git هو:

  1. أنشئ مستودعا باستخدام موفر Git تدعمه مجلدات Databricks Git، إذا لم يكن لديك مستودع متوفر بالفعل.
  2. استنساخ المستودع الخاص بك في مساحة عمل Azure Databricks.
  3. استنساخ المستودع الخاص بك في جهاز التطوير المحلي الخاص بك.
  4. قم بتشغيل dbx sync repo لربط المستودع المحلي المستنسخ بمساحة العمل المستنسخة. dbx sync يبدأ في مشاهدة الدليل المحلي الخاص بك لأي تغييرات في الملفات.
  5. قم بإجراء تغييرات على الملفات في المستودع المحلي المستنسخ حسب الحاجة. dbx sync يطبق هذه التغييرات على الملفات المقابلة في مجلدات Databricks Git في الوقت الفعلي.
  6. دفع الملفات المحدثة بشكل دوري من المستودع المستنسخ في مساحة العمل الخاصة بك إلى موفر Git الخاص بك، بحيث يظل المستودع محدثا مع موفر Git الخاص بك.

هام

dbx sync يقوم فقط بإجراء مزامنة أحادية الاتجاه وفي الوقت الحقيقي لتغييرات الملفات من جهاز التطوير المحلي إلى مساحة العمل البعيدة. لذلك، لا توصي Databricks ببدء التغييرات في مساحة عمل Azure Databricks إلى الملفات التي تتم مراقبتها بواسطة dbx sync. إذا كان يجب إجراء تغييرات الملف التي بدأتها مساحة العمل هذه، فيجب عليك أيضا القيام بما يلي:

  • لتغييرات الملفات في DBFS، قم بإجراء التغييرات المقابلة على الملفات المحلية يدويا.
  • لتغييرات الملفات في مجلدات Databricks Git، ادفع تغييرات الملف من مساحة العمل إلى موفر Git الخاص بك. ثم، على جهاز التطوير المحلي، اسحب تغييرات الملفات هذه من موفر Git الخاص بك.

المتطلبات

إذا كنت تريد استخدام dbx sync مع مجلدات Databricks Git، يجب أن تفي مساحة عمل Azure Databricks بالمتطلبات التالية:

  • يقترح استنساخ مستودعك مع موفر Git الخاص بك، على الرغم من أنه غير مطلوب.

على جهاز التطوير المحلي، يجب أن يكون لديك ما يلي مثبتا:

  • Python الإصدار 3.8 أو أعلى. للتحقق مما إذا كان Python مثبتا، وللتحقق من إصدار Python المثبت، قم بتشغيل python --version في المحطة الطرفية أو PowerShell.

    python --version

    إشعار

    قد تتطلب بعض عمليات التثبيت python استخدام python3 بدلا من python. إذا كان الأمر كذلك، فاستبدله python python3 في هذه المقالة.

  • نقطة. للتحقق مما إذا كان pip مثبتا، وللتحقق من الإصدار المثبت pip ، قم بتشغيل pip --version أو python -m pip --version.

    pip --version

# Or...

python -m pip --version

    إشعار

    قد تتطلب بعض عمليات التثبيت pip استخدام pip3 بدلا من pip. إذا كان الأمر كذلك، فاستبدله pip pip3 في هذه المقالة.

  • dbx الإصدار 0.8.0 أو أعلى. للتحقق مما إذا كان dbx مثبتا، وللتحقق من الإصدار المثبت dbx ، قم بتشغيل dbx --version. للتثبيت dbx من فهرس حزمة Python (PyPI)، قم بتشغيل pip install dbx أو python -m pip install dbx. (dbx بما في ذلك مزامنة dbx.)

    # Check whether dbx is installed, and check its version.
dbx --version

# Install dbx.
pip install dbx

# Or...
python -m pip install dbx

    إشعار

    لمزيد من المعلومات حول dbx، راجع dbx by Databricks Labs ووثائق dbx.

  • تم إعداد Databricks CLI الإصدار 0.18 أو أدناه باستخدام المصادقة. يتم تثبيت Databricks CLI القديم (الإصدار 0.17 من Databricks CLI) تلقائيا عند تثبيت dbx. يمكن إعداد هذه المصادقة على جهاز التطوير المحلي في أحد المواقع التالية أو كليهما:

    • DATABRICKS_HOST ضمن متغيرات البيئة و DATABRICKS_TOKEN (بدءا من الإصدار 0.8.0 من Databricks CLI القديم).
    • في ملف تعريف تكوين Azure Databricks داخل ملفك.databrickscfg.

    dbx يبحث عن بيانات اعتماد المصادقة في هذين الموقعين، على التوالي. dbx يستخدم المجموعة الأولى فقط من بيانات الاعتماد المطابقة التي يعثر عليها.

    إشعار

    إذا كنت تستخدم ملفا .databrickscfg ، dbx sync يبحث في هذا الملف عن ملف تعريف تكوين يسمى DEFAULT بشكل افتراضي. لتحديد ملف تعريف مختلف، استخدم --profile الخيار عند تشغيل dbx sync الأمر، لاحقا في هذه المقالة.

    dbx لا يدعم استخدام ملف .netrc للمصادقة.

  • إذا كنت ترغب في استخدام dbx sync مع مجلدات Databricks Git، يتم اقتراح نسخة محلية من المستودع الخاص بك مع موفر Git الخاص بك، على الرغم من أنه غير مطلوب. لإجراء نسخة محلية، راجع وثائق موفر Git.

استخدام DBFS مع dbx sync

  1. من المحطة الطرفية أو PowerShell على جهاز التطوير المحلي، قم بالتغيير إلى الدليل الذي يحتوي على الملفات التي تريد مزامناتها مع DBFS في مساحة عمل Azure Databricks.

  2. قم بتشغيل أمر مزامنة dbx لمزامنة الدليل المحلي إلى DBFS في مساحة العمل الخاصة بك، كما يلي. (لا تنس النقطة (.) في النهاية، والتي تمثل الدليل الحالي.)

    dbx sync dbfs --source .

    تلميح

    لتحديد دليل مصدر مختلف، استبدل النقطة (.) بمسار مختلف.

    إشعار

    إذا ظهر الخطأ Error: No such command 'sync' ، فمن المحتمل أن يكون تثبيتك dbx قديما. لإصلاح ذلك، قم بتشغيل pip install --upgrade dbx==<version> أو python -m pip install --upgrade dbx==version، حيث <version> هو أحدث إصدار من dbx. يمكن العثور على رقم الإصدار هذا على صفحة ويب PyPI ل dbx.

    pip install --upgrade dbx==<version>

# Or...
python -m pip install --upgrade dbx==version

  3. dbx sync يبدأ مزامنة الملفات في الدليل المحلي الحالي مع الملفات في مسار DBFS التالي في مساحة العمل الخاصة بك. dbx sync يؤكد ذلك عن طريق الطباعة Target base path متبوعة بمسار DBFS، على سبيل المثال:

    /tmp/users/<your-Databricks-username>/<local-directory-name>

    تلميح

    لتحديد اسم مستخدم أو مسار DBFS مختلف، حدد الخيارين --user و --dest ، على التوالي، عند تشغيل dbx sync.

  4. قم بإجراء تغييرات على ملفاتك المحلية، حسب الحاجة.

    هام

    يجب الاحتفاظ بالمحطة الطرفية أو PowerShell مفتوحة dbx sync لمتابعة المزامنة. إذا قمت بإغلاق المحطة الطرفية أو PowerShell، dbx sync يتوقف عن مراقبة تغييرات الملفات ويتوقف عن المزامنة. لاستئناف مزامنة تغيير الملف، كرر هذا الإجراء من البداية.

  5. حسب الحاجة، تحقق من تغييرات الملف في المسار السابق في DBFS في مساحة العمل الخاصة بك.

استخدام مجلدات Databricks Git مع dbx sync

  1. من المحطة الطرفية أو PowerShell على جهاز التطوير المحلي، قم بالتغيير إلى الدليل الجذر الذي يحتوي على نسخة المستودع مع موفر Git الخاص بك.

  2. في مساحة عمل Azure Databricks، حدد اسم مجلد Databricks Git الذي تريد مزامنة المستودع المحلي المستنسخ إليه. يمكنك العثور على اسم المستودع هذا بالنقر فوق مجلدات Git في الشريط الجانبي لمساحة العمل.

  3. على جهاز التطوير المحلي، قم بتشغيل أمر مزامنة dbx لمزامنة المستودع المحلي المستنسخ إلى مجلدات Databricks Git في مساحة العمل الخاصة بك كما يلي، مع استبدال <your-repo-name> باسم المستودع الخاص بك في مجلدات Databricks Git. (لا تنس النقطة (.) في النهاية، والتي تمثل الدليل الحالي.)

    dbx sync repo -d <your-repo-name> --source .

    تلميح

    لتحديد دليل مصدر مختلف، استبدل النقطة (.) بمسار مختلف.

    إشعار

    إذا ظهر الخطأ Error: No such command 'sync' ، فمن المحتمل أن يكون تثبيتك dbx قديما. لإصلاح ذلك، قم بتشغيل pip install --upgrade dbx==<version> أو python -m pip install --upgrade dbx==version، حيث <version> هو أحدث إصدار من dbx. يمكن العثور على رقم الإصدار هذا على صفحة ويب PyPI ل dbx.

    pip install --upgrade dbx==<version>

# Or...
python -m pip install --upgrade dbx==version

  4. dbx sync يبدأ مزامنة الملفات في المستودع المحلي المستنسخ مع الملفات في مجلدات Databricks Git في مساحة العمل الخاصة بك. dbx sync يؤكد ذلك عن طريق الطباعة Target base path متبوعا بمسار مجلدات Databricks Git، على سبيل المثال:

    /Repos/<your-Databricks-username>/<your-repo-name>

    تلميح

    لتحديد اسم مستخدم أو اسم مستودع مختلف، حدد الخيارين --user و --dest-repo ، على التوالي، عند تشغيل dbx sync.

  5. قم بإجراء تغييرات على ملفاتك المحلية، حسب الحاجة.

    هام

    يجب الاحتفاظ بالمحطة الطرفية أو PowerShell مفتوحة dbx sync لمتابعة المزامنة. إذا قمت بإغلاق المحطة الطرفية أو PowerShell، dbx sync يتوقف عن مراقبة تغييرات الملفات ويتوقف عن المزامنة. لاستئناف مزامنة تغيير الملف، كرر هذا الإجراء من البداية.

  6. حسب الحاجة، تحقق من تغييرات الملف في مجلدات Databricks Git في مساحة العمل الخاصة بك.

الموارد الإضافية

  • Last updated on