Yerel dosyaları uzak çalışma alanlarıyla gerçek zamanlı olarak eşitlemek için dbx kullanma

Önemli

Bu belge kullanımdan kaldırılmıştır ve güncelleştirilmeyebilir.

Databricks, dbx syncyerine, komutu aracılığıyla dbx sync benzer işlevler içeren databricks synckullanmanızı önerir.

Visual Studio Code için Databricks uzantısı, Visual Studio Code IDE ile tümleşik benzer işlevler de içerir. Unutmayın ki dbx sync yerel bir geliştirme makinesindeki dosya değişikliklerini, Azure Databricks çalışma alanlarınızdaki DBFS, çalışma alanı konumları ve Databricks Git klasörleriyle eşitleyebilir. Databricks IDE uzantısı, dosya değişikliklerini yalnızca çalışma alanı kullanıcı () dosyaları (/Users) dosyaları ve Databricks Git klasörleri (/Repos) ile senkronize etmeyi destekler.

Not

Bu makale, olduğu gibi sağlanan ve Databricks'in müşteri teknik destek kanalları aracılığıyla desteklemediği Databricks Labs'e ait dbx konusunu ele almaktadır. Sorular ve özellik istekleri GitHub'da databrickslabs/dbx deposunun Sorunlar sayfasından iletilebilir.

Databricks Labs tarafından dbx kullanarak yerel geliştirme makinenizdeki dosyalarda yapılan değişikliklerin Azure Databricks çalışma alanlarınızdaki karşılık gelen dosyalarıyla gerçek zamanlı eşitlemesini gerçekleştirebilirsiniz. Bu çalışma alanı dosyaları DBFS veya Databricks Git klasörlerindeolabilir.

dbx (dbx syncolarak da bilinir) ile gerçek zamanlı dosya eşitlemesi, hızlı kod geliştirme senaryolarında yararlıdır. Örneğin, söz dizimi vurgulama, akıllı kod tamamlama, kod lint ve test ve hata ayıklama gibi üretkenlik özellikleri için yerel tümleşik geliştirme ortamını (IDE) kullanabilirsiniz. Ardından hemen çalışma alanınıza gidebilir ve güncelleştirilmiş kodunuzu çalıştırabilirsiniz.

tek başına,otomatik işlerle veya bir IDEile kullanabilirsiniz.

dbx sync geliştirme iş akışları

dbx synciçin biri DBFS, diğeri databricks Git klasörleri içeren iki geliştirme iş akışı vardır.

dbx sync ve DBFS ile tipik geliştirme iş akışı:

1. DBFS ile eşitlemek istediğiniz dosyaları içeren yerel bir dizin belirleyin.
2. YEREL dizininizin eşitlemesini istediğiniz DBFS yolunu tanımlayın (veya dbx sync sizin için varsayılan bir DBFS yolu oluşturmasına izin verin).
3. Yerel dizininizi DBFS yolu ile eşitlemek için dbx sync dbfs çalıştırın. dbx sync tüm dosya değişiklikleri için yerel dizininizi izlemeye başlar.
4. Gerektiğinde yerel dizininizdeki dosyalarda değişiklik yapın. dbx sync bu değişiklikleri DBFS yolundaki ilgili dosyalara gerçek zamanlı olarak uygular.

dbx sync ve Databricks Git klasörleriyle tipik geliştirme iş akışı şöyledir:

1. Databricks Git klasörlerinin desteklediği bir Git sağlayıcısıyla depo oluşturun( henüz kullanılabilir bir deponuz yoksa).
2. Deponuzu Azure Databricks çalışma alanınıza kopyalayın.
3. Deponuzu yerel geliştirme makinenize kopyalayın.
4. Yerel kopyalanmış deponuzu çalışma alanı kopyalanmış deponuzla ilişkilendirmek için dbx sync repo çalıştırın. dbx sync tüm dosya değişiklikleri için yerel dizininizi izlemeye başlar.
5. Yerel kopyalanmış deponuzdaki dosyalarda gerektiği gibi değişiklikler yapın. dbx sync bu değişiklikleri Databricks Git klasörlerindeki ilgili dosyalara gerçek zamanlı olarak uygular.
6. Deponun Git sağlayıcınızla güncel kalması için çalışma alanınızdaki kopyalanmış depodaki güncelleştirilmiş dosyaları düzenli aralıklarla Git sağlayıcınıza gönderin.

Önemli

dbx sync, dosya değişikliklerinin yerel geliştirme makinenizden uzak çalışma alanınıza yalnızca tek yönlü, gerçek zamanlı olarak eşitlenmesini gerçekleştirir. Bu nedenle Databricks, Azure Databricks çalışma alanınızda dbx synctarafından izlenen dosyalarda değişiklik başlatmanızı önermez. Çalışma alanı tarafından başlatılan bu tür dosya değişiklikleri yapmanız gerekiyorsa, aşağıdakileri de yapmanız gerekir:

• DBFS'deki dosya değişiklikleri için, yerel dosyalarda ilgili değişiklikleri el ile yapın.
• Databricks Git klasörlerindeki dosya değişiklikleri için, dosya değişikliklerini çalışma alanınızdan Git sağlayıcınıza gönderebilirsiniz. Ardından yerel geliştirme makinenizde bu dosya değişikliklerini Git sağlayıcınızdan çekin.

Gereksinimler

databricks Git klasörleriyle dbx sync kullanmak istiyorsanız Azure Databricks çalışma alanınızın aşağıdaki gereksinimi karşılaması gerekir:

• Git sağlayıcınızla deponuzun klonu, gerekli olmamakla birlikte önerilir.

Yerel geliştirme makinenizde aşağıdakilerin yüklü olması gerekir:

• Python 3.8 veya üzeri sürüm. Python'ın yüklü olup olmadığını denetlemek ve yüklü Python sürümünüzü denetlemek için terminalinizde veya PowerShell'de python --version çalıştırın.

  python --version
  

  Not

  bazı python yüklemeleri python3yerine python kullanmanızı gerektirebilir. Öyleyse, bu makalenin tamamında python yerine python3 yazın.

• pip. pip yüklü olup olmadığını denetlemek ve yüklü pip sürümünüzü denetlemek için pip --version veya python -m pip --versionçalıştırın.

  pip --version
  
  # Or...
  
  python -m pip --version
  

  Not

  bazı pip yüklemeleri pip3yerine pip kullanmanızı gerektirebilir. Öyleyse, bu makalenin tamamında pip yerine pip3 yazın.

• dbx sürüm 0.8.0 veya üzeri. dbx yüklenip yüklenmediğini denetlemek ve yüklü dbx sürümünüzü denetlemek için dbx --versionçalıştırın. Python Paket Dizini'nden (PyPI) dbx yüklemek için pip install dbx veya python -m pip install dbxçalıştırın. (dbxdbx eşitlemeiçerir.)

  # Check whether dbx is installed, and check its version.
  dbx --version
  
  # Install dbx.
  pip install dbx
  
  # Or...
  python -m pip install dbx
  

  Not

  hakkında daha fazla bilgi için Databricks Labs tarafından hazırlanan dbx veüzerindeki dbx belgelerine bakın.

• Databricks CLI sürüm 0.18 veya altı, kimlik doğrulamasıile ayarlanır. eski Databricks CLI (Databricks CLI sürüm 0.17) dbxyüklediğinizde otomatik olarak yüklenir. Bu kimlik doğrulaması, yerel geliştirme makinenizde aşağıdaki konumlardan birinde veya her ikisinde ayarlanabilir:

  • DATABRICKS_HOST ve DATABRICKS_TOKEN ortam değişkenleri içinde (eski Databricks CLI sürüm 0.8.0 ile başlayarak).
  • Azure Databricks yapılandırma profili içindeki .databrickscfg dosyanızda.

  dbx kimlik doğrulama bilgilerini sırasıyla bu iki konumda arar. dbx yalnızca bulduğu ilk eşleşen kimlik bilgileri kümesini kullanır.

  Not

  .databrickscfg dosyası kullanıyorsanız dbx sync varsayılan olarak DEFAULT adlı bir yapılandırma profili için bu dosyaya bakar. Farklı bir profil belirtmek için, bu makalenin devamında --profile komutunu çalıştırırken dbx sync seçeneğini kullanın.

  dbx, kimlik doğrulama için bir .netrc dosyasının kullanımını desteklemez.

• dbx sync Databricks Git klasörleriyle kullanmak istiyorsanız, Git sağlayıcınızla deponuzun yerel bir kopyasını almanız önerilir, ancak bu zorunlu değildir. Yerel bir kopya gerçekleştirmek için Git sağlayıcınızın belgelerine bakın.

DBFS'i dbx sync ile kullanma

1. Yerel geliştirme makinenizdeki terminalden veya PowerShell'den, Azure Databricks çalışma alanınızdaki DBFS ile eşitlemek istediğiniz dosyaları içeren dizine geçin.

2. Yerel dizininizi çalışma alanınızdaki DBFS ile eşitlemek için dbx sync komutunu aşağıdaki gibi çalıştırın. (Geçerli dizininizi temsil eden sonundaki noktayı (.) unutmayın.)

   dbx sync dbfs --source .
   

   Bahşiş

   Farklı bir kaynak dizin belirtmek için nokta (.) yerine farklı bir yol yazın.

   Not

   Hata Error: No such command 'sync' görüntülenirse, dbx yüklemeniz büyük olasılıkla güncel değildir. Bunu düzeltmek için pip install --upgrade dbx==<version> veya python -m pip install --upgrade dbx==versionçalıştırın; burada <version> en son dbxsürümüdür. Bu sürüm numarası dbxiçin PyPI web sayfasında bulunabilir.

   pip install --upgrade dbx==<version>
   
   # Or...
   python -m pip install --upgrade dbx==version
   

3. dbx sync, geçerli yerel dizininizdeki dosyaları çalışma alanınızdaki aşağıdaki DBFS yolundaki dosyalarla eşitlemeye başlar. dbx sync, Target base path ve ardından DBFS yolunu yazdırarak bunu onaylar, örneğin:

   /tmp/users/<your-Databricks-username>/<local-directory-name>
   

   Bahşiş

   Farklı bir kullanıcı adı veya DBFS yolu belirtmek için, --userçalıştırdığınızda sırasıyla --dest ve dbx sync seçeneklerini belirtin.

4. Gerektiğinde yerel dosyalarınızda değişiklik yapın.

   Önemli

   dbx sync'ın senkronize olmaya devam etmesi için terminalinizi veya PowerShell'inizi açık tutmanız gerekir. Terminalinizi veya PowerShell'inizi kapatırsanız, dbx sync dosya değişikliklerini izlemeyi durdurur ve eşitlemeyi durdurur. Dosya değişikliği eşitlemesini sürdürmek için bu yordamı baştan tekrarlayın.

5. Gerektiğinde, çalışma alanınızdaki DBFS'de önceki yolda dosya değişikliklerinizi doğrulayın.

Databricks Git klasörlerini dbx sync ile kullanma

1. Yerel geliştirme makinenizdeki terminalden veya PowerShell'den Git sağlayıcınızla deponun kopyasını içeren kök dizine geçin.

2. Azure Databricks çalışma alanınızda, yerel kopyalanmış deponuzu eşitlemek istediğiniz Databricks Git klasörünün adını belirleyin. Çalışma alanınızın kenar çubuğunda Git klasörleri'ne tıklayarak bu depo adını bulabilirsiniz.

3. Yerel geliştirme makinenizde dbx sync komutunu çalıştırarak yerel kopyalanmış deponuzu çalışma alanınızdaki Databricks Git klasörleriyle aşağıdaki gibi eşitleyin ve <your-repo-name> yerine Databricks Git klasörlerindeki deponuzun adını yazın. (Geçerli dizininizi temsil eden sonundaki noktayı (.) unutmayın.)

   dbx sync repo -d <your-repo-name> --source .
   

   Bahşiş

   Farklı bir kaynak dizin belirtmek için nokta (.) yerine farklı bir yol yazın.

   Not

   Hata Error: No such command 'sync' görüntülenirse, dbx yüklemeniz büyük olasılıkla güncel değildir. Bunu düzeltmek için pip install --upgrade dbx==<version> veya python -m pip install --upgrade dbx==versionçalıştırın; burada <version> en son dbxsürümüdür. Bu sürüm numarası dbxiçin PyPI web sayfasında bulunabilir.

   pip install --upgrade dbx==<version>
   
   # Or...
   python -m pip install --upgrade dbx==version
   

4. dbx sync, yerel kopyalanmış deponuzdaki dosyaları çalışma alanınızdaki Databricks Git klasörlerindeki dosyalarla eşitlemeye başlar. dbx sync, Target base path yazdırarak ve ardından Databricks Git klasörleri yolunu izleyerek bunu onaylar, örneğin:

   /Repos/<your-Databricks-username>/<your-repo-name>
   

   Bahşiş

   Farklı bir kullanıcı adı veya depo adı belirtmek için, --userçalıştırdığınızda sırasıyla --dest-repo ve dbx sync seçeneklerini belirtin.

5. Gerektiğinde yerel dosyalarınızda değişiklik yapın.

   Önemli

   dbx sync'ın senkronize olmaya devam etmesi için terminalinizi veya PowerShell'inizi açık tutmanız gerekir. Terminalinizi veya PowerShell'inizi kapatırsanız, dbx sync dosya değişikliklerini izlemeyi durdurur ve eşitlemeyi durdurur. Dosya değişikliği eşitlemesini sürdürmek için bu yordamı baştan tekrarlayın.

6. Gerektiğinde, çalışma alanınızdaki Databricks Git klasörlerindeki dosya değişikliklerinizi doğrulayın.

Ek kaynaklar

• dbx dokümantasyonu
• dbx eşitleme belgeleri
• GitHub'da databrickslabs/dbx deposu
• dbx sınırlamaları