Aracılığıyla paylaş

Eski Databricks CLI

Önemli

Bu belge kullanımdan kaldırılmıştır ve güncelleştirilmeyebilir.

Databricks, eski Databricks CLI sürüm 0.18 veya üzeri yerine Databricks CLI sürüm 0.205 veya üzerini kullanmanızı önerir. Databricks CLI sürüm 0.18 veya üzeri Databricks tarafından desteklenmez. Databricks CLI 0.205 ve üzeri sürümleri hakkında bilgi için bkz. Databricks CLI nedir?.

Databricks CLI 0.18 veya daha eski bir sürümden 0.205 veya daha yeni bir sürüme geçiş yapmak için, Databricks CLI geçişi bölümüne bakın.

Eski Databricks CLI deneysel bir durumdadır. Databricks, şu anda eski Databricks CLI için yeni özellik çalışması yapmayı planlamıyor.

Eski Databricks CLI, Databricks Destek kanalları aracılığıyla desteklenmez. Geri bildirim sağlamak, soru sormak ve sorunları bildirmek için GitHub'daki Databricks deposu için Komut Satırı Arabirimi'ndeki Sorunlar sekmesini kullanın.

Eski Databricks komut satırı arabirimi (eski Databricks CLI olarak da bilinir), terminal, komut istemi veya otomasyon betiklerinizden Azure Databricks platformunu otomatikleştirmek için kullanımı kolay bir arabirim sağlayan bir yardımcı programdır.

Gereksinimler

  • Python 3 - 3.6 ve üzeri
  • Python 2 - 2.7.9 ve üzeri

Önemli

macOS'ta, varsayılan Python 2 yüklemesi TLSv1_2 protokolunu uygulamaz ve eski Databricks CLI'yi bu Python yüklemesi ile çalıştırmak şu hataya neden olur: AttributeError: 'module' object has no attribute 'PROTOCOL_TLSv1_2'. Homebrew kullanarak Python'ın sahip ssl.PROTOCOL_TLSv1_2olduğu bir sürümünü yükleyin.

Sınırlamalar

Eski Databricks CLI'nin güvenlik duvarı etkin depolama kapsayıcılarıyla kullanılması desteklenmez. Databricks, Databricks Connect veya az storage kullanmanızı önerir.

CLI'yı ayarlama

Bu bölümde, eski Databricks CLI'nin nasıl ayarlanacağı açıklanmaktadır.

CLI'yi yükleme veya güncelleştirme

Bu bölümde, eski Databricks CLI'yi çalıştırmak için geliştirme makinenizin nasıl yükleneceği veya güncelleştirildiği açıklanır.

CLI'yi yükleme

Python yüklemeniz için uygun pip install databricks-cli sürümünü kullanarak pip çalıştırın:

pip install databricks-cli

CLI’yı güncelleştirme

Python yüklemeniz için uygun pip install databricks-cli --upgrade sürümünü kullanarak pip çalıştırın:

pip install databricks-cli --upgrade

Şu anda yüklü olan eski Databricks CLI sürümünü listelemek için komutunu çalıştırın databricks --version:

databricks --version

Kimlik doğrulamayı ayarlama

Eski Databricks CLI komutlarını çalıştırabilmeniz için önce eski Databricks CLI ile Azure Databricks arasında kimlik doğrulamasını ayarlamanız gerekir. Bu bölümde, eski Databricks CLI için kimlik doğrulamasının nasıl ayarlanacağı açıklanmaktadır.

Eski Databricks CLI ile kimlik doğrulaması yapmak için Databricks kişisel erişim jetonu veya Microsoft Entra Kimliği (eski adıyla Azure Active Directory) jetonu kullanabilirsiniz.

Not

En iyi güvenlik uygulaması olarak otomatik araçlar, sistemler, betikler ve uygulamalarla kimlik doğrulaması yaptığınızda Databricks, çalışma alanı kullanıcıları yerine hizmet sorumlularına ait kişisel erişim belirteçlerini kullanmanızı önerir. Hizmet sorumlularına yönelik belirteçler oluşturmak için bkz. Hizmet sorumlusu için belirteçleri yönetme.

Microsoft Entra ID belirtecini kullanarak kimlik doğrulamayı ayarlama

Microsoft Entra Id belirtecini kullanarak eski Databricks CLI'yi yapılandırmak için Microsoft Entra Id (eski adıyla Azure Active Directory) belirtecini oluşturun ve ortam değişkeninde DATABRICKS_AAD_TOKENdepolayın.

Şu komutu çalıştırın:

databricks configure --aad-token

Bu komut şu istemi verir:

Databricks Host (should begin with https://):

Çalışma alanı için URL'nizi, https://adb-<workspace-id>.<random-number>.azuredatabricks.net biçiminde girin. Çalışma alanı başına URL'yi almak için bkz. Çalışma alanı başına URL.

İstemi tamamladıktan sonra, erişim kimlik bilgileriniz Linux veya macOS veya ~/.databrickscfg Windows'daki dosyada %USERPROFILE%\.databrickscfg depolanır. Dosya varsayılan bir profil girdisi içerir:

[DEFAULT]
host = <workspace-URL>
token = <Azure-AD-token>

.databrickscfg dosyası zaten mevcutsa, yeni verilerle bu dosyanın DEFAULT yapılandırma profili üzerine yazılır. Farklı bir ada sahip bir yapılandırma profili oluşturmak istiyorsanız, "Bağlantı profilleri" bölümüne bakın.

Databricks kişisel erişim belirteci kullanarak kimlik doğrulamasını ayarlama

Eski Databricks CLI'yi kişisel erişim belirteci kullanacak şekilde yapılandırmak için aşağıdaki komutu çalıştırın:

databricks configure --token

Komut, istemini vererek başlar:

Databricks Host (should begin with https://):

Çalışma alanı için URL'nizi, https://adb-<workspace-id>.<random-number>.azuredatabricks.net biçiminde girin. Çalışma alanı başına URL'yi almak için bkz. Çalışma alanı başına URL.

Komut, kişisel erişim belirtecinizi girme istemini vererek devam eder:

Token:

İstemleri tamamladıktan sonra, erişim kimlik bilgileriniz Linux veya macOS ~/.databrickscfg ya da Windows'daki dosyada %USERPROFILE%\.databrickscfg depolanır. Dosya varsayılan bir profil girdisi içerir:

[DEFAULT]
host = <workspace-URL>
token = <personal-access-token>

.databrickscfg dosyası zaten mevcutsa, yeni verilerle bu dosyanın DEFAULT yapılandırma profili üzerine yazılır. Farklı bir ada sahip bir yapılandırma profili oluşturmak istiyorsanız, "Bağlantı profilleri" bölümüne bakın.

CLI 0.8.1 ve üzeri için DATABRICKS_CONFIG_FILE ortam değişkenini ayarlayarak bu dosyanın yolunu değiştirebilirsiniz.

Linux veya macOS
export DATABRICKS_CONFIG_FILE=<path-to-file>
Windows
setx DATABRICKS_CONFIG_FILE "<path-to-file>" /M

Önemli

CLI 0.17.2 sürümünden başlayarak, CLI bir .netrc dosyasıyla çalışmaz. Ortamınızda başka amaçlarla bir .netrc dosyanız olabilir, ancak CLI bu .netrc dosyayı kullanmaz.

CLI 0.8.0 ve üzeri aşağıdaki Azure Databricks ortam değişkenlerini destekler:

  • DATABRICKS_HOST
  • DATABRICKS_TOKEN

Bir ortam değişkeni ayarı, yapılandırma dosyasındaki ayardan daha yüksek önceliğe sahip olur.

Kimlik doğrulama kurulumunuzu test edin

Kimlik doğrulamasını doğru ayarlayıp ayarlamadığınızdan denetlemek için aşağıdaki gibi bir komut çalıştırabilirsiniz:

databricks fs ls dbfs:/

Başarılı olursa, bu komut profilinizle DEFAULT ilişkili çalışma alanının DBFS kökündeki dosyaları ve dizinleri listeler.

Bağlantı profilleri

Eski Databricks CLI yapılandırması birden çok bağlantı profilini destekler. Aynı eski Databricks CLI yüklemesi, birden çok Azure Databricks çalışma alanında API çağrıları yapmak için kullanılabilir.

Bağlantı profili eklemek için profil için benzersiz bir ad belirtin:

databricks configure [--token | --aad-token] --profile <profile-name>

Dosya, .databrickscfg ile ilgili bir profil girdisi içerir.

[<profile-name>]
host = <workspace-URL>
token = <token>

Bağlantı profilini kullanmak için:

databricks <group> <command> --profile <profile-name>

Belirtilmezse --profile <profile-name> , varsayılan profil kullanılır. Varsayılan profil bulunmazsa, CLI'yi varsayılan profille yapılandırmanız istenir.

Bağlantı profillerinizi test edin

Bağlantı profillerini doğru ayarlayıp ayarlamadığınızdan denetlemek için, bağlantı profili adlarınızdan biriyle aşağıdaki gibi bir komut çalıştırabilirsiniz:

databricks fs ls dbfs:/ --profile <profile-name>

Başarılı olursa, bu komut belirtilen bağlantı profili için çalışma alanının DBFS kökündeki dosyaları ve dizinleri listeler. Test etmek istediğiniz her bağlantı profili için bu komutu çalıştırın.

Kullanılabilir profillerinizi görüntülemek için dosyanıza .databrickscfg bakın.

CLI'yi kullan

Bu bölümde, her komut grubunda eski Databricks CLI yardımını alma, eski Databricks CLI çıkışını ayrıştırma ve komutları çağırma işlemleri gösterilmektedir.

CLI komut grubu yardımını görüntüleme

veya --help seçeneğini kullanarak -h herhangi bir komut grubunun alt komutlarını listelersiniz. Örneğin, DBFS CLI alt komutlarını listelemek için:

databricks fs -h

CLI alt komut yardımını görüntüle

--help veya -h seçeneğini kullanarak bir alt komutun yardımını listelersiniz. Örneğin, DBFS kopyalama dosyaları alt komutunun yardımını listelemek için:

databricks fs cp -h

Diğer ad komut grupları

Bazen her eski Databricks CLI çağrısına, örneğin databricks workspace ls eski Databricks CLI'sinde bir komut grubunun adını önek eklemek uygunsuz olabilir. Eski Databricks CLI'sinin kullanımını kolaylaştırmak için komut gruplarını daha kısa komutlara diğer ad olarak kullanabilirsiniz. Örneğin, Bourne again kabuğunda databricks workspace ls'ı dw ls'e kısaltmak için uygun bash profiline alias dw="databricks workspace" ekleyebilirsiniz. Genelde, bu dosya ~/.bash_profile konumunda bulunur.

İpucu

Eski Databricks CLI zaten databricks fs için dbfs'i diğer ad olarak kullanır; databricks fs ls ve dbfs ls eşdeğerdir.

CLI çıkışını ayrıştırmak için kullanın jq

Bazı eski Databricks CLI komutları, API uç noktasından JSON yanıtı çıkışı oluşturur. Bazı durumlarda, diğer komutlara yönelik kanallar oluşturmak için JSON öğesinin parçalarını ayrıştırma faydalı olabilir. Örneğin, bir iş tanımını kopyalamak için bir get job komutunun settings alanını almanız ve bunu create job komutu için bağımsız değişken olarak kullanmanız gerekir. Bu durumlarda, jq yardımcı programının kullanmanızı öneririz.

Örneğin, aşağıdaki komut, 233 kimliğine sahip işin ayarlarını gösterir.

databricks jobs list --output JSON | jq '.jobs[] | select(.job_id == 233) | .settings'

Çıktı:

{
  "name": "Quickstart",
  "new_cluster": {
    "spark_version": "7.5.x-scala2.12",
    "spark_env_vars": {
      "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
    },
    "num_workers": 8,
    ...
  },
  "email_notifications": {},
  "timeout_seconds": 0,
  "notebook_task": {
    "notebook_path": "/Quickstart"
  },
  "max_concurrent_runs": 1
}

Başka bir örnek olarak, aşağıdaki komut yalnızca çalışma alanındaki kullanılabilir tüm kümelerin adlarını ve kimliklerini yazdırır:

databricks clusters list --output JSON | jq '[ .clusters[] | { name: .cluster_name, id: .cluster_id } ]'

Çıktı:

[
  {
    "name": "My Cluster 1",
    "id": "1234-567890-grip123"
  },
  {
    "name": "My Cluster 2",
    "id": "2345-678901-patch234"
  }
]

Örneğin, macOS'a Homebrew ile jq kullanarak veya Windows'a Chocolatey ile brew install jq kullanarak choco install jq yükleyebilirsiniz. jq hakkında daha fazla bilgi için jq Kılavuzu'na bakın.

JSON dizesi parametreleri

Dize parametreleri işletim sisteminize bağlı olarak farklı şekilde işlenir:

Linux veya macOS

JSON dizesi parametrelerini tek tırnak içine almanız gerekir. Örneğin:

'["20180505", "alantest"]'

Windows

JSON dizesi parametrelerini çift tırnak içine almanız ve dizenin içindeki tırnak işaretlerinden önce \ kullanmanız gerekir. Örneğin:

"[\"20180505\", \"alantest\"]"

Sorun giderme

Aşağıdaki bölümlerde, eski Databricks CLI ile ilgili yaygın sorunları gidermeye yönelik ipuçları sağlanır.

EOF'u databricks configure ile kullanmak çalışmıyor

Databricks CLI 0.12.0 ve üzeri sürümler için, bir komut dosyasında parametreleri EOF komutuna geçirmek için dosya sonu (databricks configure) dizisini kullanmak çalışmaz. Örneğin, aşağıdaki betik Databricks CLI'nın parametreleri yoksaymasına neden olur ve hiçbir hata iletisi oluşmaz:

# Do not do this.
databricksUrl=<per-workspace-url>
databricksToken=<personal-access-token-or-Azure-AD-token>

databricks configure --token << EOF
$databricksUrl
$databricksToken
EOF

Bu sorunu düzeltmek için aşağıdakilerden birini yapın:

  • Kimlik doğrulamasını ayarlama bölümünde açıklandığı gibi diğer programlı yapılandırma seçeneklerinden birini kullanın.
  • El ile ve değerlerini dosyasına, Kimlik doğrulamayı ayarlama bölümünde açıklandığı gibi ekleyin.
  • Databricks CLI yüklemenizi 0.11.0 veya altına düşürerek betiğinizi yeniden çalıştırın.

CLI komutları

  • Last updated on