Megosztás a következőn keresztül:

Databricks CLI (örökölt)

  • Cikk

Fontos

Ez a dokumentáció ki lett állítva, és lehet, hogy nem frissül.

A Databricks azt javasolja, hogy a Databricks CLI 0.205-ös vagy újabb verzióját használja az örökölt Databricks CLI 0.18-os vagy újabb verziója helyett. A Databricks cli 0.18-es vagy újabb verzióját a Databricks nem támogatja. A Databricks CLI 0.205-ös és újabb verzióival kapcsolatos információkért lásd: Mi a Databricks parancssori felület?

Ha a Databricks CLI 0.18-os vagy újabb verziójáról a Databricks CLI 0.205-ös vagy újabb verziójára szeretne migrálni, tekintse meg a Databricks parancssori felület migrálását.

Az örökölt Databricks parancssori felület kísérleti állapotban van. A Databricks jelenleg nem tervez új funkciót az örökölt Databricks parancssori felülethez.

Az örökölt Databricks parancssori felület nem támogatott a Databricks támogatási csatornáiban. Ha visszajelzést szeretne küldeni, kérdéseket tehet fel és jelentheti a problémákat, használja a Problémák lapot a Databricks parancssori felületén a GitHubon.

Az örökölt Databricks parancssori felület (más néven az örökölt Databricks CLI) egy olyan segédprogram, amely könnyen használható felületet biztosít az Azure Databricks platform automatizálásához a terminálról, parancssorból vagy automatizálási szkriptekből.

Követelmények

  • Python 3 – 3.6 vagy újabb verzió
  • Python 2 – 2.7.9 vagy újabb verzió

Fontos

MacOS rendszeren az alapértelmezett Python 2-telepítés nem implementálja a TLSv1_2 protokollt, és az örökölt Databricks PARANCSSOR ezzel a Python-telepítéssel való futtatása a következő hibát eredményezi: AttributeError: 'module' object has no attribute 'PROTOCOL_TLSv1_2'. A Homebrew használatával telepítheti a Python azon verzióját, amely rendelkezik ssl.PROTOCOL_TLSv1_2 protokollal.

Korlátozások

Az örökölt Databricks parancssori felület tűzfalbarát tárolókkal való használata nem támogatott. A Databricks a Databricks Connect vagy az az storage használatát javasolja.

A parancssori felület beállítása

Ez a szakasz az örökölt Databricks parancssori felület beállítását ismerteti.

A parancssori felület telepítése vagy frissítése

Ez a szakasz azt ismerteti, hogyan telepítheti vagy frissítheti a fejlesztőgépet az örökölt Databricks parancssori felület futtatásához.

A CLI telepítése

Futtassa pip install databricks-cli a Python-telepítés megfelelő verziójával pip :

pip install databricks-cli

A parancssori felület frissítése

Futtassa pip install databricks-cli --upgrade a Python-telepítés megfelelő verziójával pip :

pip install databricks-cli --upgrade

Az örökölt Databricks parancssori felület jelenleg telepített verziójának listázásához futtassa a következőt databricks --version:

databricks --version

Hitelesítés beállítása

Az örökölt Databricks CLI-parancsok futtatása előtt be kell állítania a hitelesítést az örökölt Databricks CLI és az Azure Databricks között. Ez a szakasz bemutatja, hogyan állíthatja be a hitelesítést az örökölt Databricks parancssori felülethez.

Az örökölt Databricks parancssori felülettel való hitelesítéshez használhat egy Databricks személyes hozzáférési jogkivonatot vagy egy Microsoft Entra-azonosítót (korábbi nevén Azure Active Directory-jogkivonatot).

Feljegyzés

Ajánlott biztonsági eljárásként, ha automatizált eszközökkel, rendszerekkel, szkriptekkel és alkalmazásokkal hitelesít, a Databricks azt javasolja, hogy munkaterület-felhasználók helyett a szolgáltatásnevekhez tartozó személyes hozzáférési jogkivonatokat használja. A szolgáltatásnevek jogkivonatainak létrehozásáról a szolgáltatásnév jogkivonatainak kezelése című témakörben olvashat.

Hitelesítés beállítása Microsoft Entra-azonosító jogkivonat használatával

Az örökölt Databricks CLI Microsoft Entra ID-jogkivonat használatával történő konfigurálásához hozza létre a Microsoft Entra ID (korábbi nevén Azure Active Directory) jogkivonatot, és tárolja a környezeti változóbanDATABRICKS_AAD_TOKEN.

Futtassa az alábbi parancsot:

databricks configure --aad-token

A parancs a következőket jeleníti meg:

Databricks Host (should begin with https://):

Adja meg a munkaterületenkénti URL-címet a formátummal https://adb-<workspace-id>.<random-number>.azuredatabricks.net. A munkaterületenkénti URL-cím lekéréséhez tekintse meg a munkaterületenkénti URL-címet.

A kérés befejezése után a hozzáférési hitelesítő adatok a fájlban ~/.databrickscfg lesznek tárolva Linuxon, macOS-en vagy %USERPROFILE%\.databrickscfg Windowson. A fájl egy alapértelmezett profilbejegyzést tartalmaz:

[DEFAULT]
host = <workspace-URL>
token = <Azure-AD-token>

Ha a .databrickscfg fájl már létezik, a rendszer felülírja DEFAULT a fájl konfigurációs profilját az új adatokkal. Ha ehelyett más néven szeretne konfigurációs profilt létrehozni, olvassa el a Kapcsolatprofilok című témakört.

Hitelesítés beállítása személyes Databricks hozzáférési jogkivonattal

Ha az örökölt Databricks PARANCSSOR-t személyes hozzáférési jogkivonat használatára szeretné konfigurálni, futtassa a következő parancsot:

databricks configure --token

A parancs a következő üzenet kiadásával kezdődik:

Databricks Host (should begin with https://):

Adja meg a munkaterületenkénti URL-címet a formátummal https://adb-<workspace-id>.<random-number>.azuredatabricks.net. A munkaterületenkénti URL-cím lekéréséhez tekintse meg a munkaterületenkénti URL-címet.

A parancs a személyes hozzáférési jogkivonat megadására vonatkozó kérés kiadásával folytatódik:

Token:

A kérések elvégzése után a hozzáférési hitelesítő adatok a fájlban ~/.databrickscfg lesznek tárolva Linux vagy macOS rendszeren, illetve %USERPROFILE%\.databrickscfg Windows rendszeren. A fájl egy alapértelmezett profilbejegyzést tartalmaz:

[DEFAULT]
host = <workspace-URL>
token = <personal-access-token>

Ha a .databrickscfg fájl már létezik, a rendszer felülírja DEFAULT a fájl konfigurációs profilját az új adatokkal. Ha ehelyett más néven szeretne konfigurációs profilt létrehozni, olvassa el a Kapcsolatprofilok című témakört.

A 0.8.1-es vagy újabb verziójú parancssori felületek esetében a fájl útvonala módosítható a DATABRICKS_CONFIG_FILE környezeti változó beállításával.

Linux vagy macOS
export DATABRICKS_CONFIG_FILE=<path-to-file>
Windows
setx DATABRICKS_CONFIG_FILE "<path-to-file>" /M

Fontos

A CLI 0.17.2-től kezdve a parancssori felület nem működik .netrc fájllal. Más célokra is használhat fájlokat .netrc a környezetben, de a parancssori felület nem fogja használni ezt a .netrc fájlt.

A CLI 0.8.0-s és újabb verziója a következő Azure Databricks környezeti változókat támogatja:

  • DATABRICKS_HOST
  • DATABRICKS_TOKEN

A környezeti változó beállítása elsőbbséget élvez a konfigurációs fájlban szereplő beállítással szemben.

A hitelesítés beállításának tesztelése

Annak ellenőrzéséhez, hogy helyesen állította-e be a hitelesítést, futtathat-e egy parancsot, például a következőket:

databricks fs ls dbfs:/

Ha sikeres, ez a parancs felsorolja a profilhoz társított munkaterület DBFS-gyökerében található fájlokat és könyvtárakat DEFAULT .

Kapcsolatprofilok

Az örökölt Databricks CLI-konfiguráció több kapcsolatprofilt is támogat. Az örökölt Databricks CLI ugyanazon telepítése használható API-hívások indítására több Azure Databricks-munkaterületen.

Kapcsolatprofil hozzáadásához adja meg a profil egyedi nevét:

databricks configure [--token | --aad-token] --profile <profile-name>

A .databrickscfg fájl egy megfelelő profilbejegyzést tartalmaz:

[<profile-name>]
host = <workspace-URL>
token = <token>

Kapcsolati profil használata:

databricks <group> <command> --profile <profile-name>

Ha --profile <profile-name> nincs megadva, a rendszer az alapértelmezett profilt használja. Ha nem található alapértelmezett profil, a rendszer kérni fogja a parancssori felület alapértelmezett profillal való konfigurálását.

Kapcsolatprofilok tesztelése

Annak ellenőrzéséhez, hogy helyesen állított-e be kapcsolatprofilokat, futtathat-e egy parancsot, például az alábbiakat az egyik kapcsolatprofil-névvel:

databricks fs ls dbfs:/ --profile <profile-name>

Ha sikeres, ez a parancs felsorolja a megadott kapcsolatprofilhoz tartozó munkaterület DBFS-gyökerében található fájlokat és könyvtárakat. Futtassa ezt a parancsot minden tesztelni kívánt kapcsolatprofilhoz.

Az elérhető profilok megtekintéséhez tekintse meg a .databrickscfg fájlt.

A parancssori felület (CLI) használata

Ez a szakasz bemutatja, hogyan kérhet le régi Databricks CLI-súgót, elemezheti az örökölt Databricks CLI-kimenetet, és hogyan hívhat meg parancsokat az egyes parancscsoportokban.

A parancssori felület parancscsoportjaival kapcsolatos segítség megjelenítése

A parancscsoport alparancsait az vagy -h a --help lehetőség használatával listázhatja. Például a DBFS CLI alparancsainak listázásához:

databricks fs -h

Parancssori felület alparancsának súgójának megjelenítése

Az alparancs súgóját a vagy -h a --help lehetőséggel listázhatja. Például a DBFS másolási fájlok alparancsának súgójának listázásához:

databricks fs cp -h

Alias parancscsoportok

Néha kényelmetlen lehet előtagot adni minden örökölt Databricks CLI-hívásnak egy parancscsoport nevével, például databricks workspace ls az örökölt Databricks PARANCSSOR-ban. Az örökölt Databricks parancssori felület használatának megkönnyítése érdekében a parancscsoportokat rövidebb parancsokhoz aliasolhatja. Ha például rövidíteni databricks workspace ls dw ls szeretne a Bourne rendszerhéjban, hozzáadhatja alias dw="databricks workspace" a megfelelő bash-profilt. Ez a fájl általában a következő helyen található: ~/.bash_profile.

Tipp.

Az örökölt Databricks parancssori felület már aliasokat használ databricks fs az dbfs; databricks fs ls és dbfs ls ezzel egyenértékűek.

A jq parancssori felület kimenetének elemzése

Néhány örökölt Databricks CLI-parancs a JSON-választ adja ki az API-végpontról. Esetenként hasznos lehet a JSON egyes részeinek elemzése a más parancsokhoz történő továbbításhoz. Feladatdefiníció másolásához például a settings feladat lekérése parancs mezőjét kell használnia, és ezt argumentumként kell használnia a feladat létrehozása parancshoz. Ezekben az esetekben a jq segédprogram alkalmazását javasoljuk.

Az alábbi parancs például a feladat beállításait nyomtatja ki a 233-at tartalmazó azonosítóval.

databricks jobs list --output JSON | jq '.jobs[] | select(.job_id == 233) | .settings'

Hozam:

{
  "name": "Quickstart",
  "new_cluster": {
    "spark_version": "7.5.x-scala2.12",
    "spark_env_vars": {
      "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
    },
    "num_workers": 8,
    ...
  },
  "email_notifications": {},
  "timeout_seconds": 0,
  "notebook_task": {
    "notebook_path": "/Quickstart"
  },
  "max_concurrent_runs": 1
}

Egy másik példaként az alábbi parancs csak a munkaterületen elérhető összes fürt nevét és azonosítóját nyomtatja ki:

databricks clusters list --output JSON | jq '[ .clusters[] | { name: .cluster_name, id: .cluster_id } ]'

Hozam:

[
  {
    "name": "My Cluster 1",
    "id": "1234-567890-grip123"
  },
  {
    "name": "My Cluster 2",
    "id": "2345-678901-patch234"
  }
]

Telepítheti jq például macOS-en a Homebrew és a brew install jq Windows használatával a Chocolatey with choco install jq. A jq segédprogrammal kapcsolatos további információkért tekintse meg a jq-kézikönyvet.

JSON-sztringparaméterek

A sztringparaméterek kezelése az operációs rendszertől függően változó:

Linux vagy macOS

A JSON-sztringparamétereket szimpla idézőjelek közé kell tenni. Példa:

'["20180505", "alantest"]'

Windows

A JSON-sztringparamétereket dupla idézőjelek közé kell tenni, valamint a sztringben szereplő idézőjel-karakterek előtt \ karakternek kell szerepelnie. Példa:

"[\"20180505\", \"alantest\"]"

Hibaelhárítás

Az alábbi szakaszok tippeket nyújtanak az örökölt Databricks parancssori felülettel kapcsolatos gyakori problémák elhárításához.

Az EOF databricks configure használata nem működik

A Databricks CLI 0.12.0-s és újabb verziói esetében nem működik, ha a szkriptben a fájl (EOF) sorozat vége paramétert ad át a databricks configure parancsnak. A következő szkript például azt eredményezi, hogy a Databricks parancssori felülete figyelmen kívül hagyja a paramétereket, és nem jelenik meg hibaüzenet:

# Do not do this.
databricksUrl=<per-workspace-url>
databricksToken=<personal-access-token-or-Azure-AD-token>

databricks configure --token << EOF
$databricksUrl
$databricksToken
EOF

A probléma megoldásához tegye az alábbiak egyikét:

  • Használja a hitelesítés beállítása című cikkben ismertetett egyéb programozott konfigurációs beállítások egyikét.
  • Adja hozzá manuálisan az host és token az értékeket a fájlhoz a .databrickscfg Hitelesítés beállítása című cikkben leírtak szerint.
  • A Databricks parancssori felületének telepítését a 0.11.0-s vagy újabb verzióra, majd futtassa újra a szkriptet.

Parancssori felületi parancsok