Verouderde Databricks CLI

Belangrijk

Deze documentatie is buiten gebruik gesteld en wordt mogelijk niet bijgewerkt.

Databricks raadt u aan om Databricks CLI versie 0.205 of hoger te gebruiken in plaats van de verouderde Databricks CLI versie 0.18 of lager. Databricks CLI versie 0.18 of lager wordt niet ondersteund door Databricks. Zie Databricks CLI voor meer informatie over Databricks CLI-versies 0.205 en hoger.

Als u wilt migreren van Databricks CLI versie 0.18 of lager naar Databricks CLI versie 0.205 of hoger, raadpleegt u de Databricks CLI-migratie.

De verouderde Databricks CLI heeft een experimentele status. Databricks plant op dit moment geen nieuwe functie voor de verouderde Databricks CLI.

De verouderde Databricks CLI wordt niet ondersteund via databricks-ondersteuningskanalen. Als u feedback wilt geven, vragen wilt stellen en problemen wilt melden, gebruikt u het tabblad Issues in de opdrachtregelinterface voor databricks-opslagplaats in GitHub.

De verouderde Databricks-opdrachtregelinterface (ook wel de verouderde Databricks CLI genoemd) is een hulpprogramma dat een gebruiksvriendelijke interface biedt om het Azure Databricks platform te automatiseren vanuit uw terminal-, opdrachtprompt- of automatiseringsscripts.

Vereisten

  • Python 3 - 3,6 en hoger
  • Python 2 - 2.7.9 en hoger

Belangrijk

In macOS implementeert de standaardinstallatie Python 2 het TLSv1_2-protocol niet en wordt de verouderde Databricks CLI uitgevoerd met deze Python installatie, resulteert dit in de volgende fout: AttributeError: 'module' object has no attribute 'PROTOCOL_TLSv1_2'. Gebruik Homebrew om een versie van Python te installeren met ssl.PROTOCOL_TLSv1_2.

Beperkingen

Het gebruik van de verouderde Databricks CLI met opslagcontainers met firewalls wordt niet ondersteund. Databricks raadt u aan Databricks Connect of az storage te gebruiken.

CLI instellen

In deze sectie wordt beschreven hoe u de verouderde Databricks CLI instelt.

De CLI installeren of bijwerken

In deze sectie wordt beschreven hoe u uw ontwikkelcomputer installeert of bijwerkt om de verouderde Databricks CLI uit te voeren.

De CLI installeren

Voer pip install databricks-cli uit met behulp van de juiste versie van pip voor de installatie van uw Python:

pip install databricks-cli

De CLI bijwerken

Voer pip install databricks-cli --upgrade uit met behulp van de juiste versie van pip voor de installatie van uw Python:

pip install databricks-cli --upgrade

Voer databricks --versionuit om de versie van de verouderde Databricks CLI weer te geven die momenteel is geïnstalleerd:

databricks --version

authenticatie instellen

Voordat u verouderde Databricks CLI-opdrachten kunt uitvoeren, moet u verificatie instellen tussen de verouderde Databricks CLI en Azure Databricks. In deze sectie wordt beschreven hoe u verificatie instelt voor de verouderde Databricks CLI.

Als u wilt verifiëren met de verouderde Databricks CLI, kunt u een Persoonlijk toegangstoken vanDatabricks of een Microsoft Entra ID (voorheen Azure Active Directory) gebruiken.

Notitie

Als best practice voor beveiliging, wanneer u zich verifieert met geautomatiseerde hulpprogramma's, systemen, scripts en apps, raadt Databricks u aan om persoonlijke toegangstokens te gebruiken die behoren tot service-principals in plaats van werkruimtegebruikers. Zie Tokens voor een service-principal beheren om tokens voor service-principals aan te maken.

Verificatie instellen met behulp van een Microsoft Entra ID-token

Als u de verouderde Databricks CLI wilt configureren met behulp van een Microsoft Entra ID token, geneer het Microsoft Entra ID token (voorheen Azure Active Directory) en slaat u het op in de omgevingsvariabele DATABRICKS_AAD_TOKEN.

Voer de volgende opdracht uit:

databricks configure --aad-token

De opdracht geeft de volgende prompt:

Databricks Host (should begin with https://):

Voer uw URL per werkruimte in, met de indeling https://adb-<workspace-id>.<random-number>.azuredatabricks.net. Zie URL per werkruimteom de URL per werkruimte op te halen.

Nadat u de prompt hebt voltooid, worden uw toegangsreferenties opgeslagen in het bestand ~/.databrickscfg in Linux of macOS of %USERPROFILE%\.databrickscfg op Windows. Het bestand bevat een standaardprofielvermelding:

[DEFAULT]
host = <workspace-URL>
token = <Azure-AD-token>

Als het .databrickscfg bestand al bestaat, wordt het configuratieprofiel van DEFAULT dat bestand overschreven met de nieuwe gegevens. Als u in plaats daarvan een configuratieprofiel met een andere naam wilt maken, raadpleegt u Verbindingsprofielen.

Verificatie instellen met een persoonlijk Databricks-toegangstoken

Voer de volgende opdracht uit om de verouderde Databricks CLI te configureren voor het gebruik van een persoonlijk toegangstoken:

databricks configure --token

De opdracht begint met het uitgeven van de prompt:

Databricks Host (should begin with https://):

Voer uw URL per werkruimte in, met de indeling https://adb-<workspace-id>.<random-number>.azuredatabricks.net. Zie URL per werkruimteom de URL per werkruimte op te halen.

De opdracht wordt voortgezet door de prompt uit te geven om uw persoonlijke toegangstoken in te voeren:

Token:

Nadat u de aanwijzingen hebt voltooid, worden uw toegangsreferenties opgeslagen in het bestand ~/.databrickscfg in Linux of macOS of %USERPROFILE%\.databrickscfg op Windows. Het bestand bevat een standaardprofielvermelding:

[DEFAULT]
host = <workspace-URL>
token = <personal-access-token>

Als het .databrickscfg bestand al bestaat, wordt het configuratieprofiel van DEFAULT dat bestand overschreven met de nieuwe gegevens. Als u in plaats daarvan een configuratieprofiel met een andere naam wilt maken, raadpleegt u Verbindingsprofielen.

Voor CLI 0.8.1 en hoger kunt u het pad van dit bestand wijzigen door de omgevingsvariabele DATABRICKS_CONFIG_FILEin te stellen.

Linux of macOS
export DATABRICKS_CONFIG_FILE=<path-to-file>
Windows
setx DATABRICKS_CONFIG_FILE "<path-to-file>" /M

Belangrijk

Vanaf CLI 0.17.2 werkt de CLI niet met een .netrc-bestand. U kunt een .netrc bestand in uw omgeving hebben voor andere doeleinden, maar de CLI gebruikt dat .netrc bestand niet.

CLI 0.8.0 en hoger ondersteunt de volgende Azure Databricks omgevingsvariabelen:

  • DATABRICKS_HOST
  • DATABRICKS_TOKEN

een ingestelde omgevingsvariabele heeft voorrang op de instelling in het configuratiebestand.

Uw verificatie-instelling testen

Als u wilt controleren of de verificatie juist is ingesteld, kunt u een opdracht uitvoeren, zoals het volgende:

databricks fs ls dbfs:/

Als dit lukt, worden met deze opdracht de bestanden en mappen weergegeven in de DBFS-hoofdmap van de werkruimte die is gekoppeld aan uw DEFAULT profiel.

Verbindingsprofielen

De verouderde Databricks CLI-configuratie ondersteunt meerdere verbindingsprofielen. Dezelfde installatie van verouderde Databricks CLI kan worden gebruikt om API-aanroepen uit te voeren op meerdere Azure Databricks werkruimten.

Als u een verbindingsprofiel wilt toevoegen, geeft u een unieke naam op voor het profiel:

databricks configure [--token | --aad-token] --profile <profile-name>

Het .databrickscfg bestand bevat een bijbehorende profielvermelding:

[<profile-name>]
host = <workspace-URL>
token = <token>

Het verbindingsprofiel gebruiken:

databricks <group> <command> --profile <profile-name>

Als --profile <profile-name> niet is opgegeven, wordt het standaardprofiel gebruikt. Als er geen standaardprofiel wordt gevonden, wordt u gevraagd om de CLI te configureren met een standaardprofiel.

Uw verbindingsprofielen testen

Als u wilt controleren of u verbindingsprofielen correct instelt, kunt u een opdracht uitvoeren, zoals het volgende met een van uw verbindingsprofielnamen:

databricks fs ls dbfs:/ --profile <profile-name>

Als dit lukt, worden met deze opdracht de bestanden en mappen weergegeven in de DBFS-hoofdmap van de werkruimte voor het opgegeven verbindingsprofiel. Voer deze opdracht uit voor elk verbindingsprofiel dat u wilt testen.

Als u uw beschikbare profielen wilt bekijken, raadpleegt u het .databrickscfg bestand.

De CLI gebruiken

In deze sectie wordt beschreven hoe u verouderde Databricks CLI-hulp kunt krijgen, verouderde Databricks CLI-uitvoer kunt parseren en opdrachten kunt aanroepen in elke opdrachtgroep.

Help voor CLI-opdrachtgroep weergeven

U vermeldt de subopdrachten voor een opdrachtgroep met behulp van de optie --help of -h. Als u bijvoorbeeld de DBFS CLI-subopdrachten wilt weergeven:

databricks fs -h

Help voor CLI-subcommando's weergeven

U geeft de help voor een subopdracht weer met behulp van de optie --help of -h. Als u bijvoorbeeld de help voor de DBFS-subopdracht voor het kopiëren van bestanden wilt weergeven:

databricks fs cp -h

Alias-opdrachtgroepen

Soms kan het lastig zijn om elke verouderde Databricks CLI-aanroep vooraf te laten gaan met de naam van een opdrachtgroep, bijvoorbeeld databricks workspace ls in de verouderde Databricks CLI. Als u de verouderde Databricks CLI gemakkelijker wilt gebruiken, kunt u opdrachtgroepen aliasen tot kortere opdrachten. Als u bijvoorbeeld databricks workspace ls wilt verkorten naar dw ls in de Bourne again shell, kunt u alias dw="databricks workspace" toevoegen aan het juiste bash-profiel. Dit bestand bevindt zich meestal in ~/.bash_profile.

Aanbeveling

De verouderde Databricks CLI aliasen databricks fs al naar dbfs; databricks fs ls en dbfs ls zijn gelijk aan elkaar.

Gebruiken jq om CLI-uitvoer te parseren

Sommige verouderde Databricks CLI-opdrachten voeren het JSON-antwoord uit van het API-eindpunt. Soms kan het handig zijn om delen van de JSON te parseren om deze naar andere opdrachten door te sturen. Als u bijvoorbeeld een taakdefinitie wilt kopiëren, moet u het veld settings van een 'get job'-opdracht ophalen en dat als argument gebruiken in de 'create job'-opdracht. In deze gevallen raden we u aan het hulpprogramma jq te gebruiken.

Met de volgende opdracht worden bijvoorbeeld de instellingen van de taak met de ID van 233 getoond.

databricks jobs list --output JSON | jq '.jobs[] | select(.job_id == 233) | .settings'

Uitvoer:

{
  "name": "Quickstart",
  "new_cluster": {
    "spark_version": "7.5.x-scala2.12",
    "spark_env_vars": {
      "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
    },
    "num_workers": 8,
    ...
  },
  "email_notifications": {},
  "timeout_seconds": 0,
  "notebook_task": {
    "notebook_path": "/Quickstart"
  },
  "max_concurrent_runs": 1
}

In een ander voorbeeld worden met de volgende opdracht alleen de namen en id's van alle beschikbare clusters in de werkruimte afgedrukt:

databricks clusters list --output JSON | jq '[ .clusters[] | { name: .cluster_name, id: .cluster_id } ]'

Uitvoer:

[
  {
    "name": "My Cluster 1",
    "id": "1234-567890-grip123"
  },
  {
    "name": "My Cluster 2",
    "id": "2345-678901-patch234"
  }
]

U kunt jq bijvoorbeeld op macOS installeren met behulp van Homebrew met brew install jq of op Windows met Chocolatey met choco install jq. Raadpleeg voor meer informatie over jq de jq-gebruikershandleiding.

JSON-tekenreeksparameters

Tekenreeksparameters worden verschillend verwerkt, afhankelijk van uw besturingssysteem:

Linux of macOS

U moet JSON-tekenreeksparameters tussen enkele aanhalingstekens plaatsen. Voorbeeld:

'["20180505", "alantest"]'

Windows

U moet JSON-tekenreeksparameters tussen dubbele aanhalingstekens plaatsen en de aanhalingstekens in de tekenreeks moeten worden voorafgegaan door \. Voorbeeld:

"[\"20180505\", \"alantest\"]"

Probleemoplossing

De volgende secties bevatten tips voor het oplossen van veelvoorkomende problemen met de verouderde Databricks CLI.

Het gebruik van EOF met databricks configure werkt niet

Voor Databricks CLI 0.12.0 en hoger werkt het gebruik van het einde-van-bestand-sequentie (EOF) in een script om parameters door te geven aan de opdracht databricks configure niet. Het volgende script zorgt er bijvoorbeeld voor dat Databricks CLI de parameters negeert en er geen foutbericht wordt gegenereerd:

# Do not do this.
databricksUrl=<per-workspace-url>
databricksToken=<personal-access-token-or-Azure-AD-token>

databricks configure --token << EOF
$databricksUrl
$databricksToken
EOF

Ga op een van de volgende manieren te werk om dit probleem op te lossen:

  • Gebruik een van de andere programmatische configuratieopties, zoals beschreven in Verificatie instellen.
  • Voeg handmatig de waarden voor host en token toe aan het .databrickscfg-bestand, zoals beschreven in Verificatie-instellen.
  • Downgrade de installatie van de Databricks CLI naar 0.11.0 of lager en voer het script opnieuw uit.

CLI-opdrachten

  • Last updated on