Co to jest interfejs wiersza polecenia usługi Databricks?

  • Artykuł

Uwaga

Te informacje dotyczą interfejsu wiersza polecenia usługi Databricks w wersji 0.205 lub nowszej, które są dostępne w publicznej wersji zapoznawczej. Aby znaleźć swoją wersję interfejsu wiersza polecenia usługi Databricks, uruchom polecenie databricks -v.

Interfejs wiersza polecenia usługi Databricks (znany również jako interfejs wiersza polecenia usługi Databricks) udostępnia narzędzie do automatyzowania platformy Azure Databricks z poziomu terminalu, wiersza polecenia lub skryptów automatyzacji.

Informacje o starszych użytkownikach interfejsu wiersza polecenia usługi Databricks

  • Usługa Databricks nie planuje obsługi ani nowych funkcji dla starszego interfejsu wiersza polecenia usługi Databricks.
  • Aby uzyskać więcej informacji na temat starszego interfejsu wiersza polecenia usługi Databricks, zobacz Interfejs wiersza polecenia usługi Databricks (starsza wersja).
  • Aby przeprowadzić migrację z interfejsu wiersza polecenia usługi Databricks w wersji 0.18 lub nowszej do interfejsu wiersza polecenia usługi Databricks w wersji 0.205 lub nowszej, zobacz Migracja interfejsu wiersza polecenia usługi Databricks.

Jak działa interfejs wiersza polecenia usługi Databricks?

Interfejs wiersza polecenia opakowuje interfejs API REST usługi Databricks, interfejs programowania aplikacji (API), który używa perspektywy REST do automatyzowania zasobów i danych konta usługi Azure Databricks oraz zasobów i danych obszaru roboczego. Zobacz dokumentację interfejsu API REST usługi Azure Databricks.

Aby na przykład wydrukować informacje o pojedynczym klastrze w obszarze roboczym, należy uruchomić interfejs wiersza polecenia w następujący sposób:

databricks clusters get 1234-567890-a12bcde3

W przypadku metody równoważna curloperacja jest bardziej długotrwała do wyrażenia i jest bardziej podatna na błędy wpisywania w następujący sposób:

curl --request GET "https://${DATABRICKS_HOST}/api/2.0/clusters/get" \
     --header "Authorization: Bearer ${DATABRICKS_TOKEN}" \
     --data '{ "cluster_id": "1234-567890-a12bcde3" }'

Przykład: tworzenie zadania usługi Azure Databricks

W poniższym przykładzie użyto interfejsu wiersza polecenia do utworzenia zadania usługi Azure Databricks. To zadanie zawiera jedno zadanie zadania. To zadanie uruchamia określony notes usługi Azure Databricks. Ten notes ma zależność od określonej wersji pakietu PyPI o nazwie wheel. Aby uruchomić to zadanie, zadanie tymczasowo tworzy klaster zadań, który eksportuje zmienną środowiskową o nazwie PYSPARK_PYTHON. Po uruchomieniu zadania klaster zostanie zakończony.

databricks jobs create --json '{
  "name": "My hello notebook job",
  "tasks": [
    {
      "task_key": "my_hello_notebook_task",
      "notebook_task": {
        "notebook_path": "/Workspace/Users/someone@example.com/hello",
        "source": "WORKSPACE"
      },
      "libraries": [
        {
          "pypi": {
            "package": "wheel==0.41.2"
          }
        }
      ],
      "new_cluster": {
        "spark_version": "13.3.x-scala2.12",
        "node_type_id": "Standard_DS3_v2",
        "num_workers": 1,
        "spark_env_vars": {
          "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
        }
      }
    }
  ]
}'

Następne kroki