Интерфейс командной строки библиотек (устаревшая версия)

Важно!

Поддержка этой документации прекращена, она может больше не обновляться.

Эта информация относится к устаревшим интерфейсам командной строки Databricks версии 0.18 и ниже. Databricks рекомендует использовать более новую версию Интерфейса командной строки Databricks версии 0.205 или более поздней. См. сведения о интерфейсе командной строки Databricks?. Чтобы найти версию интерфейса командной строки Databricks, выполните команду databricks -v.

Сведения о миграции из Databricks CLI версии 0.18 или ниже в Databricks CLI версии 0.205 или более поздней, см. в статье Databricks CLI.

Чтобы запустить подкоманды CLI для библиотек Databricks, добавьте их в databricks libraries. Эти вложенные команды вызывают API библиотек.

databricks libraries -h

Usage: databricks libraries [OPTIONS] COMMAND [ARGS]...

  Utility to interact with libraries.

Options:
  -v, --version  [VERSION]
  -h, --help     Show this message and exit.

Commands:
  all-cluster-statuses  Get the status of all libraries.
  cluster-status        Get the status of all libraries for a cluster.
    Options:
      --cluster-id CLUSTER_ID   Can be found in the URL at https://<databricks-instance>/?o=<16-digit-number>#/setting/clusters/$CLUSTER_ID/configuration.
  install               Install a library on a cluster.
    Options:
      --cluster-id CLUSTER_ID   Can be found in the URL at https://<databricks-instance>/?o=<16-digit-number>#/setting/clusters/$CLUSTER_ID/configuration.
      --jar TEXT                JAR on DBFS or WASB.
      --egg TEXT                Egg on DBFS or WASB.
      --whl TEXT                Wheel or zipped wheelhouse on DBFS or WASB. Supported in CLI 0.8.2 and above.
      --maven-coordinates TEXT  Maven coordinates in the form of GroupId:ArtifactId:Version (i.e.org.jsoup:jsoup:1.7.2).
      --maven-repo TEXT         Maven repository to install the Maven package from. If omitted, both Maven Repository and Spark Packages are searched.
      --maven-exclusion TEXT    List of dependences to exclude. For example: --maven-exclusion "slf4j:slf4j" --maven-exclusion "*:hadoop-client".
      --pypi-package TEXT       The name of the PyPI package to install. An optional exact version specification is also supported. Examples "simplejson" and "simplejson==3.8.0".
      --pypi-repo TEXT          The repository where the package can be found. If not specified, the default pip index is used.
      --cran-package TEXT       The name of the CRAN package to install.
      --cran-repo TEXT          The repository where the package can be found. If not specified, the default CRAN repo is used.
  list                  Shortcut to `all-cluster-statuses` or `cluster-status`.
    Options:
      --cluster-id CLUSTER_ID   Can be found in the URL at https://<databricks-instance>/?o=<16-digit-number>#/setting/clusters/$CLUSTER_ID/configuration.
  uninstall             Uninstall a library on a cluster.
    Options:
      --cluster-id CLUSTER_ID   Can be found in the URL at https://<databricks-instance>/?o=<16-digit-number>#/setting/clusters/$CLUSTER_ID/configuration. [required]
      --all                     Uninstall all libraries.
      --jar TEXT                JAR on DBFS or WASB.
      --egg TEXT                Egg on DBFS or WASB.
      --whl TEXT                Wheel or zipped wheelhouse on DBFS or WASB. Supported in CLI 0.8.2 and above.
      --maven-coordinates TEXT  Maven coordinates in the form of GroupId:ArtifactId:Version (i.e.org.jsoup:jsoup:1.7.2).
      --maven-repo TEXT         Maven repository to install the Maven package from. If omitted, both Maven Repository and Spark Packages are searched.
      --maven-exclusion TEXT    List of dependences to exclude. For example: --maven-exclusion "slf4j:slf4j" --maven-exclusion "*:hadoop-client".
      --pypi-package TEXT       The name of the PyPI package to install. An optional exact version specification is also supported. Examples "simplejson" and "simplejson==3.8.0".
      --pypi-repo TEXT          The repository where the package can be found. If not specified, the default pip index is used.
      --cran-package TEXT       The name of the CRAN package to install.
      --cran-repo TEXT          The repository where the package can be found. If not specified, the default CRAN repo is used.

Получение состояний всех библиотек во всех кластерах

Чтобы просмотреть документацию по использованию, выполните команду databricks libraries all-cluster-statuses --help.

databricks libraries all-cluster-statuses

{
  "statuses": [
    {
      "cluster_id": "1234-567890-lest123",
      "library_statuses": [
        {
          "library": {
            "jar": "dbfs:/FileStore/jars/bbf81650_a62b_4b7a_b47e_7bdd9505792a-SparkJDBC42.jar"
          },
          "status": "INSTALLED",
          "is_library_for_all_clusters": true
        },
        ...
      ]
    },
    ...
  ]
}

Получение состояний всех библиотек в одном кластере

Чтобы просмотреть документацию по использованию, выполните команду databricks libraries cluster-status --help или databricks libraries list --help.

databricks libraries cluster-status --cluster-id 1234-567890-lest123

Или сделайте так:

databricks libraries list --cluster-id 1234-567890-lest123

{
  "cluster_id": "1234-567890-lest123",
  "library_statuses": [
    {
      "library": {
        "jar": "dbfs:/FileStore/jars/bbf81650_a62b_4b7a_b47e_7bdd9505792a-SparkJDBC42.jar"
      },
      "status": "INSTALLED",
      "is_library_for_all_clusters": false
    },
    ...
  ]
}

Установка библиотеки в кластере

Чтобы просмотреть документацию по использованию, выполните команду databricks libraries install --help.

databricks libraries install --cluster-id 1234-567890-lest123 --jar dbfs:/test-dir/test.jar

В случае успеха отчет о выполнении команды не отображается.

Удаление библиотеки из кластера

Чтобы просмотреть документацию по использованию, выполните команду databricks libraries uninstall --help.

databricks libraries uninstall --cluster-id 1234-567890-lest123 --jar dbfs:/test-dir/test.jar

WARNING: Uninstalling libraries requires a cluster restart.
databricks clusters restart --cluster-id 1234-567890-lest123