Поделиться через


Команды CLI Databricks

Примечание.

Эта информация относится к Интерфейсу командной строки Databricks версии 0.205 и выше. Интерфейс командной строки Databricks находится в общедоступной предварительной версии.

Использование интерфейса командной строки Databricks распространяется на лицензию Databricks и уведомление о конфиденциальности Databricks, включая все положения об использовании.

В этой статье содержатся сведения о доступных командах CLI Databricks. Эта информация дополняет справку командной строки. Дополнительные сведения об установке и использовании интерфейса командной строки Databricks см. в разделе "Установка или обновление интерфейса командной строки Databricks" и "Что такое интерфейс командной строки Databricks?".

Интерфейс командной строки Databricks включает группы команд, перечисленные в следующих таблицах. Группы команд содержат наборы связанных команд, которые также могут содержать вложенные команды. Для вывода сведений об использовании и синтаксисе для группы команд, отдельной команды или подкоманда:

  • databricks <command-group> -h
  • databricks <command-group> <command-name> -h
  • databricks <command-group> <command-name> <subcommand-name> -h

Многие команды CLI сопоставляются с операциями, которые описаны в справочнике по REST API Azure Databricks.

Команды рабочей области

Групповой Описание и команды
fs Команды для управления файлами и файловой системой:

cat, , cpls, mkdirrm
git-credentials Команды для регистрации личных маркеров доступа для Databricks для выполнения операций от имени пользователя:

create, , deleteget, listupdate
repos Команды, позволяющие пользователям управлять репозиториями Git:

create, , deleteget, listupdate

get-permission-levels, , get-permissionsset-permissionsupdate-permissions
secrets Команды для управления секретами, областями секретов и разрешениями доступа:

create-scope, delete-acl, delete-scopedelete-secretget-aclget-secretlist-aclslist-scopeslist-secretsput-aclput-secret
workspace Команды для перечисления, импорта, экспорта и удаления записных книжек и папок в рабочей области:

delete, export, export-dirget-statusimportimport-dirlistmkdirs

get-permission-levels, , get-permissionsset-permissionsupdate-permissions

Команды вычислений

Групповой Описание и команды
cluster-policies Команды для управления способностью пользователей настраивать кластеры на основе набора правил:

create, , deleteedit, getlist

get-permission-levels, , get-permissionsset-permissionsupdate-permissions
clusters Команды, позволяющие создавать, запускать, изменять, перечислять, завершать и удалять кластеры:

change-owner, createdeleteediteventsgetlistlist-node-typeslist-zonespermanent-deletepinresizerestartspark-versionsstartunpin

get-permission-levels, , get-permissionsset-permissionsupdate-permissions
global-init-scripts Команды, позволяющие администраторам рабочих областей настраивать сценарии глобальной инициализации для своей рабочей области:

create, , deleteget, listupdate
instance-pools Команды для создания, редактирования, удаления и списка пулов экземпляров с помощью готовых к использованию облачных экземпляров, что сокращает время запуска кластера и автоматического масштабирования:

create, , deleteedit, getlist

get-permission-levels, , get-permissionsset-permissionsupdate-permissions
instance-profiles Команды, позволяющие администраторам добавлять, перечислять и удалять профили экземпляров, с которыми пользователи могут запускать кластеры:

add, , editlistremove
libraries Команды для установки, удаления и получения состояния библиотек в кластере:

all-cluster-statuses, , cluster-statusinstalluninstall
policy-families Команды для просмотра доступных семейств политик:

get, list

Команды заданий

Групповой Описание и команды
jobs Команды для управления заданиями:

cancel-all-runs, cancel-runcreatedeletedelete-runexport-rungetget-runget-run-outputlistlist-runsrepair-runresetrun-nowsubmitupdate

get-permission-levels, , get-permissionsset-permissionsupdate-permissions

Команды Delta Live Tables

Групповой Описание и команды
pipelines Команды для создания, редактирования, удаления, запуска и просмотра сведений о конвейерах:

create, delete, getget-updatelist-pipeline-eventslist-pipelineslist-updatesstart-updatestopupdate

get-permission-levels, , get-permissionsset-permissionsupdate-permissions

команды Машинное обучение

Групповой Описание и команды
experiments Команды для взаимодействия с экспериментами, которые являются основным подразделением организации в MLflow; Все запуски MLflow относятся к эксперименту:

create-experimentsearch-runs, create-rundelete-experimentdelete-rundelete-runsdelete-tagget-by-nameget-experimentget-historyget-runGetlist-artifactslist-experimentslog-batchlog-inputslog-metriclog-modellog-paramrestore-experimentrestore-runrestore-runssearch-experimentsset-experiment-tagset-tagupdate-experimentupdate-run

get-permission-levels, , get-permissionsset-permissionsupdate-permissions
model-registry Команды для реестра моделей рабочей области:

approve-transition-requesttransition-stage, create-commentcreate-modelcreate-model-versioncreate-transition-requestcreate-webhookdelete-commentdelete-modeldelete-model-tagdelete-model-versiondelete-model-version-tagdelete-transition-requestdelete-webhookget-latest-versionsget-modelget-model-versionget-model-version-download-urilist-modelslist-transition-requestslist-webhooksreject-transition-requestrename-modelsearch-model-versionssearch-modelsset-model-tagset-model-version-tagtest-registry-webhookupdate-commentupdate-modelupdate-model-versionupdate-webhook

get-permission-levels, , get-permissionsset-permissionsupdate-permissions

Команды обслуживания в режиме реального времени

Групповой Описание и команды
serving-endpoints Команды для создания, обновления и удаления конечных точек обслуживания моделей:

build-logs, create, deleteexport-metricsgetlistlogspatchputqueryupdate-config

get-permission-levels, , get-permissionsset-permissionsupdate-permissions

Команды управления удостоверениями и доступом

Групповой Описание и команды
account Команды для управления учетными записями Databricks:

— удостоверение и доступ: access-control, groups, service-principalsusersworkspace-assignment
— каталог Unity: metastore-assignments, metastoresstorage-credentials
— параметры: ip-access-lists, network-connectivitysettings
— подготовка: credentials, encryption-keys, networks, storagevpc-endpointsprivate-accessworkspaces
— Выставление счетов: billable-usage, log-delivery
— OAuth: custom-app-integration, o-auth-published-apps, published-app-integrationservice-principal-secrets
auth Команды для проверки подлинности:

describe, , envlogin, profilestoken
current-user Команды для получения сведений о пользователе или субъекте-службе, прошедших проверку подлинности:

me
groups Команды для групп, упрощающих управление удостоверениями, что упрощает назначение доступа к рабочей области Databricks, данным и другим защищаемым объектам:

create, , deletelistgetpatch,update
permissions Команды для создания доступа для чтения, записи, редактирования, обновления и управления доступом для различных пользователей в различных объектах и конечных точках:

get, , setupdate

get-permission-levels
service-principals Команды для удостоверений для использования с заданиями, автоматизированными инструментами и системами, такими как скрипты, приложения и платформы CI/CD:

create, , deletelistgetpatch,update
users Команды для удостоверений пользователей, распознаваемых Databricks и представленные адресами электронной почты:

create, , deletelistgetpatch,update

get-permission-levels, , get-permissionsset-permissionsupdate-permissions
Групповой Описание и команды
alerts Команды для выполнения операций с оповещениями:

create, , deleteget, listupdate
data-sources Команды для создания новых объектов запроса:

list
queries Команды для выполнения операций с определениями запросов:

create, , deletelistgetrestore,update
query-history Команды для доступа к журналу запросов через хранилища SQL:

list
warehouses Команды для управления хранилищами SQL, которые являются вычислительным ресурсом, который позволяет выполнять команды SQL на объектах данных в Databricks SQL:

create, deleteeditgetget-workspace-warehouse-configlistset-workspace-warehouse-configstartstop

get-permission-levels, , get-permissionsset-permissionsupdate-permissions

Команды каталога Unity

Групповой Описание и команды
artifact-allowlists Команды для управления списками разрешений артефактов. В Databricks Runtime 13.3 и более поздних версиях можно добавлять библиотеки и скрипты инициализации в список разрешений в UC, чтобы пользователи могли использовать эти артефакты для вычислений, настроенных в режиме общего доступа:

get, update
catalogs Команды для управления каталогами— первый уровень трехуровневого пространства имен каталога Unity:

create, , deleteget, listupdate
connections Команды для создания подключения к внешнему источнику данных:

create, , deleteget, listupdate
external-locations Команды для управления внешними расположениями, которые объединяют путь к облачному хранилищу с учетными данными хранения, которые разрешают доступ к пути к облачному хранилищу:

create, , deleteget, listupdate
functions Команды для управления определяемыми пользователем функциями в каталоге Unity:

create, , deleteget, listupdate
grants Команды для предоставления доступа к данным в каталоге Unity:

get, , get-effectiveupdate
metastores Команды для управления хранилищами метаданных, которые являются контейнером верхнего уровня объектов в каталоге Unity:

assign, create, currentdeletegetlistsummaryunassignupdateupdate-assignment
model-versions Команды для управления версиями модели. Databricks предоставляет размещенную версию реестра моделей MLflow в каталоге Unity.

delete, , getget-by-alias, listupdate
online-tables Команды для управления онлайн-таблицами, которые обеспечивают более низкую задержку и более высокий уровень доступа к данным из таблиц Delta:

create, , deleteget
quality-monitors Команды для управления мониторами, которые вычисляют и отслеживают данные или метрики качества модели для таблицы с течением времени:

create, delete, getget-refreshlist-refreshesrun-refreshupdate
registered-models Команды для управления зарегистрированными моделями. Databricks предоставляет размещенную версию реестра моделей MLflow в каталоге Unity.

create, delete, delete-aliasgetlistset-aliasupdate
schemas Команды для управления схемами, которые являются вторым слоем трехуровневого пространства имен каталога Unity:

create, , deleteget, listupdate
storage-credentials Команды для управления учетными данными хранилища, которые являются механизмом проверки подлинности и авторизации для доступа к данным, хранящимся в вашем облачном клиенте:

create, , deletelistgetupdate,validate
system-schemas Команды для управления системными схемами, которые являются схемами, которые находятся в системных каталогах:

disable, , enablelist
table-constraints Команды для управления ограничениями первичного ключа и внешнего ключа, которые кодируют связи между полями в таблицах:

create, delete
tables Команды для управления таблицами, которые находятся на третьем уровне трехуровневого пространства имен каталога Unity:

delete, , existsget, listlist-summaries
volumes Команды для управления томами, которые являются возможностью каталога Unity (UC) для доступа, хранения, управления, организации и обработки файлов:

create, , deletelist, readupdate
workspace-bindings Команды для управления защищаемыми привязками рабочей области. Защищаемые объекты в Databricks можно настроить как OPEN или ISOLATED.

get, , get-bindingsupdateupdate-bindings

Команды разностного общего доступа

Групповой Описание и команды
providers Команды для управления поставщиками данных, которые представляют организации, которым предоставляется общий доступ к данным:

create, , deletelistgetlist-shares,update
recipient-activation Команды для управления активацией получателя, которая применима только в открытой модели общего доступа, где объект получателя имеет тип проверки подлинности TOKEN:

get-activation-url-info, retrieve-token
recipients Команды для управления получателями, которые создаются с помощью :method:recipients/create представления организации, которой требуется разрешить доступ к общим папкам:

create, , deletelistgetrotate-token,update

share-permissions
shares Команды для управления общими ресурсами, которые являются контейнерами, созданными с помощью :method:shares/createследующих команд:

create, , deleteget, listupdate

share-permissions, update-permissions

Команды параметров

Групповой Описание и команды
ip-access-lists Команды, позволяющие администраторам настраивать списки IP-доступа:

create, , deletelistgetreplace,update
settings Команды, позволяющие пользователям управлять параметрами на уровне рабочей области:

automatic-cluster-update, , csp-enablementdefault-namespace, esm-enablementrestrict-workspace-admins
token-management Команды, позволяющие администраторам получать все маркеры и удалять маркеры для других пользователей:

create-obo-token, , deletegetlist

get-permission-levels, , get-permissionsset-permissionsupdate-permissions
tokens Команды для создания, перечисления и отзыва маркеров, которые можно использовать для проверки подлинности и доступа к REST API Databricks:

create, , deletelist
workspace-conf Команды для обновления параметров рабочей области:

get-status, set-status

команды Средства разработчика

Групповой Описание и команды
связка Команды для управления пакетами активов Databricks, которые позволяют выразить проекты Databricks в виде кода:

deploy, deploymentdestroygenerateinitrunschemasyncvalidate
sync Синхронизация локального каталога с каталогом рабочей области.

Команды поиска векторов

Групповой Описание и команды
vector-search-endpoints Команды для управления конечными точками векторного поиска, которые представляют вычислительные ресурсы для индексов векторного поиска:

create-endpoint, , delete-endpointget-endpointlist-endpoints
vector-search-indexes Команды для управления индексами векторного поиска, эффективное представление внедренных векторов, которые поддерживают запросы поиска в реальном времени и эффективные приблизительные ближайшие соседи (ANN):

create-index, delete-data-vector-index, delete-indexget-indexlist-indexesquery-indexsync-indexupsert-data-vector-index

Команды панели мониторинга

Групповой Описание и команды
dashboards Команды для изменения панелей мониторинга:

create, , deletelistgetrestore,update
lakeview Команды, предоставляющие определенные операции управления для панелей мониторинга AI/BI:

create, get, get-publishedmigratepublishtrashunpublishupdate

Дополнительные команды

Групповой Описание и команды
api Команды для выполнения запросов к REST API Databricks:

delete, , getpatchheadpost,put
completion Команды для создания скрипта автозаполнения для указанной оболочки:

bash, , fishpowershellzsh
configure Настройте интерфейс командной строки Databricks.
help Выходные сведения об использовании для любой команды.
labs Команды для управления установками Databricks Labs:

clear-cache, install, installedlistshowuninstallupgrade
version Получите версию используемого интерфейса командной строки.

Глобальные флаги

Следующие флаги доступны для всех команд CLI Databricks. Обратите внимание, что некоторые флаги не применяются к некоторым командам. Подробные сведения о конкретных командах и их флагах см. в справке командной строки.

Флаг Description
-h или --help Отображение справки по интерфейсу командной строки Databricks или связанной группе команд или связанной команде.
-e или --environment string Строка, представляющая среду пакета, используемую, если применимо для связанной команды.
--log-file Строка, представляющая журналы выходных данных. Если этот флаг не указан, по умолчанию используется запись журналов выходных данных в stderr.
--log-format text для записи журналов выходных данных в текст или json записи журналов выходных данных в JSON. Если этот флаг не указан, выходные журналы записываются как текст.
--log-level Строка, представляющая уровень формата журнала. Если не указано, уровень формата журнала отключен.
-o или --output text для записи выходных данных в виде текста или json записи выходных данных в формате JSON. Если этот флаг не указан, выходные данные записываются как текст.
-p или --profile Строка, представляющая именованный профиль конфигурации для использования в .databrickscfg файле. Если этот флаг не указан, DEFAULT то именованный профиль используется, если он существует. Вы можете нажать или Tab --profile -p отобразить список существующих доступных профилей конфигурации, чтобы выбрать его вместо ввода имени профиля конфигурации вручную.
--progress-format Формат для отображаемых журналов выполнения (defaultпо умолчанию или inplace append json).