clusters группа команд

Note

Эта информация относится к Интерфейсу командной строки Databricks версии 0.205 и выше. Интерфейс командной строки Databricks находится в общедоступной предварительной версии.

Использование интерфейса командной строки Databricks регулируется лицензией Databricks и уведомлением о конфиденциальности Databricks, включая положения о данных использования.

Группа clusters команд в интерфейсе командной строки Databricks позволяет создавать, запускать, изменять, перечислять, завершать и удалять кластеры.

Кластер Databricks — это набор вычислительных ресурсов и конфигураций, в которых выполняется проектирование данных, обработка и анализ данных, такие как рабочие конвейеры ETL, потоковая аналитика, аналитика нерегламентированных данных и машинное обучение. Обзор классических вычислений.

Important

Databricks сохраняет сведения о конфигурации кластера для завершенных кластеров в течение 30 дней. Чтобы сохранить универсальную конфигурацию кластера даже после его удаления более чем на 30 дней, администратор может закрепить кластер в списке кластеров.

Изменение владельца для кластеров Databricks

Измените владельца кластера. Для выполнения этой операции необходимо быть администратором, а кластер должен быть остановлен. Идентификатор приложения служебного принципала можно указать в качестве аргумента для owner_username.

databricks clusters change-owner CLUSTER_ID OWNER_USERNAME [flags]

Arguments

CLUSTER_ID

    Идентификатор кластера.

OWNER_USERNAME

    Новый владелец для cluster_id после выполнения этого RPC.

Options

--json JSON

    Встроенная строка JSON или @path JSON-файл с текстом запроса

Глобальные флаги

Создание кластеров Databricks

Создайте кластер. При необходимости эта команда получает новые экземпляры от облачного провайдера. Эта команда асинхронна; возвращенный cluster_id можно использовать для опроса состояния кластера. Когда эта команда возвращается, кластер находится в состоянии PENDING. Кластер доступен после ввода состояния RUNNING. Databricks может не иметь возможности получить некоторые запрошенные узлы из-за ограничений поставщика облачных служб (ограничения учетной записи, точечные цены и т. д.) или временных сетевых проблем.

Если Databricks получает по крайней мере 85% запрошенных узлов по запросу, создание кластера завершится успешно. В противном случае кластер завершается информативным сообщением об ошибке.

Вместо создания определения JSON кластера с нуля Databricks рекомендует заполнить пользовательский интерфейс вычислений , а затем скопировать созданное определение JSON из пользовательского интерфейса.

databricks clusters create SPARK_VERSION [flags]

Arguments

SPARK_VERSION

    Версия Кластера Spark, например 13.3.x-scala2.12. Список доступных версий Spark можно получить с помощью API доступных версий Spark .

Options

--apply-policy-default-values

    Если задано значение true, фиксированные значения и значения по умолчанию по политике применяются к полям, которые опущены.

--autotermination-minutes int

    Автоматически завершает кластер после его бездействия в течение указанного времени в минутах.

--cluster-name string

    Имя кластера, запрошенное пользователем.

--data-security-mode DataSecurityMode

    Режим безопасности данных решает, какую модель управления данными следует использовать при доступе к данным из кластера. Поддерживаемые значения: DATA_SECURITY_MODE_AUTO, , DATA_SECURITY_MODE_DEDICATEDDATA_SECURITY_MODE_STANDARDLEGACY_PASSTHROUGHLEGACY_SINGLE_USERLEGACY_SINGLE_USER_STANDARDLEGACY_TABLE_ACLNONESINGLE_USERUSER_ISOLATION

--driver-instance-pool-id string

    Необязательный идентификатор пула экземпляров, к которому принадлежит драйвер кластера.

--driver-node-type-id string

    Тип узла драйвера Spark.

--enable-elastic-disk

    Автоматическое масштабирование локального хранилища: когда включено, этот кластер динамически получает дополнительное дисковое пространство, если пользователи Spark испытывают недостаток места на диске.

--enable-local-disk-encryption

    Следует ли включить LUKS на локальных дисках виртуальных машин кластера.

--instance-pool-id string

    Необязательный идентификатор пула экземпляров, к которому принадлежит кластер.

--is-single-node

    Это поле можно использовать только в том случае, если тип = CLASSIC_PREVIEW.

--json JSON

    Встроенная строка JSON или @path JSON-файл с текстом запроса

--kind Kind

    Тип вычислений, описанных в этой спецификации вычислений. Поддерживаемые значения: CLASSIC_PREVIEW

--no-wait

    Не подождите, чтобы достичь состояния ВЫПОЛНЕНИЯ

--node-type-id string

    Используя отдельное значение, это поле кодирует доступные ресурсы для каждого узла Spark в этом кластере.

--num-workers int

    Необходимое число рабочих узлов текущего кластера.

--policy-id string

    Идентификатор политики кластера, используемой для создания кластера, если это применимо.

--runtime-engine RuntimeEngine

    Определяет движок среды выполнения кластера, стандартный или Photon. Поддерживаемые значения: NULL, PHOTON, STANDARD

--single-user-name string

    Одно имя пользователя, если data_security_mode SINGLE_USER.

--timeout duration

    максимальное время достижения состояния ВЫПОЛНЕНИЯ (по умолчанию 20m0s)

--use-ml-runtime

    Это поле можно использовать только в том случае, если тип = CLASSIC_PREVIEW.

Глобальные флаги

Удаление кластеров Databricks

Завершите кластер с указанным идентификатором. Кластер удаляется асинхронно. После завершения кластер находится в состоянии TERMINATED. Если кластер уже находится в состоянии TERMINATING или TERMINATED, ничего не происходит.

databricks clusters delete CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Кластер, который необходимо завершить.

Options

--json JSON

    Встроенная строка JSON или @path JSON-файл с текстом запроса

--no-wait

    Не подождите, чтобы достичь TERMINATED состояния

--timeout duration

    Максимальное время достижения TERMINATED состояния (по умолчанию 20m0s)

Глобальные флаги

Редактирование кластеров Databricks

Обновите конфигурацию кластера, чтобы она соответствовала указанным атрибутам и размеру. Кластер можно обновить, если он находится в статусе RUNNING или TERMINATED.

Если кластер обновляется во время выполнения, он перезапускается таким образом, чтобы новые атрибуты вступили в силу.

Если кластер обновляется в состоянии ОСТАНОВЛЕННЫМ, он остается ОСТАНОВЛЕННЫМ. При следующем запуске с помощью API кластеров или запуска новые атрибуты вступают в силу. Любая попытка обновить кластер в любом другом состоянии отклоняется с помощью кода ошибки INVALID_STATE.

Кластеры, созданные службой заданий Databricks, не могут быть изменены.

databricks clusters edit CLUSTER_ID SPARK_VERSION [flags]

Arguments

CLUSTER_ID

    Идентификатор кластера

SPARK_VERSION

    Версия Кластера Spark, например 13.3.x-scala2.12. Список доступных версий Spark можно получить с помощью API доступных версий Spark .

Options

--apply-policy-default-values

    Используйте фиксированные значения и значения по умолчанию из политики для полей, которые опущены.

--autotermination-minutes int

    Кластер автоматически завершится после того, как он будет неактивен в течение указанного времени в минутах.

--cluster-name string

    Имя кластера, запрошенное пользователем.

--data-security-mode DataSecurityMode

    Режим безопасности данных решает, какую модель управления данными следует использовать при доступе к данным из кластера. Поддерживаемые значения: DATA_SECURITY_MODE_AUTO, , DATA_SECURITY_MODE_DEDICATED``, DATA_SECURITY_MODE_STANDARDLEGACY_PASSTHROUGHLEGACY_SINGLE_USERLEGACY_SINGLE_USER_STANDARDLEGACY_TABLE_ACLNONESINGLE_USERUSER_ISOLATION

--driver-instance-pool-id string

    Необязательный идентификатор пула экземпляров, к которому принадлежит драйвер кластера.

--driver-node-type-id string

    Тип узла драйвера Spark.

--enable-elastic-disk

    Автоматическое масштабирование локального хранилища: когда включено, этот кластер динамически получает дополнительное дисковое пространство, если пользователи Spark испытывают недостаток места на диске.

--enable-local-disk-encryption

    Следует ли включить LUKS на локальных дисках виртуальных машин кластера.

--instance-pool-id string

    Необязательный идентификатор пула экземпляров, к которому принадлежит кластер.

--is-single-node

    Это поле можно использовать только в том случае, если тип = CLASSIC_PREVIEW.

--json JSON

    Встроенная строка JSON или @path JSON-файл с текстом запроса

--kind Kind

    Тип вычислений, описанных в этой спецификации вычислений. Поддерживаемые значения: CLASSIC_PREVIEW

--no-wait

    Не ждите достижения состояния RUNNING

--node-type-id string

    Используя отдельное значение, это поле кодирует доступные ресурсы для каждого узла Spark в этом кластере.

--num-workers int

    Необходимое число рабочих узлов текущего кластера.

--policy-id string

    Идентификатор политики кластера, используемой для создания кластера, если это применимо.

--runtime-engine RuntimeEngine

    Определяет движок среды выполнения кластера, стандартный или Photon. Поддерживаемые значения: NULL, PHOTON, STANDARD

--single-user-name string

    Одно имя пользователя, если режим data_security_mode установлен в SINGLE_USER.

--timeout duration

    максимальное время достижения состояния ВЫПОЛНЕНИЯ (по умолчанию 20m0s)

--use-ml-runtime

    Это поле можно использовать только в том случае, если тип = CLASSIC_PREVIEW.

Глобальные флаги

События кластеров databricks

Перечислить события, связанные с функционированием кластера. Этот API разбиен на страницы. Если есть больше событий для чтения, ответ включает все параметры, необходимые для запроса следующей страницы событий.

databricks clusters events CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Идентификатор кластера для получения информации о событиях.

Options

--end-time int

    Время окончания в миллисекундах временной эпохи.

--json JSON

    Встроенная строка JSON или @path JSON-файл с текстом запроса

--limit int

    Не рекомендуется: вместо этого используйте page_token в сочетании с page_size.

--offset int

    Не рекомендуется: вместо этого используйте page_token в сочетании с page_size.

--order GetEventsOrder

    Порядок перечисления событий. Поддерживаемые значения: ASC, DESC

--page-size int

    Максимальное количество событий, включаемых на страницу событий.

--page-token string

    Используйте next_page_token или prev_page_token, возвращенные из предыдущего запроса, чтобы отобразить следующую или предыдущую страницу событий соответственно.

--start-time int

    Время начала в миллисекундах эпохи.

Глобальные флаги

Получение кластеров Databricks

Возвращает сведения для кластера по его идентификатору. Кластеры можно описать во время их выполнения или до 60 дней после завершения работы.

databricks clusters get CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Кластер, о котором требуется получить сведения.

Options

Глобальные флаги

Список кластеров Databricks

Представьте список сведений обо всех закрепленных и активных кластерах, и всех кластеров, завершенных за последние 30 дней. Кластеры, завершаемые до этого периода, не включаются.

databricks clusters list [flags]

Arguments

None

Options

--cluster-sources []string

    Фильтрация кластеров по источнику

--cluster-states []string

    Фильтрация кластеров по состояниям

--is-pinned

    Фильтрация кластеров по прикреплённому статусу

--page-size int

    Используйте это поле, чтобы указать максимальное количество результатов, возвращаемых сервером.

--page-token string

    Используйте next_page_token или prev_page_token, возвращенные из предыдущего запроса, чтобы отобразить следующую или предыдущую страницу кластеров соответственно.

--policy-id string

    Фильтрация кластеров по идентификатору политики

Глобальные флаги

databricks кластеры list-node-types

Список поддерживаемых типов узлов Spark. Эти типы узлов можно использовать для запуска кластера.

databricks clusters list-node-types [flags]

Arguments

None

Options

Глобальные флаги

кластеры databricks список-зон

Список зон доступности, в которых можно создать кластеры (например, us-west-2a). Эти зоны можно использовать для запуска кластера.

databricks clusters list-zones [flags]

Arguments

None

Options

Глобальные флаги

кластеры databricks безвозвратно удаляются

Окончательное удаление кластера. Этот кластер завершается, а ресурсы асинхронно удаляются.

Кроме того, пользователи больше не увидят безвозвратно удаленные кластеры в списке кластеров, а пользователи API больше не могут выполнять какие-либо действия в кластерах безвозвратно удаленных.

databricks clusters permanent-delete CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Кластер, который нужно удалить.

Options

--json JSON

    Встроенная строка JSON или @path JSON-файл с текстом запроса

Глобальные флаги

Закрепление кластеров Databricks

Закрепите кластер, чтобы гарантировать, что кластер всегда будет возвращен API ListClusters. Закрепление кластера, который уже закреплен, не будет иметь эффекта. Этот API может вызываться только администраторами рабочей области.

databricks clusters pin CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Идентификатор кластера.

Options

--json JSON

    Встроенная строка JSON или @path JSON-файл с текстом запроса

Глобальные флаги

Изменение размера кластеров Databricks

Настройте размер кластера до необходимого количества рабочих узлов. Это завершится ошибкой, если кластер не находится в состоянии RUNNING.

databricks clusters resize CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Кластер, который необходимо изменить по размеру.

Options

--json JSON

    Встроенная строка JSON или @path JSON-файл с текстом запроса

--no-wait

    Не подождите, чтобы достичь состояния ВЫПОЛНЕНИЯ

--num-workers int

    Необходимое число рабочих узлов текущего кластера.

--timeout duration

    Максимальное время достижения состояния RUNNING (по умолчанию 20m0s)

Глобальные флаги

Перезапуск кластеров Databricks

Перезапустите кластер с указанным идентификатором. Если кластер в настоящее время не находится в состоянии RUNNING, ничего не происходит.

databricks clusters restart CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Кластер, который необходимо запустить.

Options

--json JSON

    Встроенная строка JSON или @path JSON-файл с текстом запроса

--no-wait

    Не подождите, чтобы достичь состояния ВЫПОЛНЕНИЯ

--restart-user string

    Пользователь, перезагрузивший кластер.

--timeout duration

    Максимальное время достижения состояния RUNNING (по умолчанию 20m0s)

Глобальные флаги

Кластеры Databricks, версии Spark

Список доступных версий Spark. Эти версии можно использовать для запуска кластера.

databricks clusters spark-versions [flags]

Arguments

None

Options

Глобальные флаги

Запуск кластеров databricks

Запустите остановленный кластер с указанным идентификатором. Это работает аналогично созданиюCluster, кроме того: — сохраняются предыдущие идентификаторы и атрибуты кластера. — кластер начинается с последнего указанного размера кластера. — Если предыдущий кластер был кластером автомасштабирования, текущий кластер начинается с минимального количества узлов. — Если кластер в настоящее время не находится в состоянии TERMINATED, ничего не происходит. — Кластеры, предназначенные для выполнения задания, не могут быть запущены.

databricks clusters start CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Кластер, который необходимо запустить.

Options

--json JSON

    Встроенная строка JSON или @path JSON-файл с текстом запроса

--no-wait

    Не подождите, чтобы достичь состояния ВЫПОЛНЕНИЯ

--timeout duration

    Максимальное время достижения состояния RUNNING (по умолчанию 20m0s)

Глобальные флаги

Снять закрепление кластеров databricks

Открепите кластер, чтобы в будущем разрешить его удаление из API ListClusters. Отмена закрепления кластера, который не закреплен, не будет иметь никакого эффекта. Этот API может вызываться только администраторами рабочей области.

databricks clusters unpin CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Идентификатор кластера.

Options

--json JSON

    Встроенная строка JSON или @path JSON-файл с текстом запроса

Глобальные флаги

Обновление кластеров databricks

Обновите конфигурацию кластера, чтобы соответствовать частичному набору атрибутов и размеров. Указывает, какие поля следует обновить с помощью поля update_mask в тексте запроса. Кластер можно обновить, если он находится в статусе RUNNING или TERMINATED. Если кластер обновляется во время выполнения, он будет перезапущен таким образом, чтобы новые атрибуты вступили в силу. Если кластер обновляется в состоянии TERMINATED, он останется завершенным. Обновленные атрибуты вступают в силу при следующем запуске кластера с помощью API запуска кластеров. Попытки обновить кластер в любом другом состоянии будут отклонены с помощью кода ошибки INVALID_STATE. Кластеры, созданные службой заданий Databricks, не могут быть обновлены.

databricks clusters update CLUSTER_ID UPDATE_MASK [flags]

Arguments

CLUSTER_ID

    Идентификатор кластера.

UPDATE_MASK

    Используется для указания атрибутов кластера и полей размера для обновления. Дополнительные сведения см. в https://google.aip.dev/161. Маска поля должна быть одной строкой, с несколькими полями, разделенными запятыми (без пробелов). Путь к полю задан относительно объекта ресурса и использует точку (.) для доступа к вложенным полям (например, author.given_name). Спецификация элементов в полях последовательности или карты запрещена, так как можно указать только все поле коллекции. Имена полей должны точно совпадать с именами полей ресурсов. Маска _ поля указывает на полную замену. Рекомендуется всегда явно перечислять обновляемые поля и избегать использования _ подстановочных знаков, так как это может привести к непредвиденным результатам, если API изменится в будущем.

Options

--json JSON

    Встроенная строка JSON или @path JSON-файл с текстом запроса

--no-wait

    Не подождите, чтобы достичь состояния ВЫПОЛНЕНИЯ

--timeout duration

    Максимальное время достижения состояния RUNNING (по умолчанию 20m0s)

Глобальные флаги

кластеры databricks с уровнем разрешений

Получение уровней разрешений кластера.

databricks clusters get-permission-levels CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Кластер, для которого нужно получить или управлять разрешениями.

Options

Глобальные флаги

Кластеры Databricks получить права

Получите разрешения кластера. Кластеры могут наследовать разрешения от корневого объекта.

databricks clusters get-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Кластер, для которого нужно получить или управлять разрешениями.

Options

Глобальные флаги

настройка разрешений для кластеров Databricks

Задайте разрешения кластера, заменив существующие разрешения, если они существуют. Удаляет все прямые разрешения, если они не указаны. Объекты могут наследовать разрешения от корневого объекта.

databricks clusters set-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Кластер, для которого нужно получить или управлять разрешениями.

Options

--json JSON

    Встроенная строка JSON или @path JSON-файл с текстом запроса

Глобальные флаги

databricks кластеры обновление разрешений

Обновите разрешения в кластере. Кластеры могут наследовать разрешения от корневого объекта.

databricks clusters update-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Кластер, для которого нужно получить или управлять разрешениями.

Options

--json JSON

    Встроенная строка JSON или @path JSON-файл с текстом запроса

Глобальные флаги

Глобальные флаги

--debug

  Следует ли включить ведение журнала отладки.

-h или --help

    Отобразить справку по интерфейсу командной строки Databricks, связанной группе команд или отдельной команде.

--log-file струна

    Строка, представляющая файл для записи журналов выходных данных. Если этот флаг не указан, по умолчанию используется запись журналов выходных данных в stderr.

--log-format формат

    Тип text формата журнала или json. Значение по умолчанию — text.

--log-level струна

    Строка, представляющая уровень формата журнала. Если не указано, уровень формата журнала отключен.

типа -o, --output

    Тип text выходных данных команды или json. Значение по умолчанию — text.

-p, --profile струна

    Имя профиля в ~/.databrickscfg файле, используемого для выполнения команды. Если этот флаг не указан, то если он существует, используется DEFAULT профиль.

--progress-format формат

    Формат для отображения журналов хода выполнения: default, appendinplace, илиjson

-t, --target струна

    Если применимо, целевой объект пакета для использования