pipelines группа команд

Note

Эта информация относится к Интерфейсу командной строки Databricks версии 0.205 и выше. Интерфейс командной строки Databricks находится в общедоступной предварительной версии.

Использование интерфейса командной строки Databricks подчиняется лицензии Databricks и уведомлению о конфиденциальности Databricks, включая любые положения о данных использования.

Группа pipelines команд в интерфейсе командной строки Databricks позволяет создавать, изменять, удалять, запускать и просматривать сведения о конвейерах. См. Lakeflow Spark декларативные конвейеры.

Создание конвейеров Databricks

Создайте конвейер обработки данных на основе запрошенной конфигурации. При успешном выполнении эта команда возвращает идентификатор нового конвейера.

databricks pipelines create [flags]

Arguments

None

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Удаление конвейеров Databricks

Удаление конвейера.

databricks pipelines delete PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Конвейер данных для удаления.

Options

Глобальные флаги

получение пайплайнов Databricks

Получение конвейера.

databricks pipelines get PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Конвейер для получения.

Options

Глобальные флаги

Конвейеры Databricks обновление-получить

Получение обновления из активного потока.

databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]

Arguments

PIPELINE_ID

    Идентификатор конвейера.

UPDATE_ID

    Идентификатор обновления.

Options

Глобальные флаги

databricks pipelines list-pipeline-events (команда для отображения списка событий в конвейере)

Получение событий для конвейера.

databricks pipelines list-pipeline-events PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Канал для получения событий.

Options

--filter string

    Критерии для выбора подмножества результатов, выраженных с помощью синтаксиса, аналогичного SQL.

--max-results int

    Максимальное количество записей, возвращаемых на одной странице.

--page-token string

    Маркер страницы, возвращаемый предыдущим вызовом.

Глобальные флаги

командa 'databricks pipelines list-pipelines' для перечисления конвейеров в Databricks

Перечислите потоки, определенные в системе Delta Live Tables.

databricks pipelines list-pipelines [flags]

Arguments

None

Options

--filter string

    Выберите подмножество результатов на основе указанных критериев.

--max-results int

    Максимальное количество записей, которые можно вернуть на одной странице.

--page-token string

    Маркер страницы, возвращаемый предыдущим вызовом.

Глобальные флаги

databricks pipelines показать-обновления

Перечисление обновлений для активного конвейера.

databricks pipelines list-updates PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Конвейер для возврата обновлений.

Options

--max-results int

    Максимальное количество записей, возвращаемых на одной странице.

--page-token string

    Маркер страницы, возвращаемый предыдущим вызовом.

--until-update-id string

    Если указано, возвращает обновления вплоть до указанного update_id включительно.

Глобальные флаги

конвейеры databricks start-update

Запустите новое обновление для конвейера. Если для конвейера уже есть активное обновление, запрос завершится ошибкой, и активное обновление останется запущенным.

databricks pipelines start-update PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Конвейер для запуска обновления.

Options

--cause StartUpdateCause

    Поддерживаемые значения: [API_CALL, JOB_TASK, RETRY_ON_FAILURE, SCHEMA_CHANGE, SERVICE_UPGRADE, USER_ACTION]

--full-refresh

    Если истинно, это обновление сбросит все таблицы перед выполнением.

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--validate-only

    Если значение true, это обновление проверяет правильность исходного кода конвейера, но не материализует или не публикует наборы данных.

Глобальные флаги

Остановка конвейеров Databricks

Остановите конвейер, отменив активное обновление. Если для конвейера нет активного обновления, этот запрос является no-op.

databricks pipelines stop PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Конвейер, который нужно остановить.

Options

--no-wait

    Не ждите перехода в состояние IDLE

--timeout duration

    максимальное время достижения состояния IDLE (по умолчанию 20m0s)

Глобальные флаги

Обновление конвейеров Databricks

Обновите конвейер с указанной конфигурацией.

databricks pipelines update PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Уникальный идентификатор для этого конвейера.

Options

--allow-duplicate-names

    Если установлено значение false, развертывание завершится ошибкой, если имя изменилось и конфликтует с именем другого конвейера.

--budget-policy-id string

    Бюджетная политика этого проекта.

--catalog string

    Каталог в каталоге Unity для публикации данных из этого конвейера.

--channel string

    Канал выпуска декларативных конвейеров Spark Lakeflow, указывающий используемую версию.

--continuous

    Выполняется ли конвейер непрерывным или запускается.

--development

    Указывает, находится ли конвейер в режиме разработки.

--edition string

    Выпуск продукта конвейера.

--expected-last-modified int

    Если это значение присутствует, время последнего изменения параметров конвейера до редактирования.

--id string

    Уникальный идентификатор для этого конвейера.

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--name string

    Понятный идентификатор для этого конвейера.

--photon

    Включён ли фотон для этого конвейера.

--pipeline-id string

    Уникальный идентификатор для этого конвейера.

--schema string

    Схема по умолчанию (база данных), из которой извлекаются таблицы или в которую они записываются.

--serverless

    Включена ли бессерверная вычислительная мощность для этого конвейера?

--storage string

    Корневой каталог DBFS для хранения контрольных точек и таблиц.

--target string

    Целевая схема (база данных) для добавления таблиц в этот конвейер.

Глобальные флаги

конвейеры обработки данных databricks с уровнями доступа

Получение уровней разрешений конвейера.

databricks pipelines get-permission-levels PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Конвейер, для которого нужно получить или управлять разрешениями.

Options

Глобальные флаги

databricks pipelines получить разрешения

Получение разрешений потока обработки данных. Конвейеры могут наследовать разрешения от корневого объекта.

databricks pipelines get-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Конвейер, для которого нужно получить или управлять разрешениями.

Options

Глобальные флаги

databricks pipelines установить-разрешения

Задайте разрешения конвейера.

Задает разрешения для объекта, заменив существующие разрешения, если они существуют. Удаляет все прямые разрешения, если они не указаны. Объекты могут наследовать разрешения от корневого объекта.

databricks pipelines set-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Конвейер, для которого нужно получить или управлять разрешениями.

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Обновление разрешений конвейеров в Databricks

Обновите разрешения для конвейера. Конвейеры могут наследовать разрешения от корневого объекта.

databricks pipelines update-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Конвейер, для которого нужно получить или управлять разрешениями.

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Глобальные флаги

--debug

  Следует ли включить ведение журнала отладки.

-h или --help

    Отобразить справку по интерфейсу командной строки Databricks, связанной группе команд или отдельной команде.

--log-file струна

    Строка, представляющая файл для записи журналов выходных данных. Если этот флаг не указан, по умолчанию используется запись журналов выходных данных в stderr.

--log-format формат

    Тип формата журнала: text или json. Значение по умолчанию — text.

--log-level струна

    Строка, представляющая уровень формата журнала. Если не указано, уровень формата журнала отключен.

типа -o, --output

    Тип выходных данных команды: text или json. Значение по умолчанию — text.

-p, --profile струна

    Имя профиля в ~/.databrickscfg файле, используемого для выполнения команды. Если флаг не указан, используется профиль DEFAULT, если он существует.

--progress-format формат

    Формат для отображения журналов хода выполнения: default, appendinplace, илиjson

-t, --target струна

    Если применимо, целевой объект пакета для использования