external-lineage группа команд

Замечание

Эта информация относится к Интерфейсу командной строки Databricks версии 0.205 и выше. Интерфейс командной строки Databricks находится в общедоступной предварительной версии.

Использование интерфейса командной строки Databricks подчиняется лицензии Databricks и уведомлению о конфиденциальности Databricks, включая любые положения о данных использования.

Группа external-lineage команд в интерфейсе командной строки Databricks содержит команды для определения связей происхождения между объектами Databricks и внешними системами и управлять ими.

databricks external-lineage create-external-lineage-relationship

Создайте внешнюю связь происхождения между объектом Databricks или внешним объектом метаданных и другим внешним объектом метаданных.

databricks external-lineage create-external-lineage-relationship SOURCE TARGET [flags]

Аргументы

SOURCE

    Исходный объект внешней связи происхождения.

TARGET

    Целевой объект связи внешнего происхождения.

Options

--json JSON

    Встроенная строка JSON или JSON-файл @path с текстом запроса

Глобальные флаги

Примеры

В следующем примере создается внешняя связь происхождения с помощью JSON:

databricks external-lineage create-external-lineage-relationship source_object target_object --json '{"column_mappings": [{"source_column": "id", "target_column": "external_id"}]}'

В следующем примере создается внешняя связь происхождения с помощью JSON-файла:

databricks external-lineage create-external-lineage-relationship source_object target_object --json @lineage.json

databricks external-lineage delete-external-lineage-relationship

Удалите внешнюю связь происхождения между объектом Databricks или внешним объектом метаданных и другим внешним объектом метаданных.

databricks external-lineage delete-external-lineage-relationship [flags]

Options

--json JSON

    Встроенная строка JSON или JSON-файл @path с текстом запроса

Глобальные флаги

Примеры

В следующем примере удаляется внешняя связь происхождения с помощью JSON:

databricks external-lineage delete-external-lineage-relationship --json '{"source": "source_object", "target": "target_object"}'

В следующем примере удаляется внешняя связь происхождения с помощью JSON-файла:

databricks external-lineage delete-external-lineage-relationship --json @delete-lineage.json

databricks external-lineage list-external-lineage-relationships

Вывод списка внешних связей происхождения объекта Databricks или внешних метаданных с заданным направлением.

databricks external-lineage list-external-lineage-relationships [flags]

Options

--json JSON

    Встроенная строка JSON или JSON-файл @path с текстом запроса

--page-size int

    Максимальное количество внешних связей происхождения для возврата на страницу.

--page-token string

    Маркер для получения следующей страницы результатов.

Глобальные флаги

Примеры

В следующем примере перечислены внешние связи происхождения с помощью JSON:

databricks external-lineage list-external-lineage-relationships --json '{"object": "my_catalog.my_schema.my_table", "direction": "DOWNSTREAM"}'

В следующем примере перечислены внешние связи происхождения с разбивкой на страницы:

databricks external-lineage list-external-lineage-relationships --json '{"object": "my_catalog.my_schema.my_table", "direction": "UPSTREAM"}' --page-size 10

В следующем примере перечислены внешние связи происхождения с помощью JSON-файла:

databricks external-lineage list-external-lineage-relationships --json @list-lineage.json

databricks external-lineage update-external-lineage-relationship

Обновите внешнюю связь происхождения между объектом Databricks или внешним объектом метаданных и другим внешним объектом метаданных.

databricks external-lineage update-external-lineage-relationship UPDATE_MASK SOURCE TARGET [flags]

Аргументы

UPDATE_MASK

    Маска поля должна быть одной строкой, с несколькими полями, разделенными запятыми (без пробелов). Путь к полю относительно объекта ресурса, используя точку (.) для навигации по вложенным полям (например, author.given_name). Спецификация элементов в полях последовательности или карты запрещена, так как можно указать только все поле коллекции. Имена полей должны точно совпадать с именами полей ресурсов.

    Маска поля звездочки (*) указывает на полную замену. Рекомендуется всегда явно перечислять обновляемые поля и избегать использования подстановочных знаков, так как это может привести к непредвиденным результатам, если API изменится в будущем.

SOURCE

    Исходный объект внешней связи происхождения.

TARGET

    Целевой объект связи внешнего происхождения.

Options

--json JSON

    Встроенная строка JSON или JSON-файл @path с текстом запроса

Глобальные флаги

Примеры

В следующем примере обновляется внешняя связь происхождения с помощью JSON:

databricks external-lineage update-external-lineage-relationship "column_mappings" source_object target_object --json '{"column_mappings": [{"source_column": "updated_id", "target_column": "new_external_id"}]}'

В следующем примере обновляется связь внешнего происхождения с помощью JSON-файла:

databricks external-lineage update-external-lineage-relationship "column_mappings" source_object target_object --json @update-lineage.json

Глобальные флаги

--debug

  Следует ли включить ведение журнала отладки.

-h или --help

    Отобразить справку по интерфейсу командной строки Databricks, связанной группе команд или отдельной команде.

--log-file струна

    Строка, представляющая файл для записи журналов выходных данных. Если этот флаг не указан, по умолчанию используется запись журналов выходных данных в stderr.

--log-format формат

    Тип формата журнала: text или json. Значение по умолчанию — text.

--log-level струна

    Строка, представляющая уровень формата журнала. Если не указано, уровень формата журнала отключен.

типа -o, --output

    Тип выходных данных команды: text или json. Значение по умолчанию — text.

-p, --profile струна

    Имя профиля в ~/.databrickscfg файле, используемого для выполнения команды. Если этот флаг не указан, при наличии используется профиль с именем DEFAULT.

--progress-format формат

    Формат для отображения журналов хода выполнения: default, appendinplace, илиjson

-t, --target струна

    Если применимо, целевой объект пакета для использования