data-quality группа команд

Замечание

Эта информация относится к Интерфейсу командной строки Databricks версии 0.205 и выше. Интерфейс командной строки Databricks находится в общедоступной предварительной версии.

Использование интерфейса командной строки Databricks подчиняется лицензии Databricks и уведомлению о конфиденциальности Databricks, включая любые положения о данных использования.

Группа data-quality команд в интерфейсе командной строки Databricks содержит команды для управления качеством данных объектов каталога Unity. См. мониторинг качества данных.

databricks data-quality cancel-refresh

Отмена обновления монитора качества данных. В настоящее время поддерживается только для таблицы object_type. Вызов должен выполняться в той же рабочей области, что и при создании монитора.

Вызывающий объект должен иметь любой из следующих наборов разрешений:

  1. Управление и USE_CATALOG родительского каталога таблицы.
  2. USE_CATALOG родительского каталога таблицы, а также управление и USE_SCHEMA родительской схемы таблицы.
  3. USE_CATALOG в родительском каталоге таблицы USE_SCHEMA в родительской схеме таблицы и MANAGE в таблице.
databricks data-quality cancel-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Аргументы

OBJECT_TYPE

    Тип отслеживаемого объекта. Может быть одним из следующих вариантов: schema или table.

OBJECT_ID

    Идентификатор UUID объекта запроса. Оно предназначено schema_id для схемы и table_id таблицы.

     schema_id Найдите один из следующих элементов: (1) Schema_id ресурса схемы. (2) В обозревателе каталогов → выберите схему → перейдите на вкладку "Сведения" → поле "Идентификатор схемы".

     table_id Найдите один из следующих элементов: (1) Table_id ресурса таблиц. (2) В обозревателе каталогов → выберите таблицу → перейдите на вкладку "Сведения" → поле "Идентификатор таблицы".

REFRESH_ID

    Уникальный идентификатор операции обновления.

Options

Глобальные флаги

Примеры

Следующий пример отменяет операцию обновления:

databricks data-quality cancel-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks data-quality create-monitor

Создайте монитор качества данных в объекте каталога Unity. Вызывающий объект должен предоставлять anomaly_detection_config монитор схемы или data_profiling_config для табличного монитора.

Для таблицы object_type вызывающий объект должен иметь любой из следующих наборов разрешений:

  1. Управление и USE_CATALOG в родительском каталоге таблицы , USE_SCHEMA в родительской схеме таблицы и SELECT в таблице.
  2. USE_CATALOG в родительском каталоге таблицы, manage and USE_SCHEMA в родительской схеме таблицы и SELECT в таблице.
  3. USE_CATALOG в родительском каталоге таблицы , USE_SCHEMA в родительской схеме таблицы и MANAGE и SELECT в таблице.

Ресурсы рабочей области, такие как панель мониторинга, будут созданы в рабочей области, в которой был выполнен этот вызов.

Для object_type схемы вызывающий объект должен иметь один из следующих наборов разрешений:

  1. Управление и USE_CATALOG родительского каталога схемы.
  2. USE_CATALOG в родительском каталоге схемы, а также управление и USE_SCHEMA в схеме.
databricks data-quality create-monitor OBJECT_TYPE OBJECT_ID [flags]

Аргументы

OBJECT_TYPE

    Тип отслеживаемого объекта. Может быть одним из следующих вариантов: schema или table.

OBJECT_ID

    Идентификатор UUID объекта запроса. Оно предназначено schema_id для схемы и table_id таблицы.

     schema_id Найдите один из следующих элементов: (1) Schema_id ресурса схемы. (2) В обозревателе каталогов → выберите схему → перейдите на вкладку "Сведения" → поле "Идентификатор схемы".

     table_id Найдите один из следующих элементов: (1) Table_id ресурса таблиц. (2) В обозревателе каталогов → выберите таблицу → перейдите на вкладку "Сведения" → поле "Идентификатор таблицы".

Options

--json JSON

    Встроенная строка JSON или JSON-файл @path с текстом запроса

Глобальные флаги

Примеры

В следующем примере создается монитор качества данных для таблицы:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"enabled": true}}'

В следующем примере создается монитор с помощью JSON-файла:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json @monitor-config.json

databricks data-quality create-refresh

Создайте обновление. Вызов должен выполняться в той же рабочей области, что и при создании монитора.

Вызывающий объект должен иметь любой из следующих наборов разрешений:

  1. Управление и USE_CATALOG родительского каталога таблицы.
  2. USE_CATALOG родительского каталога таблицы, а также управление и USE_SCHEMA родительской схемы таблицы.
  3. USE_CATALOG в родительском каталоге таблицы USE_SCHEMA в родительской схеме таблицы и MANAGE в таблице.
databricks data-quality create-refresh OBJECT_TYPE OBJECT_ID [flags]

Аргументы

OBJECT_TYPE

    Тип отслеживаемого объекта. Может быть одним из следующих вариантов: schema или table.

OBJECT_ID

    Идентификатор UUID объекта запроса. Оно предназначено schema_id для схемы и table_id таблицы.

     schema_id Найдите один из следующих элементов: (1) Schema_id ресурса схемы. (2) В обозревателе каталогов → выберите схему → перейдите на вкладку "Сведения" → поле "Идентификатор схемы".

     table_id Найдите один из следующих элементов: (1) Table_id ресурса таблиц. (2) В обозревателе каталогов → выберите таблицу → перейдите на вкладку "Сведения" → поле "Идентификатор таблицы".

Options

--json JSON

    Встроенная строка JSON или JSON-файл @path с текстом запроса

Глобальные флаги

Примеры

В следующем примере создается обновление для монитора таблицы:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

В следующем примере создается обновление с помощью JSON:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{}'

databricks data-quality delete-monitor

Удалите монитор качества данных в объекте каталога Unity.

Для таблицы object_type вызывающий объект должен иметь любой из следующих наборов разрешений:

  1. Управление и USE_CATALOG родительского каталога таблицы.
  2. USE_CATALOG родительского каталога таблицы, а также управление и USE_SCHEMA родительской схемы таблицы.
  3. USE_CATALOG в родительском каталоге таблицы USE_SCHEMA в родительской схеме таблицы и MANAGE в таблице.

Это важно

Таблицы метрик и панель мониторинга не будут удалены в рамках этого вызова; Эти ресурсы необходимо очистить вручную (при необходимости).

Для object_type схемы вызывающий объект должен иметь один из следующих наборов разрешений:

  1. Управление и USE_CATALOG родительского каталога схемы.
  2. USE_CATALOG в родительском каталоге схемы, а также управление и USE_SCHEMA в схеме.
databricks data-quality delete-monitor OBJECT_TYPE OBJECT_ID [flags]

Аргументы

OBJECT_TYPE

    Тип отслеживаемого объекта. Может быть одним из следующих вариантов: schema или table.

OBJECT_ID

    Идентификатор UUID объекта запроса. Оно предназначено schema_id для схемы и table_id таблицы.

     schema_id Найдите один из следующих элементов: (1) Schema_id ресурса схемы. (2) В обозревателе каталогов → выберите схему → перейдите на вкладку "Сведения" → поле "Идентификатор схемы".

     table_id Найдите один из следующих элементов: (1) Table_id ресурса таблиц. (2) В обозревателе каталогов → выберите таблицу → перейдите на вкладку "Сведения" → поле "Идентификатор таблицы".

Options

Глобальные флаги

Примеры

В следующем примере удаляется монитор качества данных:

databricks data-quality delete-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

databricks data-quality get-monitor

Чтение монитора качества данных в объекте каталога Unity.

Для таблицы object_type вызывающий объект должен иметь любой из следующих наборов разрешений:

  1. Управление и USE_CATALOG родительского каталога таблицы.
  2. USE_CATALOG родительского каталога таблицы, а также управление и USE_SCHEMA родительской схемы таблицы.
  3. USE_CATALOG родительского каталога таблицы , USE_SCHEMA в родительской схеме таблицы и SELECT в таблице.

Для object_type схемы вызывающий объект должен иметь один из следующих наборов разрешений:

  1. Управление и USE_CATALOG родительского каталога схемы.
  2. USE_CATALOG в родительском каталоге схемы и USE_SCHEMA в схеме.

Возвращаемые сведения включают значения конфигурации сущности и родительской сущности, а также сведения о ресурсах, созданных монитором. Некоторые сведения (например, панель мониторинга) могут быть отфильтрованы, если вызывающий объект находится в другой рабочей области, отличной от места создания монитора.

databricks data-quality get-monitor OBJECT_TYPE OBJECT_ID [flags]

Аргументы

OBJECT_TYPE

    Тип отслеживаемого объекта. Может быть одним из следующих вариантов: schema или table.

OBJECT_ID

    Идентификатор UUID объекта запроса. Оно предназначено schema_id для схемы и table_id таблицы.

     schema_id Найдите один из следующих элементов: (1) Schema_id ресурса схемы. (2) В обозревателе каталогов → выберите схему → перейдите на вкладку "Сведения" → поле "Идентификатор схемы".

     table_id Найдите один из следующих элементов: (1) Table_id ресурса таблиц. (2) В обозревателе каталогов → выберите таблицу → перейдите на вкладку "Сведения" → поле "Идентификатор таблицы".

Options

Глобальные флаги

Примеры

В следующем примере показано, как получить сведения о мониторе качества данных:

databricks data-quality get-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

databricks data-quality get-refresh

Получение сведений об обновлении монитора качества данных. Вызов должен выполняться в той же рабочей области, что и при создании монитора.

Для таблицы object_type вызывающий объект должен иметь любой из следующих наборов разрешений:

  1. Управление и USE_CATALOG родительского каталога таблицы.
  2. USE_CATALOG родительского каталога таблицы, а также управление и USE_SCHEMA родительской схемы таблицы.
  3. USE_CATALOG родительского каталога таблицы , USE_SCHEMA в родительской схеме таблицы и SELECT в таблице.

Для object_type схемы вызывающий объект должен иметь один из следующих наборов разрешений:

  1. Управление и USE_CATALOG родительского каталога схемы.
  2. USE_CATALOG в родительском каталоге схемы и USE_SCHEMA в схеме.
databricks data-quality get-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Аргументы

OBJECT_TYPE

    Тип отслеживаемого объекта. Может быть одним из следующих вариантов: schema или table.

OBJECT_ID

    Идентификатор UUID объекта запроса. Оно предназначено schema_id для схемы и table_id таблицы.

     schema_id Найдите один из следующих элементов: (1) Schema_id ресурса схемы. (2) В обозревателе каталогов → выберите схему → перейдите на вкладку "Сведения" → поле "Идентификатор схемы".

     table_id Найдите один из следующих элементов: (1) Table_id ресурса таблиц. (2) В обозревателе каталогов → выберите таблицу → перейдите на вкладку "Сведения" → поле "Идентификатор таблицы".

REFRESH_ID

    Уникальный идентификатор операции обновления.

Options

Глобальные флаги

Примеры

В следующем примере показано, как получить сведения об обновлении:

databricks data-quality get-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks data-quality list-refresh

Вывод списка обновлений монитора качества данных. Вызов должен выполняться в той же рабочей области, что и при создании монитора.

Для таблицы object_type вызывающий объект должен иметь любой из следующих наборов разрешений:

  1. Управление и USE_CATALOG родительского каталога таблицы.
  2. USE_CATALOG родительского каталога таблицы, а также управление и USE_SCHEMA родительской схемы таблицы.
  3. USE_CATALOG родительского каталога таблицы , USE_SCHEMA в родительской схеме таблицы и SELECT в таблице.

Для object_type схемы вызывающий объект должен иметь один из следующих наборов разрешений:

  1. Управление и USE_CATALOG родительского каталога схемы.
  2. USE_CATALOG в родительском каталоге схемы и USE_SCHEMA в схеме.
databricks data-quality list-refresh OBJECT_TYPE OBJECT_ID [flags]

Аргументы

OBJECT_TYPE

    Тип отслеживаемого объекта. Может быть одним из следующих вариантов: schema или table.

OBJECT_ID

    Идентификатор UUID объекта запроса. Оно предназначено schema_id для схемы и table_id таблицы.

     schema_id Найдите один из следующих элементов: (1) Schema_id ресурса схемы. (2) В обозревателе каталогов → выберите схему → перейдите на вкладку "Сведения" → поле "Идентификатор схемы".

     table_id Найдите один из следующих элементов: (1) Table_id ресурса таблиц. (2) В обозревателе каталогов → выберите таблицу → перейдите на вкладку "Сведения" → поле "Идентификатор таблицы".

Options

--page-size int

    Максимальное количество обновлений, возвращаемых на страницу.

--page-token string

    Маркер для получения следующей страницы результатов.

Глобальные флаги

Примеры

В следующем примере перечислены все обновления для монитора:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

В следующем примере перечислены обновления с разбивкой на страницы:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --page-size 10

databricks data-quality update-monitor

Обновите монитор качества данных в объекте каталога Unity.

Для таблицы object_type вызывающий объект должен иметь любой из следующих наборов разрешений:

  1. Управление и USE_CATALOG родительского каталога таблицы.
  2. USE_CATALOG родительского каталога таблицы, а также управление и USE_SCHEMA родительской схемы таблицы.
  3. USE_CATALOG в родительском каталоге таблицы USE_SCHEMA в родительской схеме таблицы и MANAGE в таблице.

Для object_type схемы вызывающий объект должен иметь один из следующих наборов разрешений:

  1. Управление и USE_CATALOG родительского каталога схемы.
  2. USE_CATALOG в родительском каталоге схемы, а также управление и USE_SCHEMA в схеме.
databricks data-quality update-monitor OBJECT_TYPE OBJECT_ID UPDATE_MASK OBJECT_TYPE OBJECT_ID [flags]

Аргументы

OBJECT_TYPE

    Тип отслеживаемого объекта. Может быть одним из следующих вариантов: schema или table.

OBJECT_ID

    Идентификатор UUID объекта запроса. Оно предназначено schema_id для схемы и table_id таблицы.

UPDATE_MASK

    Маска поля, указывающая, какие поля необходимо обновить в виде списка с разделием запятыми. Пример значения: data_profiling_config.custom_metrics,data_profiling_config.schedule.quartz_cron_expression.

Options

--json JSON

    Встроенная строка JSON или JSON-файл @path с текстом запроса

Глобальные флаги

Примеры

В следующем примере обновляется конфигурация монитора:

databricks data-quality update-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 "data_profiling_config.schedule.quartz_cron_expression" table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"schedule": {"quartz_cron_expression": "0 0 12 * * ?"}}}'

Глобальные флаги

Глобальные флаги

--debug

  Следует ли включить ведение журнала отладки.

-h или --help

    Отобразить справку по интерфейсу командной строки Databricks, связанной группе команд или отдельной команде.

--log-file струна

    Строка, представляющая файл для записи журналов выходных данных. Если этот флаг не указан, по умолчанию используется запись журналов выходных данных в stderr.

--log-format формат

    Тип формата журнала: text или json. Значение по умолчанию — text.

--log-level струна

    Строка, представляющая уровень формата журнала. Если не указано, уровень формата журнала отключен.

типа -o, --output

    Тип выходных данных команды: text или json. Значение по умолчанию — text.

-p, --profile струна

    Имя профиля в ~/.databrickscfg файле, используемого для выполнения команды. Если этот флаг не указан, при наличии используется профиль с именем DEFAULT.

--progress-format формат

    Формат для отображения журналов хода выполнения: default, appendinplace, илиjson

-t, --target струна

    Если применимо, целевой объект пакета для использования

  • Last updated on