data-quality grupa poleceń

Uwaga / Notatka

Te informacje dotyczą interfejsu wiersza polecenia usługi Databricks w wersji 0.205 lub nowszej. Interfejs CLI Databricks jest w publicznej wersji testowej.

Korzystanie z interfejsu wiersza polecenia usługi Databricks podlega licencjom usługi Databricks i powiadomieniom o ochronie prywatności usługi Databricks, w tym wszelkim przepisom dotyczącym danych użycia.

Grupa data-quality poleceń w interfejsie wiersza polecenia usługi Databricks zawiera polecenia do zarządzania jakością danych obiektów wykazu aparatu Unity. Zobacz Monitorowanie jakości danych.

databricks data-quality cancel-refresh

Anulowanie odświeżania monitora jakości danych. Obecnie obsługiwane tylko dla object_type tabeli. Wywołanie musi zostać wykonane w tym samym obszarze roboczym, w którym został utworzony monitor.

Obiekt wywołujący musi mieć jeden z następujących zestawów uprawnień:

  1. ZARZĄDZANIE wykazem nadrzędnym tabeli i USE_CATALOG .
  2. USE_CATALOG w wykazie nadrzędnym tabeli oraz ZARZĄDZAJ i USE_SCHEMA w schemacie nadrzędnym tabeli.
  3. USE_CATALOG w katalogu nadrzędnym tabeli, USE_SCHEMA w schemacie nadrzędnym tabeli i ZARZĄDZAJ w tabeli.
databricks data-quality cancel-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorowanego obiektu. Może być jednym z następujących elementów: schema lub table.

OBJECT_ID

    Identyfikator UUID obiektu żądania. Jest przeznaczony schema_id dla schematu i table_id tabeli.

     schema_id Znajdź jedną z następujących wartości: (1) Schema_id zasobu Schematy. (2) W Eksploratorze wykazu → wybierz schemat → przejdź do karty Szczegóły → pole Identyfikator schematu.

     table_id Znajdź jedną z następujących wartości: (1) Table_id zasobu Tabele. (2) W Eksploratorze wykazu → wybierz tabelę, → przejdź do karty Szczegóły → pole Identyfikator tabeli.

REFRESH_ID

    Unikatowy identyfikator operacji odświeżania.

Opcje

Flagi globalne

Przykłady

Poniższy przykład anuluje operację odświeżania:

databricks data-quality cancel-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks data-quality create-monitor

Tworzenie monitora jakości danych w obiekcie wykazu aparatu Unity. Obiekt wywołujący musi podać anomaly_detection_config monitor schematu lub data_profiling_config monitor tabeli.

W przypadku object_type tabeli obiekt wywołujący musi mieć jeden z następujących zestawów uprawnień:

  1. ZARZĄDZAJ i USE_CATALOG w katalogu nadrzędnym tabeli, USE_SCHEMA w schemacie nadrzędnym tabeli i SELECT w tabeli.
  2. USE_CATALOG w katalogu nadrzędnym tabeli, ZARZĄDZAJ i USE_SCHEMA w schemacie nadrzędnym tabeli oraz SELECT w tabeli.
  3. USE_CATALOG w wykazie nadrzędnym tabeli, USE_SCHEMA w schemacie nadrzędnym tabeli oraz ZARZĄDZAJ i SELECT w tabeli.

Zasoby obszaru roboczego, takie jak pulpit nawigacyjny, zostaną utworzone w obszarze roboczym, w którym zostało wykonane to wywołanie.

W przypadku object_type schematu obiekt wywołujący musi mieć jeden z następujących zestawów uprawnień:

  1. ZARZĄDZANIE katalogiem nadrzędnym schematu i USE_CATALOG .
  2. USE_CATALOG w katalogu nadrzędnym schematu oraz ZARZĄDZAJ i USE_SCHEMA w schemacie.
databricks data-quality create-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorowanego obiektu. Może być jednym z następujących elementów: schema lub table.

OBJECT_ID

    Identyfikator UUID obiektu żądania. Jest przeznaczony schema_id dla schematu i table_id tabeli.

     schema_id Znajdź jedną z następujących wartości: (1) Schema_id zasobu Schematy. (2) W Eksploratorze wykazu → wybierz schemat → przejdź do karty Szczegóły → pole Identyfikator schematu.

     table_id Znajdź jedną z następujących wartości: (1) Table_id zasobu Tabele. (2) W Eksploratorze wykazu → wybierz tabelę, → przejdź do karty Szczegóły → pole Identyfikator tabeli.

Opcje

--json JSON

    Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania

Flagi globalne

Przykłady

Poniższy przykład tworzy monitor jakości danych dla tabeli:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"enabled": true}}'

Poniższy przykład tworzy monitor przy użyciu pliku JSON:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json @monitor-config.json

databricks data-quality create-refresh

Utwórz odświeżanie. Wywołanie musi zostać wykonane w tym samym obszarze roboczym, w którym został utworzony monitor.

Obiekt wywołujący musi mieć jeden z następujących zestawów uprawnień:

  1. ZARZĄDZANIE wykazem nadrzędnym tabeli i USE_CATALOG .
  2. USE_CATALOG w wykazie nadrzędnym tabeli oraz ZARZĄDZAJ i USE_SCHEMA w schemacie nadrzędnym tabeli.
  3. USE_CATALOG w katalogu nadrzędnym tabeli, USE_SCHEMA w schemacie nadrzędnym tabeli i ZARZĄDZAJ w tabeli.
databricks data-quality create-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorowanego obiektu. Może być jednym z następujących elementów: schema lub table.

OBJECT_ID

    Identyfikator UUID obiektu żądania. Jest przeznaczony schema_id dla schematu i table_id tabeli.

     schema_id Znajdź jedną z następujących wartości: (1) Schema_id zasobu Schematy. (2) W Eksploratorze wykazu → wybierz schemat → przejdź do karty Szczegóły → pole Identyfikator schematu.

     table_id Znajdź jedną z następujących wartości: (1) Table_id zasobu Tabele. (2) W Eksploratorze wykazu → wybierz tabelę, → przejdź do karty Szczegóły → pole Identyfikator tabeli.

Opcje

--json JSON

    Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania

Flagi globalne

Przykłady

Poniższy przykład tworzy odświeżanie monitora tabeli:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

Poniższy przykład tworzy odświeżanie przy użyciu formatu JSON:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{}'

databricks data-quality delete-monitor

Usuwanie monitora jakości danych w obiekcie wykazu aparatu Unity.

W przypadku object_type tabeli obiekt wywołujący musi mieć jeden z następujących zestawów uprawnień:

  1. ZARZĄDZANIE wykazem nadrzędnym tabeli i USE_CATALOG .
  2. USE_CATALOG w wykazie nadrzędnym tabeli oraz ZARZĄDZAJ i USE_SCHEMA w schemacie nadrzędnym tabeli.
  3. USE_CATALOG w katalogu nadrzędnym tabeli, USE_SCHEMA w schemacie nadrzędnym tabeli i ZARZĄDZAJ w tabeli.

Ważne

Tabele metryk i pulpit nawigacyjny nie zostaną usunięte w ramach tego wywołania; te zasoby muszą zostać ręcznie wyczyszczone (w razie potrzeby).

W przypadku object_type schematu obiekt wywołujący musi mieć jeden z następujących zestawów uprawnień:

  1. ZARZĄDZANIE katalogiem nadrzędnym schematu i USE_CATALOG .
  2. USE_CATALOG w katalogu nadrzędnym schematu oraz ZARZĄDZAJ i USE_SCHEMA w schemacie.
databricks data-quality delete-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorowanego obiektu. Może być jednym z następujących elementów: schema lub table.

OBJECT_ID

    Identyfikator UUID obiektu żądania. Jest przeznaczony schema_id dla schematu i table_id tabeli.

     schema_id Znajdź jedną z następujących wartości: (1) Schema_id zasobu Schematy. (2) W Eksploratorze wykazu → wybierz schemat → przejdź do karty Szczegóły → pole Identyfikator schematu.

     table_id Znajdź jedną z następujących wartości: (1) Table_id zasobu Tabele. (2) W Eksploratorze wykazu → wybierz tabelę, → przejdź do karty Szczegóły → pole Identyfikator tabeli.

Opcje

Flagi globalne

Przykłady

Poniższy przykład usuwa monitor jakości danych:

databricks data-quality delete-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

databricks data-quality get-monitor

Odczytywanie monitora jakości danych w obiekcie wykazu aparatu Unity.

W przypadku object_type tabeli obiekt wywołujący musi mieć jeden z następujących zestawów uprawnień:

  1. ZARZĄDZANIE wykazem nadrzędnym tabeli i USE_CATALOG .
  2. USE_CATALOG w wykazie nadrzędnym tabeli oraz ZARZĄDZAJ i USE_SCHEMA w schemacie nadrzędnym tabeli.
  3. USE_CATALOG w katalogu nadrzędnym tabeli, USE_SCHEMA w schemacie nadrzędnym tabeli i SELECT tabeli.

W przypadku object_type schematu obiekt wywołujący musi mieć jeden z następujących zestawów uprawnień:

  1. ZARZĄDZANIE katalogiem nadrzędnym schematu i USE_CATALOG .
  2. USE_CATALOG katalogu nadrzędnego schematu i USE_SCHEMA schematu.

Zwrócone informacje obejmują wartości konfiguracji jednostki i jednostki nadrzędnej, a także informacje o zasobach utworzonych przez monitor. Niektóre informacje (np. pulpit nawigacyjny) mogą być odfiltrowane, jeśli obiekt wywołujący znajduje się w innym obszarze roboczym niż miejsce utworzenia monitora.

databricks data-quality get-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorowanego obiektu. Może być jednym z następujących elementów: schema lub table.

OBJECT_ID

    Identyfikator UUID obiektu żądania. Jest przeznaczony schema_id dla schematu i table_id tabeli.

     schema_id Znajdź jedną z następujących wartości: (1) Schema_id zasobu Schematy. (2) W Eksploratorze wykazu → wybierz schemat → przejdź do karty Szczegóły → pole Identyfikator schematu.

     table_id Znajdź jedną z następujących wartości: (1) Table_id zasobu Tabele. (2) W Eksploratorze wykazu → wybierz tabelę, → przejdź do karty Szczegóły → pole Identyfikator tabeli.

Opcje

Flagi globalne

Przykłady

Poniższy przykład pobiera informacje o monitorze jakości danych:

databricks data-quality get-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

databricks data-quality get-refresh

Pobieranie informacji o odświeżaniu monitora jakości danych. Wywołanie musi zostać wykonane w tym samym obszarze roboczym, w którym został utworzony monitor.

W przypadku object_type tabeli obiekt wywołujący musi mieć jeden z następujących zestawów uprawnień:

  1. ZARZĄDZANIE wykazem nadrzędnym tabeli i USE_CATALOG .
  2. USE_CATALOG w wykazie nadrzędnym tabeli oraz ZARZĄDZAJ i USE_SCHEMA w schemacie nadrzędnym tabeli.
  3. USE_CATALOG w katalogu nadrzędnym tabeli, USE_SCHEMA w schemacie nadrzędnym tabeli i SELECT tabeli.

W przypadku object_type schematu obiekt wywołujący musi mieć jeden z następujących zestawów uprawnień:

  1. ZARZĄDZANIE katalogiem nadrzędnym schematu i USE_CATALOG .
  2. USE_CATALOG katalogu nadrzędnego schematu i USE_SCHEMA schematu.
databricks data-quality get-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorowanego obiektu. Może być jednym z następujących elementów: schema lub table.

OBJECT_ID

    Identyfikator UUID obiektu żądania. Jest przeznaczony schema_id dla schematu i table_id tabeli.

     schema_id Znajdź jedną z następujących wartości: (1) Schema_id zasobu Schematy. (2) W Eksploratorze wykazu → wybierz schemat → przejdź do karty Szczegóły → pole Identyfikator schematu.

     table_id Znajdź jedną z następujących wartości: (1) Table_id zasobu Tabele. (2) W Eksploratorze wykazu → wybierz tabelę, → przejdź do karty Szczegóły → pole Identyfikator tabeli.

REFRESH_ID

    Unikatowy identyfikator operacji odświeżania.

Opcje

Flagi globalne

Przykłady

Poniższy przykład pobiera informacje o odświeżeniu:

databricks data-quality get-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks data-quality list-refresh

Wyświetlanie listy odświeżeń monitora jakości danych. Wywołanie musi zostać wykonane w tym samym obszarze roboczym, w którym został utworzony monitor.

W przypadku object_type tabeli obiekt wywołujący musi mieć jeden z następujących zestawów uprawnień:

  1. ZARZĄDZANIE wykazem nadrzędnym tabeli i USE_CATALOG .
  2. USE_CATALOG w wykazie nadrzędnym tabeli oraz ZARZĄDZAJ i USE_SCHEMA w schemacie nadrzędnym tabeli.
  3. USE_CATALOG w katalogu nadrzędnym tabeli, USE_SCHEMA w schemacie nadrzędnym tabeli i SELECT tabeli.

W przypadku object_type schematu obiekt wywołujący musi mieć jeden z następujących zestawów uprawnień:

  1. ZARZĄDZANIE katalogiem nadrzędnym schematu i USE_CATALOG .
  2. USE_CATALOG katalogu nadrzędnego schematu i USE_SCHEMA schematu.
databricks data-quality list-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorowanego obiektu. Może być jednym z następujących elementów: schema lub table.

OBJECT_ID

    Identyfikator UUID obiektu żądania. Jest przeznaczony schema_id dla schematu i table_id tabeli.

     schema_id Znajdź jedną z następujących wartości: (1) Schema_id zasobu Schematy. (2) W Eksploratorze wykazu → wybierz schemat → przejdź do karty Szczegóły → pole Identyfikator schematu.

     table_id Znajdź jedną z następujących wartości: (1) Table_id zasobu Tabele. (2) W Eksploratorze wykazu → wybierz tabelę, → przejdź do karty Szczegóły → pole Identyfikator tabeli.

Opcje

--page-size int

    Maksymalna liczba odświeżeń zwracanych na stronę.

--page-token string

    Token do pobrania następnej strony wyników.

Flagi globalne

Przykłady

W poniższym przykładzie wymieniono wszystkie operacje odświeżania monitora:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

Poniższy przykład zawiera listę odświeżeń z podziałem na strony:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --page-size 10

databricks data-quality update-monitor

Aktualizowanie monitora jakości danych w obiekcie wykazu aparatu Unity.

W przypadku object_type tabeli obiekt wywołujący musi mieć jeden z następujących zestawów uprawnień:

  1. ZARZĄDZANIE wykazem nadrzędnym tabeli i USE_CATALOG .
  2. USE_CATALOG w wykazie nadrzędnym tabeli oraz ZARZĄDZAJ i USE_SCHEMA w schemacie nadrzędnym tabeli.
  3. USE_CATALOG w katalogu nadrzędnym tabeli, USE_SCHEMA w schemacie nadrzędnym tabeli i ZARZĄDZAJ w tabeli.

W przypadku object_type schematu obiekt wywołujący musi mieć jeden z następujących zestawów uprawnień:

  1. ZARZĄDZANIE katalogiem nadrzędnym schematu i USE_CATALOG .
  2. USE_CATALOG w katalogu nadrzędnym schematu oraz ZARZĄDZAJ i USE_SCHEMA w schemacie.
databricks data-quality update-monitor OBJECT_TYPE OBJECT_ID UPDATE_MASK OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorowanego obiektu. Może być jednym z następujących elementów: schema lub table.

OBJECT_ID

    Identyfikator UUID obiektu żądania. Jest przeznaczony schema_id dla schematu i table_id tabeli.

UPDATE_MASK

    Maska pól określająca, które pola mają być aktualizowane jako lista rozdzielona przecinkami. Przykładowa wartość: data_profiling_config.custom_metrics,data_profiling_config.schedule.quartz_cron_expression.

Opcje

--json JSON

    Wbudowany ciąg JSON lub @path do pliku JSON z treścią żądania

Flagi globalne

Przykłady

Poniższy przykład aktualizuje konfigurację monitora:

databricks data-quality update-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 "data_profiling_config.schedule.quartz_cron_expression" table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"schedule": {"quartz_cron_expression": "0 0 12 * * ?"}}}'

Flagi globalne

Flagi globalne

--debug

  Czy włączyć logowanie debugowe.

-h lub --help

    Wyświetl pomoc dla Databricks CLI lub dla powiązanej grupy poleceń czy pojedynczego polecenia.

--log-file łańcuch znaków

    Ciąg tekstowy reprezentujący plik do zapisywania logów wyjściowych. Jeśli ta flaga nie zostanie określona, wartością domyślną jest zapisywanie dzienników wyjściowych w programie stderr.

--log-format formatowanie

    Format typu logu text lub json. Domyślna wartość to text.

--log-level łańcuch znaków

    Ciąg reprezentujący poziom formatu zapisu dziennika. Jeśli nie zostanie określony, poziom formatu dziennika jest wyłączony.

-o, --output typ

    Typ danych wyjściowych polecenia: text lub json. Domyślna wartość to text.

-p, --profile łańcuch znaków

    Nazwa profilu w pliku ~/.databrickscfg, który ma być użyty do uruchomienia polecenia. Jeśli ta flaga nie zostanie określona, to jeśli istnieje, zostanie użyty profil o nazwie DEFAULT.

--progress-format formatowanie

    Format wyświetlania dzienników postępu: default, , appendinplacelubjson

-t, --target łańcuch znaków

    Jeśli ma to zastosowanie, docelowy obiekt pakietu do użycia

  • Last updated on