data-quality skupina příkazů

Poznámka:

Tyto informace platí pro Databricks CLI verze 0.205 a vyšší. Rozhraní příkazového řádku Databricks je ve veřejné ukázce.

Použití rozhraní příkazového řádku Databricks podléhá licenci Databricks a oznámení o ochraně osobních údajů Databricks, včetně všech ustanovení o využití.

Skupina data-quality příkazů v rozhraní příkazového řádku Databricks obsahuje příkazy pro správu kvality dat objektů katalogu Unity. Viz Monitorování kvality dat.

Databricks – zrušení aktualizace kvality dat

Zrušení aktualizace monitorování kvality dat V současné době se podporuje pouze pro object_type tabulky. Volání musí být provedeno ve stejném pracovním prostoru jako v případě vytvoření monitorování.

Volající musí mít jednu z následujících sad oprávnění:

  1. SPRÁVA a USE_CATALOG v nadřazené katalogu tabulky.
  2. USE_CATALOG nadřazeného katalogu tabulky a spravovat a USE_SCHEMA v nadřazené schéma tabulky.
  3. USE_CATALOG nadřazeného katalogu tabulky , USE_SCHEMA nadřazeného schématu tabulky a SPRAVOVAT v tabulce.
databricks data-quality cancel-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorovaného objektu. Může to být jedna z následujících možností: schema nebo table.

OBJECT_ID

    UUID objektu požadavku. Je schema_id určená pro schéma a table_id pro tabulku.

     schema_id Najděte jednu z těchto možností: (1) Schema_id prostředku Schémata. (2) V Průzkumníku katalogu → vyberte schéma → přejděte na kartu Podrobnosti → pole ID schématu.

     table_id Najděte jednu z těchto možností: (1) Table_id prostředku Tabulky. (2) V Průzkumníku katalogu → vyberte tabulku → přejděte na kartu Podrobnosti → pole ID tabulky.

REFRESH_ID

    Jedinečné ID operace aktualizace

Možnosti

Globální příznaky

Příklady

Následující příklad zruší operaci aktualizace:

databricks data-quality cancel-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

Databricks data-quality create-monitor

Vytvořte monitorování kvality dat na objektu katalogu Unity. Volající musí poskytovat anomaly_detection_config monitorování schématu nebo data_profiling_config monitorování tabulky.

V případě object_type tabulky musí volající mít jednu z následujících sad oprávnění:

  1. SPRÁVA a USE_CATALOG nadřazeného katalogu tabulky , USE_SCHEMA nadřazeného schématu tabulky a SELECT tabulky.
  2. USE_CATALOG nadřazeného katalogu tabulky, SPRAVOVAT a USE_SCHEMA na nadřazené schéma tabulky a SELECT v tabulce.
  3. USE_CATALOG nadřazeného katalogu tabulky , USE_SCHEMA nadřazeného schématu tabulky a SPRAVOVAT a SELECT v tabulce.

Prostředky pracovního prostoru, jako je řídicí panel, se vytvoří v pracovním prostoru, ve kterém bylo toto volání provedeno.

Pro object_type schématu musí volající mít jednu z následujících sad oprávnění:

  1. SPRÁVA a USE_CATALOG v nadřazené katalogu schématu.
  2. USE_CATALOG v nadřazeném katalogu schématu a spravovat a USE_SCHEMA ve schématu.
databricks data-quality create-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorovaného objektu. Může to být jedna z následujících možností: schema nebo table.

OBJECT_ID

    UUID objektu požadavku. Je schema_id určená pro schéma a table_id pro tabulku.

     schema_id Najděte jednu z těchto možností: (1) Schema_id prostředku Schémata. (2) V Průzkumníku katalogu → vyberte schéma → přejděte na kartu Podrobnosti → pole ID schématu.

     table_id Najděte jednu z těchto možností: (1) Table_id prostředku Tabulky. (2) V Průzkumníku katalogu → vyberte tabulku → přejděte na kartu Podrobnosti → pole ID tabulky.

Možnosti

--json JSON

    Vložený řetězec JSON nebo soubor JSON @path s tělem požadavku

Globální příznaky

Příklady

Následující příklad vytvoří monitorování kvality dat pro tabulku:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"enabled": true}}'

Následující příklad vytvoří monitorování pomocí souboru JSON:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json @monitor-config.json

Databricks – kvalita vytvoření a aktualizace

Vytvořte aktualizaci. Volání musí být provedeno ve stejném pracovním prostoru jako v případě vytvoření monitorování.

Volající musí mít jednu z následujících sad oprávnění:

  1. SPRÁVA a USE_CATALOG v nadřazené katalogu tabulky.
  2. USE_CATALOG nadřazeného katalogu tabulky a spravovat a USE_SCHEMA v nadřazené schéma tabulky.
  3. USE_CATALOG nadřazeného katalogu tabulky , USE_SCHEMA nadřazeného schématu tabulky a SPRAVOVAT v tabulce.
databricks data-quality create-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorovaného objektu. Může to být jedna z následujících možností: schema nebo table.

OBJECT_ID

    UUID objektu požadavku. Je schema_id určená pro schéma a table_id pro tabulku.

     schema_id Najděte jednu z těchto možností: (1) Schema_id prostředku Schémata. (2) V Průzkumníku katalogu → vyberte schéma → přejděte na kartu Podrobnosti → pole ID schématu.

     table_id Najděte jednu z těchto možností: (1) Table_id prostředku Tabulky. (2) V Průzkumníku katalogu → vyberte tabulku → přejděte na kartu Podrobnosti → pole ID tabulky.

Možnosti

--json JSON

    Vložený řetězec JSON nebo soubor JSON @path s tělem požadavku

Globální příznaky

Příklady

Následující příklad vytvoří aktualizaci monitoru tabulky:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

Následující příklad vytvoří aktualizaci pomocí kódu JSON:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{}'

Monitorování odstranění kvality dat Databricks

Odstraňte monitorování kvality dat v objektu katalogu Unity.

V případě object_type tabulky musí volající mít jednu z následujících sad oprávnění:

  1. SPRÁVA a USE_CATALOG v nadřazené katalogu tabulky.
  2. USE_CATALOG nadřazeného katalogu tabulky a spravovat a USE_SCHEMA v nadřazené schéma tabulky.
  3. USE_CATALOG nadřazeného katalogu tabulky , USE_SCHEMA nadřazeného schématu tabulky a SPRAVOVAT v tabulce.

Důležité

Tabulky metrik a řídicí panel nebudou v rámci tohoto volání odstraněny; tyto prostředky musí být ručně vyčištěny (pokud je to žádoucí).

Pro object_type schématu musí volající mít jednu z následujících sad oprávnění:

  1. SPRÁVA a USE_CATALOG v nadřazené katalogu schématu.
  2. USE_CATALOG v nadřazeném katalogu schématu a spravovat a USE_SCHEMA ve schématu.
databricks data-quality delete-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorovaného objektu. Může to být jedna z následujících možností: schema nebo table.

OBJECT_ID

    UUID objektu požadavku. Je schema_id určená pro schéma a table_id pro tabulku.

     schema_id Najděte jednu z těchto možností: (1) Schema_id prostředku Schémata. (2) V Průzkumníku katalogu → vyberte schéma → přejděte na kartu Podrobnosti → pole ID schématu.

     table_id Najděte jednu z těchto možností: (1) Table_id prostředku Tabulky. (2) V Průzkumníku katalogu → vyberte tabulku → přejděte na kartu Podrobnosti → pole ID tabulky.

Možnosti

Globální příznaky

Příklady

Následující příklad odstraní monitorování kvality dat:

databricks data-quality delete-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

Databricks data-quality get-monitor

Čtení monitorování kvality dat v objektu katalogu Unity

V případě object_type tabulky musí volající mít jednu z následujících sad oprávnění:

  1. SPRÁVA a USE_CATALOG v nadřazené katalogu tabulky.
  2. USE_CATALOG nadřazeného katalogu tabulky a spravovat a USE_SCHEMA v nadřazené schéma tabulky.
  3. USE_CATALOG nadřazeného katalogu tabulky , USE_SCHEMA nadřazeného schématu tabulky a SELECT tabulky.

Pro object_type schématu musí volající mít jednu z následujících sad oprávnění:

  1. SPRÁVA a USE_CATALOG v nadřazené katalogu schématu.
  2. USE_CATALOG v nadřazeném katalogu schématu a USE_SCHEMA ve schématu.

Vrácené informace zahrnují hodnoty konfigurace entity a nadřazené entity a také informace o prostředcích vytvořených monitorováním. Některé informace (např. řídicí panel) se můžou vyfiltrovat, pokud je volající v jiném pracovním prostoru, než kde byl monitor vytvořen.

databricks data-quality get-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorovaného objektu. Může to být jedna z následujících možností: schema nebo table.

OBJECT_ID

    UUID objektu požadavku. Je schema_id určená pro schéma a table_id pro tabulku.

     schema_id Najděte jednu z těchto možností: (1) Schema_id prostředku Schémata. (2) V Průzkumníku katalogu → vyberte schéma → přejděte na kartu Podrobnosti → pole ID schématu.

     table_id Najděte jednu z těchto možností: (1) Table_id prostředku Tabulky. (2) V Průzkumníku katalogu → vyberte tabulku → přejděte na kartu Podrobnosti → pole ID tabulky.

Možnosti

Globální příznaky

Příklady

Následující příklad získá informace o monitorování kvality dat:

databricks data-quality get-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

Databricks – kvalita get-refresh

Získejte informace o aktualizaci monitorování kvality dat. Volání musí být provedeno ve stejném pracovním prostoru jako v případě vytvoření monitorování.

V případě object_type tabulky musí volající mít jednu z následujících sad oprávnění:

  1. SPRÁVA a USE_CATALOG v nadřazené katalogu tabulky.
  2. USE_CATALOG nadřazeného katalogu tabulky a spravovat a USE_SCHEMA v nadřazené schéma tabulky.
  3. USE_CATALOG nadřazeného katalogu tabulky , USE_SCHEMA nadřazeného schématu tabulky a SELECT tabulky.

Pro object_type schématu musí volající mít jednu z následujících sad oprávnění:

  1. SPRÁVA a USE_CATALOG v nadřazené katalogu schématu.
  2. USE_CATALOG v nadřazeném katalogu schématu a USE_SCHEMA ve schématu.
databricks data-quality get-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorovaného objektu. Může to být jedna z následujících možností: schema nebo table.

OBJECT_ID

    UUID objektu požadavku. Je schema_id určená pro schéma a table_id pro tabulku.

     schema_id Najděte jednu z těchto možností: (1) Schema_id prostředku Schémata. (2) V Průzkumníku katalogu → vyberte schéma → přejděte na kartu Podrobnosti → pole ID schématu.

     table_id Najděte jednu z těchto možností: (1) Table_id prostředku Tabulky. (2) V Průzkumníku katalogu → vyberte tabulku → přejděte na kartu Podrobnosti → pole ID tabulky.

REFRESH_ID

    Jedinečné ID operace aktualizace

Možnosti

Globální příznaky

Příklady

Následující příklad získá informace o aktualizaci:

databricks data-quality get-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

Databricks – seznam pro zvýšení kvality dat – aktualizace

Zobrazí seznam aktualizací monitorování kvality dat. Volání musí být provedeno ve stejném pracovním prostoru jako v případě vytvoření monitorování.

V případě object_type tabulky musí volající mít jednu z následujících sad oprávnění:

  1. SPRÁVA a USE_CATALOG v nadřazené katalogu tabulky.
  2. USE_CATALOG nadřazeného katalogu tabulky a spravovat a USE_SCHEMA v nadřazené schéma tabulky.
  3. USE_CATALOG nadřazeného katalogu tabulky , USE_SCHEMA nadřazeného schématu tabulky a SELECT tabulky.

Pro object_type schématu musí volající mít jednu z následujících sad oprávnění:

  1. SPRÁVA a USE_CATALOG v nadřazené katalogu schématu.
  2. USE_CATALOG v nadřazeném katalogu schématu a USE_SCHEMA ve schématu.
databricks data-quality list-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorovaného objektu. Může to být jedna z následujících možností: schema nebo table.

OBJECT_ID

    UUID objektu požadavku. Je schema_id určená pro schéma a table_id pro tabulku.

     schema_id Najděte jednu z těchto možností: (1) Schema_id prostředku Schémata. (2) V Průzkumníku katalogu → vyberte schéma → přejděte na kartu Podrobnosti → pole ID schématu.

     table_id Najděte jednu z těchto možností: (1) Table_id prostředku Tabulky. (2) V Průzkumníku katalogu → vyberte tabulku → přejděte na kartu Podrobnosti → pole ID tabulky.

Možnosti

--page-size int

    Maximální počet aktualizací, které se mají vrátit na stránku

--page-token string

    Token pro načtení další stránky výsledků

Globální příznaky

Příklady

Následující příklad uvádí všechny aktualizace monitoru:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

Následující příklad uvádí aktualizace pomocí stránkování:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --page-size 10

Monitorování aktualizací kvality dat databricks

Aktualizace monitorování kvality dat v objektu katalogu Unity

V případě object_type tabulky musí volající mít jednu z následujících sad oprávnění:

  1. SPRÁVA a USE_CATALOG v nadřazené katalogu tabulky.
  2. USE_CATALOG nadřazeného katalogu tabulky a spravovat a USE_SCHEMA v nadřazené schéma tabulky.
  3. USE_CATALOG nadřazeného katalogu tabulky , USE_SCHEMA nadřazeného schématu tabulky a SPRAVOVAT v tabulce.

Pro object_type schématu musí volající mít jednu z následujících sad oprávnění:

  1. SPRÁVA a USE_CATALOG v nadřazené katalogu schématu.
  2. USE_CATALOG v nadřazeném katalogu schématu a spravovat a USE_SCHEMA ve schématu.
databricks data-quality update-monitor OBJECT_TYPE OBJECT_ID UPDATE_MASK OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Typ monitorovaného objektu. Může to být jedna z následujících možností: schema nebo table.

OBJECT_ID

    UUID objektu požadavku. Je schema_id určená pro schéma a table_id pro tabulku.

UPDATE_MASK

    Maska pole určující, která pole se mají aktualizovat jako seznam oddělený čárkami. Příklad hodnoty: data_profiling_config.custom_metrics,data_profiling_config.schedule.quartz_cron_expression.

Možnosti

--json JSON

    Vložený řetězec JSON nebo soubor JSON @path s tělem požadavku

Globální příznaky

Příklady

Následující příklad aktualizuje konfiguraci monitorování:

databricks data-quality update-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 "data_profiling_config.schedule.quartz_cron_expression" table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"schedule": {"quartz_cron_expression": "0 0 12 * * ?"}}}'

Globální příznaky

Globální příznaky

--debug

  Zda povolit protokolování ladění.

-h nebo --help

    Zobrazení nápovědy k rozhraní příkazového řádku Databricks nebo související skupině příkazů nebo souvisejícímu příkazu

--log-file řetězec

    Řetězec představující soubor, do kterého se zapisují výstupní protokoly. Pokud tento příznak není zadaný, výchozí hodnota je zápis výstupních protokolů do stderru.

--log-format formát

    Typ formátu protokolu, text nebo json. Výchozí hodnota je text.

--log-level řetězec

    Řetězec představující úroveň formátu protokolu. Pokud není zadána, je úroveň formátu protokolu zakázaná.

-o, --output typ

    Typ výstupu příkazu, text nebo json. Výchozí hodnota je text.

-p, --profile řetězec

    Název profilu v ~/.databrickscfg souboru, který se má použít ke spuštění příkazu. Pokud tento příznak není zadán, použije se profil s názvem DEFAULT, pokud existuje.

--progress-format formát

    Formát pro zobrazení protokolů průběhu: default, append, inplacenebo json

-t, --target řetězec

    Pokud je to relevantní, cílový balíček, který se má použít

  • Last updated on