quality-monitors gruppo di comandi

Note

Queste informazioni si applicano all'interfaccia della riga di comando di Databricks versione 0.205 e successive. L'interfaccia della riga di comando di Databricks è disponibile in anteprima pubblica.

L'uso della CLI di Databricks è soggetto alla Licenza di Databricks e all'Informativa sulla privacy di Databricks, incluse eventuali disposizioni sui dati di utilizzo.

Il quality-monitors gruppo di comandi all'interno dell'interfaccia della riga di comando di Databricks contiene i comandi per creare, modificare ed eliminare monitor di qualità. Un monitor calcola e controlla le metriche di qualità dei dati o del modello per una tabella nel tempo. Genera tabelle delle metriche e un dashboard che è possibile usare per monitorare l'integrità delle tabelle e impostare gli avvisi. Vedere Profilatura dei dati.

Creazione di monitor di qualità di databricks

Crea un nuovo monitor per la tabella specificata.

Il chiamante deve:

1. essere proprietario del catalogo padre della tabella, disporre di USE_SCHEMA sullo schema padre della tabella e avere accesso a SELECT sulla tabella
2. avere USE_CATALOG sul catalogo padre della tabella, essere proprietario dello schema padre della tabella e disporre dei diritti SELECT sulla tabella.
3. disporre delle autorizzazioni seguenti:
   • USE_CATALOG nel catalogo padre della tabella
   • USE_SCHEMA nello schema padre della tabella
   • essere proprietario della tabella.

Gli asset dell'area di lavoro, ad esempio il dashboard, verranno creati nell'area di lavoro in cui è stata effettuata questa chiamata.

databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    Nome completo della tabella.

ASSETS_DIR

    Directory in cui archiviare gli asset di monitoraggio,ad esempio dashboard, tabelle delle metriche.

OUTPUT_SCHEMA_NAME

    Schema in cui vengono create le tabelle delle metriche di output.

Options

--baseline-table-name string

    Nome della tabella di base da cui vengono calcolate le metriche di deriva.

--json JSON

    Stringa JSON inline o file JSON @path con il corpo della richiesta.

--skip-builtin-dashboard

    Se ignorare la creazione di un dashboard predefinito che riepiloga le metriche relative alla qualità dei dati.

--warehouse-id string

    Argomento facoltativo per specificare il magazzino per la creazione del dashboard.

Flag globali

Examples

Nell'esempio seguente viene creato un monitoraggio qualità per una tabella:

databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema

eliminazione di databricks quality-monitor

Eliminare un monitor per la tabella specificata.

Il chiamante deve:

1. essere proprietario del catalogo padre della tabella
2. essere nel USE_CATALOG catalogo padre della tabella e proprietario dello schema padre della tabella
3. disporre delle autorizzazioni seguenti:
   • USE_CATALOG nel catalogo padre della tabella
   • USE_SCHEMA nello schema padre della tabella
   • essere proprietario della tabella.

Inoltre, la chiamata deve essere effettuata dall'area di lavoro in cui è stato creato il monitoraggio.

Si noti che le tabelle delle metriche e il dashboard non verranno eliminati come parte di questa chiamata; tali asset devono essere puliti manualmente (se necessario).

databricks quality-monitors delete TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nome completo della tabella.

Options

Flag globali

Examples

Nell'esempio seguente viene eliminato un monitoraggio qualità:

databricks quality-monitors delete main.my_schema.my_table

Databricks ottieni monitor di qualità

Ottenere un monitor per la tabella specificata.

Il chiamante deve:

1. essere proprietario del catalogo padre della tabella
2. nel USE_CATALOG catalogo padre della tabella ed essere proprietario dello schema padre della tabella.
3. disporre delle autorizzazioni seguenti:
   • USE_CATALOG nel catalogo padre della tabella
   • USE_SCHEMA nello schema padre della tabella
   • SELECT privilegio sulla tabella.

Le informazioni restituite includono valori di configurazione, nonché informazioni sugli asset creati dal monitoraggio. Alcune informazioni, ad esempio il dashboard, possono essere filtrate se il chiamante si trova in un'area di lavoro diversa da quella in cui è stato creato il monitoraggio.

databricks quality-monitors get TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nome completo della tabella.

Options

Flag globali

Examples

Nell'esempio seguente vengono recuperate informazioni su un monitoraggio qualità:

databricks quality-monitors get main.my_schema.my_table

databricks quality-monitors get-refresh

Ottenere informazioni su un aggiornamento di monitoraggio specifico usando l'ID di aggiornamento specificato.

Il chiamante deve:

1. essere proprietario del catalogo padre della tabella
2. essere nel USE_CATALOG catalogo padre della tabella e proprietario dello schema padre della tabella
3. disporre delle autorizzazioni seguenti:
   • USE_CATALOG nel catalogo padre della tabella
   • USE_SCHEMA nello schema padre della tabella
   • SELECT privilegio sulla tabella.

Inoltre, la chiamata deve essere effettuata dall'area di lavoro in cui è stato creato il monitoraggio.

databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]

Arguments

TABLE_NAME

    Nome completo della tabella.

REFRESH_ID

    ID dell'aggiornamento.

Options

Flag globali

Examples

L'esempio seguente ottiene informazioni su un aggiornamento specifico:

databricks quality-monitors get-refresh main.my_schema.my_table 12345

elenco degli aggiornamenti dei monitor di qualità di databricks

Elencare la cronologia degli aggiornamenti più recenti (fino a 25) per questa tabella.

Il chiamante deve:

1. essere proprietario del catalogo padre della tabella
2. essere nel USE_CATALOG catalogo padre della tabella e proprietario dello schema padre della tabella
3. disporre delle autorizzazioni seguenti:
   • USE_CATALOG nel catalogo padre della tabella
   • USE_SCHEMA nello schema padre della tabella
   • SELECT privilegio sulla tabella.

Inoltre, la chiamata deve essere effettuata dall'area di lavoro in cui è stato creato il monitoraggio.

databricks quality-monitors list-refreshes TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nome completo della tabella.

Options

Flag globali

Examples

L'esempio seguente elenca gli aggiornamenti per un monitoraggio qualità:

databricks quality-monitors list-refreshes main.my_schema.my_table

databricks controllo-qualità esegui-aggiornamento

Accoda un aggiornamento delle metriche sul monitor per la tabella specificata. L'aggiornamento verrà eseguito in background.

Il chiamante deve:

1. essere proprietario del catalogo padre della tabella
2. essere nel USE_CATALOG catalogo padre della tabella e proprietario dello schema padre della tabella
3. disporre delle autorizzazioni seguenti:
   • USE_CATALOG nel catalogo padre della tabella
   • USE_SCHEMA nello schema padre della tabella
   • essere proprietario della tabella

Inoltre, la chiamata deve essere effettuata dall'area di lavoro in cui è stato creato il monitoraggio.

databricks quality-monitors run-refresh TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nome completo della tabella.

Options

Flag globali

Examples

Nell'esempio seguente viene accodato un aggiornamento per un monitor di qualità.

databricks quality-monitors run-refresh main.my_schema.my_table

Aggiornamento dei monitor di qualità di Databricks

Aggiornare un monitor per la tabella specificata.

Il chiamante deve:

1. essere proprietario del catalogo padre della tabella
2. essere nel USE_CATALOG catalogo padre della tabella e proprietario dello schema padre della tabella
3. disporre delle autorizzazioni seguenti:
   • USE_CATALOG nel catalogo padre della tabella
   • USE_SCHEMA nello schema padre della tabella
   • essere proprietario della tabella.

Inoltre, la chiamata deve essere effettuata dall'area di lavoro in cui è stato creato il monitoraggio e il chiamante deve essere l'autore originale del monitoraggio.

Alcuni campi di configurazione, ad esempio gli identificatori degli asset di output, non possono essere aggiornati.

databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    Nome completo della tabella.

OUTPUT_SCHEMA_NAME

    Schema in cui vengono create le tabelle delle metriche di output.

Options

--baseline-table-name string

    Nome della tabella di base da cui vengono calcolate le metriche di deriva.

--dashboard-id string

    ID del dashboard che visualizza le metriche calcolate.

--json JSON

    Stringa JSON inline o file JSON @path con il corpo della richiesta.

Flag globali

Examples

L'esempio seguente aggiorna un monitor di qualità:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema

Nell'esempio seguente viene aggiornato un monitoraggio qualità con una nuova tabella di base:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline

Bandiere globali

--debug

  Indica se abilitare la registrazione di debug.

-h oppure --help

    Mostra la guida per il Databricks CLI, il gruppo di comandi correlato o il comando correlato.

--log-file stringa

    Stringa che rappresenta il file in cui scrivere i log di output. Se questo flag non viene specificato, l'impostazione predefinita prevede la scrittura dei log di output su stderr.

--log-format formato

    Tipo di formato del log, text o json. Il valore predefinito è text.

--log-level stringa

    Stringa che rappresenta il livello di formato del log. Se non specificato, il livello di formato del log è disabilitato.

tipo

    Tipo di output del comando, text o json. Il valore predefinito è text.

-p, --profile stringa

    Nome del profilo nel ~/.databrickscfg file da usare per eseguire il comando . Se questo flag non viene specificato, se esiste, viene usato il profilo denominato DEFAULT .

--progress-format formato

    Formato per visualizzare i log di stato: default, append, inplaceo json

-t, --target stringa

    Se applicabile, la destinazione del bundle da utilizzare