quality-monitors Befehlsgruppe

Note

Diese Informationen gelten für Databricks CLI-Versionen 0.205 und höher. Die Databricks CLI befindet sich in der öffentlichen Vorschau.

Die Verwendung von Databricks CLI unterliegt der Datenbricks-Lizenz - und Databricks-Datenschutzerklärung, einschließlich der Bestimmungen zu Nutzungsdaten.

Die quality-monitors Befehlsgruppe in der Databricks CLI enthält Befehle zum Erstellen, Bearbeiten und Löschen von Qualitätsmonitoren. Ein Monitor berechnet und überwacht Daten- oder Modellqualitätsmetriken für eine Tabelle im Laufe der Zeit. Es generiert Metriktabellen und ein Dashboard, mit dem Sie die Tabellenintegrität überwachen und Warnungen festlegen können. Siehe Datenprofilerstellung.

Qualitätsmonitore für Databricks erstellen

Erstellen Sie einen neuen Monitor für die angegebene Tabelle.

Der Aufrufer muss eine der folgenden Aktionen ausführen:

1. Besitzer des übergeordneten Katalogs der Tabelle sein, USE_SCHEMA auf das übergeordnete Schema der Tabelle haben und SELECT Zugriff auf die Tabelle haben
2. USE_CATALOG auf den übergeordneten Katalog der Tabelle haben, Besitzer des übergeordneten Schemas der Tabelle sein, und SELECT Zugriff auf die Tabelle haben.
3. verfügen über die folgenden Berechtigungen:
   • USE_CATALOG auf den übergeordneten Katalog der Tabelle
   • USE_SCHEMA auf das übergeordnete Schema der Tabelle
   • ein Besitzer der Tabelle sein.

Arbeitsbereichsressourcen, z. B. das Dashboard, werden im Arbeitsbereich erstellt, in dem dieser Aufruf getätigt wurde.

databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    Vollständiger Name der Tabelle.

ASSETS_DIR

    Das Verzeichnis zum Speichern von Überwachungsressourcen (z. B. Dashboard, Metriktabellen).

OUTPUT_SCHEMA_NAME

    Schema, in dem Ausgabemetriktabellen erstellt werden.

Options

--baseline-table-name string

    Name der Basistabelle, aus der Driftmetriken berechnet werden.

--json JSON

    Die inlinefähige JSON-Zeichenfolge oder die @path zur JSON-Datei mit dem Body der Anfrage.

--skip-builtin-dashboard

    Gibt an, ob Sie das Erstellen eines Standarddashboards überspringen möchten, in dem Datenqualitätsmetriken zusammengefasst werden.

--warehouse-id string

    Optionales Argument zum Angeben des Lagers für die Dashboarderstellung.

Globale Kennzeichnungen

Examples

Im folgenden Beispiel wird ein Qualitätsmonitor für eine Tabelle erstellt:

databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema

databricks quality-Monitors löschen

Löschen Sie einen Monitor für die angegebene Tabelle.

Der Aufrufer muss eine der folgenden Aktionen ausführen:

1. ein Besitzer des übergeordneten Katalogs der Tabelle sein
2. USE_CATALOG auf den übergeordneten Katalog der Tabelle haben und Besitzer des übergeordneten Schemas der Tabelle sein.
3. verfügen über die folgenden Berechtigungen:
   • USE_CATALOG auf den übergeordneten Katalog der Tabelle
   • USE_SCHEMA auf das übergeordnete Schema der Tabelle
   • ein Besitzer der Tabelle sein.

Darüber hinaus muss der Anruf aus dem Arbeitsbereich erfolgen, in dem der Monitor erstellt wurde.

Beachten Sie, dass die Metriktabellen und das Dashboard nicht als Teil dieses Aufrufs gelöscht werden. diese Ressourcen müssen manuell bereinigt werden (falls gewünscht).

databricks quality-monitors delete TABLE_NAME [flags]

Arguments

TABLE_NAME

    Vollständiger Name der Tabelle.

Options

Globale Kennzeichnungen

Examples

Im folgenden Beispiel wird ein Qualitätsmonitor gelöscht:

databricks quality-monitors delete main.my_schema.my_table

Databricks Qualitätsmonitore erhalten

Einen Monitor für die angegebene Tabelle abrufen.

Der Aufrufer muss eine der folgenden Aktionen ausführen:

1. ein Besitzer des übergeordneten Katalogs der Tabelle sein
2. USE_CATALOG auf den übergeordneten Katalog der Tabelle haben und Besitzer des übergeordneten Schemas der Tabelle sein.
3. verfügen über die folgenden Berechtigungen:
   • USE_CATALOG auf den übergeordneten Katalog der Tabelle
   • USE_SCHEMA auf das übergeordnete Schema der Tabelle
   • SELECT-Berechtigung auf der Tabelle

Die zurückgegebenen Informationen umfassen Konfigurationswerte sowie Informationen zu ressourcen, die vom Monitor erstellt wurden. Einige Informationen (z. B. Dashboard) können herausgefiltert werden, wenn sich der Anrufer in einem anderen Arbeitsbereich befindet als der Ort, an dem der Monitor erstellt wurde.

databricks quality-monitors get TABLE_NAME [flags]

Arguments

TABLE_NAME

    Vollständiger Name der Tabelle.

Options

Globale Kennzeichnungen

Examples

Das folgende Beispiel ruft Informationen zu einem Qualitätsmonitor ab:

databricks quality-monitors get main.my_schema.my_table

databricks quality-monitors get-refresh

Abrufen von Informationen zu einer bestimmten Monitoraktualisierung mithilfe der angegebenen Aktualisierungs-ID.

Der Aufrufer muss eine der folgenden Aktionen ausführen:

1. ein Besitzer des übergeordneten Katalogs der Tabelle sein
2. USE_CATALOG auf den übergeordneten Katalog der Tabelle haben und Besitzer des übergeordneten Schemas der Tabelle sein.
3. verfügen über die folgenden Berechtigungen:
   • USE_CATALOG auf den übergeordneten Katalog der Tabelle
   • USE_SCHEMA auf das übergeordnete Schema der Tabelle
   • SELECT-Berechtigung auf der Tabelle

Darüber hinaus muss der Anruf aus dem Arbeitsbereich erfolgen, in dem der Monitor erstellt wurde.

databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]

Arguments

TABLE_NAME

    Vollständiger Name der Tabelle.

REFRESH_ID

    ID der Aktualisierung.

Options

Globale Kennzeichnungen

Examples

Das folgende Beispiel ruft Informationen zu einer bestimmten Aktualisierung ab:

databricks quality-monitors get-refresh main.my_schema.my_table 12345

databricks Qualitätsmonitore Listenaktualisierungen

Listet den Verlauf der neuesten Aktualisierungen (bis zu 25) für diese Tabelle auf.

Der Aufrufer muss eine der folgenden Aktionen ausführen:

1. ein Besitzer des übergeordneten Katalogs der Tabelle sein
2. USE_CATALOG auf den übergeordneten Katalog der Tabelle haben und Besitzer des übergeordneten Schemas der Tabelle sein.
3. verfügen über die folgenden Berechtigungen:
   • USE_CATALOG auf den übergeordneten Katalog der Tabelle
   • USE_SCHEMA auf das übergeordnete Schema der Tabelle
   • SELECT-Berechtigung auf der Tabelle

Darüber hinaus muss der Anruf aus dem Arbeitsbereich erfolgen, in dem der Monitor erstellt wurde.

databricks quality-monitors list-refreshes TABLE_NAME [flags]

Arguments

TABLE_NAME

    Vollständiger Name der Tabelle.

Options

Globale Kennzeichnungen

Examples

Im folgenden Beispiel werden Aktualisierungen für einen Qualitätsmonitor aufgelistet:

databricks quality-monitors list-refreshes main.my_schema.my_table

Databricks Qualitätsüberwachungs-Modul-Aktualisierung

Warteschlange für eine Aktualisierung der Metrik im Monitor für die angegebene Tabelle. Die Aktualisierung wird im Hintergrund ausgeführt.

Der Aufrufer muss eine der folgenden Aktionen ausführen:

1. ein Besitzer des übergeordneten Katalogs der Tabelle sein
2. USE_CATALOG auf den übergeordneten Katalog der Tabelle haben und Besitzer des übergeordneten Schemas der Tabelle sein.
3. verfügen über die folgenden Berechtigungen:
   • USE_CATALOG auf den übergeordneten Katalog der Tabelle
   • USE_SCHEMA auf das übergeordnete Schema der Tabelle
   • ein Eigentümer der Tabelle sein

Darüber hinaus muss der Anruf aus dem Arbeitsbereich erfolgen, in dem der Monitor erstellt wurde.

databricks quality-monitors run-refresh TABLE_NAME [flags]

Arguments

TABLE_NAME

    Vollständiger Name der Tabelle.

Options

Globale Kennzeichnungen

Examples

Im folgenden Beispiel wird eine Aktualisierung für einen Qualitätsmonitor in die Warteschlange gestellt:

databricks quality-monitors run-refresh main.my_schema.my_table

databricks quality-monitors update

Aktualisieren Sie einen Monitor für die angegebene Tabelle.

Der Aufrufer muss eine der folgenden Aktionen ausführen:

1. ein Besitzer des übergeordneten Katalogs der Tabelle sein
2. USE_CATALOG auf den übergeordneten Katalog der Tabelle haben und Besitzer des übergeordneten Schemas der Tabelle sein.
3. verfügen über die folgenden Berechtigungen:
   • USE_CATALOG auf den übergeordneten Katalog der Tabelle
   • USE_SCHEMA auf das übergeordnete Schema der Tabelle
   • ein Besitzer der Tabelle sein.

Darüber hinaus muss der Anruf über den Arbeitsbereich erfolgen, in dem der Monitor erstellt wurde, und der Anrufer muss der ursprüngliche Ersteller des Monitors sein.

Bestimmte Konfigurationsfelder, z. B. Ausgabeobjektbezeichner, können nicht aktualisiert werden.

databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    Vollständiger Name der Tabelle.

OUTPUT_SCHEMA_NAME

    Schema, in dem Ausgabemetriktabellen erstellt werden.

Options

--baseline-table-name string

    Name der Basistabelle, aus der Driftmetriken berechnet werden.

--dashboard-id string

    ID des Dashboards, das die berechneten Metriken visualisiert.

--json JSON

    Die inlinefähige JSON-Zeichenfolge oder die @path zur JSON-Datei mit dem Body der Anfrage.

Globale Kennzeichnungen

Examples

Im folgenden Beispiel wird ein Qualitätsmonitor aktualisiert:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema

Im folgenden Beispiel wird ein Qualitätsmonitor mit einer neuen Referenztabelle aktualisiert.

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline

Globale Kennzeichnungen

--debug

  Gibt an, ob die Debugprotokollierung aktiviert werden soll.

-h oder --help

    Hilfe für die Databricks CLI oder die zugehörige Befehlsgruppe oder den zugehörigen Befehl anzeigen.

--log-file Schnur

    Eine Zeichenfolge, die die Datei darstellt, in die Ausgabeprotokolle geschrieben werden sollen. Wenn dieses Flag nicht angegeben ist, werden Ausgabeprotokolle standardmäßig in stderr geschrieben.

--log-format Format

    Der Protokollformattyp text oder json. Der Standardwert ist text.

--log-level Schnur

    Eine Zeichenfolge, die die Protokollformatebene darstellt. Wenn nicht angegeben, ist die Protokollformatebene deaktiviert.

-o, --output Typ

    Der Befehlsausgabetyp text oder json. Der Standardwert ist text.

-p, --profile Schnur

    Der Name des Profils in der ~/.databrickscfg Datei, das zum Ausführen des Befehls verwendet werden soll. Wenn dieses Flag nicht angegeben wird, wird, falls vorhanden, das Profil mit dem Namen DEFAULT verwendet.

--progress-format Format

    Das Format zum Anzeigen von Statusprotokollen: default, , append, inplaceoder json

-t, --target Schnur

    Falls zutreffend, das zu verwendende Bündelziel