quality-monitors groupe de commande

Note

Ces informations s’appliquent à Databricks CLI versions 0.205 et ultérieures. L’interface CLI Databricks est en préversion publique.

L’utilisation de l’interface CLI Databricks est soumise à la licence Databricks et à la notification de confidentialité Databricks, y compris les dispositions relatives aux données d’utilisation.

Le quality-monitors groupe de commandes dans l’interface CLI Databricks contient des commandes pour créer, modifier et supprimer des moniteurs de qualité. Un moniteur calcule et surveille les métriques de qualité des données ou des modèles pour une table au fil du temps. Il génère des tables de métriques et un tableau de bord que vous pouvez utiliser pour surveiller l’intégrité des tables et définir des alertes. Consultez le profilage des données.

créer des moniteurs de qualité databricks

Crée un moniteur pour la table spécifiée.

L’appelant doit :

1. être propriétaire du catalogue parent de la table, disposer du droit USE_SCHEMA pour le schéma parent de la table et du droit d’accès SELECT pour la table ;
2. disposer du droit USE_CATALOG pour le catalogue parent de la table, être propriétaire du schéma parent de la table et disposer du droit d’accès SELECT pour la table ;
3. disposer des autorisations suivantes :
   • USE_CATALOG pour le catalogue parent de la table
   • USE_SCHEMA pour le schéma parent de la table
   • être propriétaire de la table

Les ressources de l’espace de travail, telles que le tableau de bord, seront créées dans l’espace de travail où cet appel a été effectué.

databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    Nom complet de la table.

ASSETS_DIR

    Répertoire permettant de stocker les ressources de surveillance (par exemple, tableau de bord, tables de métriques).

OUTPUT_SCHEMA_NAME

    Schéma dans lequel les tables de métriques de sortie sont créées.

Options

--baseline-table-name string

    Nom de la table de référence à partir de laquelle les métriques de dérive sont calculées.

--json JSON

    Chaîne JSON inline ou chemin @path vers le fichier JSON avec le corps de la requête.

--skip-builtin-dashboard

    Indique s’il faut ignorer la création d’un tableau de bord par défaut récapitunant les métriques de qualité des données.

--warehouse-id string

    Argument facultatif pour spécifier l’entrepôt pour la création du tableau de bord.

Indicateurs globaux

Examples

L’exemple suivant crée un moniteur de qualité pour une table :

databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema

databricks moniteurs-de-qualité supprimer

Supprime un moniteur pour la table spécifiée.

L’appelant doit :

1. être propriétaire du catalogue parent de la table ;
2. disposer du droit USE_CATALOG pour le catalogue parent de la table et être propriétaire du schéma parent de la table ;
3. disposer des autorisations suivantes :
   • USE_CATALOG pour le catalogue parent de la table
   • USE_SCHEMA pour le schéma parent de la table
   • être propriétaire de la table

En outre, l’appel doit être effectué à partir de l’espace de travail où le moniteur a été créé.

Notez que les tables de métriques et le tableau de bord ne seront pas supprimés dans le cadre de cet appel ; ces ressources doivent être nettoyées manuellement (si vous le souhaitez).

databricks quality-monitors delete TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nom complet de la table.

Options

Indicateurs globaux

Examples

L’exemple suivant supprime un moniteur de qualité :

databricks quality-monitors delete main.my_schema.my_table

obtenir des moniteurs de qualité de databricks

Obtenir un moniteur pour la table spécifiée.

L’appelant doit :

1. être propriétaire du catalogue parent de la table ;
2. disposer du droit USE_CATALOG pour le catalogue parent de la table et être propriétaire du schéma parent de la table ;
3. disposer des autorisations suivantes :
   • USE_CATALOG pour le catalogue parent de la table
   • USE_SCHEMA pour le schéma parent de la table
   • Privilège SELECT sur la table.

Les informations retournées incluent des valeurs de configuration, ainsi que des informations sur les ressources créées par le moniteur. Certaines informations (par exemple, tableau de bord) peuvent être filtrées si l’appelant se trouve dans un espace de travail différent de celui où le moniteur a été créé.

databricks quality-monitors get TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nom complet de la table.

Options

Indicateurs globaux

Examples

L’exemple suivant obtient des informations sur un moniteur de qualité :

databricks quality-monitors get main.my_schema.my_table

Databricks quality-monitors actualiser-statuts

Obtenez des informations sur une actualisation spécifique d’un moniteur à l’aide de l’ID d’actualisation donné.

L’appelant doit :

1. être propriétaire du catalogue parent de la table ;
2. disposer du droit USE_CATALOG pour le catalogue parent de la table et être propriétaire du schéma parent de la table ;
3. disposer des autorisations suivantes :
   • USE_CATALOG pour le catalogue parent de la table
   • USE_SCHEMA pour le schéma parent de la table
   • Privilège SELECT sur la table.

En outre, l’appel doit être effectué à partir de l’espace de travail où le moniteur a été créé.

databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]

Arguments

TABLE_NAME

    Nom complet de la table.

REFRESH_ID

    ID de l’actualisation.

Options

Indicateurs globaux

Examples

L’exemple suivant obtient des informations sur une actualisation spécifique :

databricks quality-monitors get-refresh main.my_schema.my_table 12345

databricks quality-monitors list-refreshes

Répertoriez l’historique des actualisations les plus récentes (jusqu’à 25) pour ce tableau.

L’appelant doit :

1. être propriétaire du catalogue parent de la table ;
2. disposer du droit USE_CATALOG pour le catalogue parent de la table et être propriétaire du schéma parent de la table ;
3. disposer des autorisations suivantes :
   • USE_CATALOG pour le catalogue parent de la table
   • USE_SCHEMA pour le schéma parent de la table
   • Privilège SELECT sur la table.

En outre, l’appel doit être effectué à partir de l’espace de travail où le moniteur a été créé.

databricks quality-monitors list-refreshes TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nom complet de la table.

Options

Indicateurs globaux

Examples

L’exemple suivant répertorie les actualisations d’un moniteur de qualité :

databricks quality-monitors list-refreshes main.my_schema.my_table

databricks moniteurs-de-qualité actualiser-exécution

Place en file d’attente une actualisation des métriques pour le moniteur associé à la table spécifiée. L’actualisation s’exécute en arrière-plan.

L’appelant doit :

1. être propriétaire du catalogue parent de la table ;
2. disposer du droit USE_CATALOG pour le catalogue parent de la table et être propriétaire du schéma parent de la table ;
3. disposer des autorisations suivantes :
   • USE_CATALOG pour le catalogue parent de la table
   • USE_SCHEMA pour le schéma parent de la table
   • être propriétaire de la table

En outre, l’appel doit être effectué à partir de l’espace de travail où le moniteur a été créé.

databricks quality-monitors run-refresh TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nom complet de la table.

Options

Indicateurs globaux

Examples

L’exemple suivant met en file d’attente une actualisation pour un moniteur de qualité :

databricks quality-monitors run-refresh main.my_schema.my_table

Mise à jour des Quality-Monitors de Databricks

Mettez à jour un moniteur pour la table spécifiée.

L’appelant doit :

1. être propriétaire du catalogue parent de la table ;
2. disposer du droit USE_CATALOG pour le catalogue parent de la table et être propriétaire du schéma parent de la table ;
3. disposer des autorisations suivantes :
   • USE_CATALOG pour le catalogue parent de la table
   • USE_SCHEMA pour le schéma parent de la table
   • être propriétaire de la table

En outre, l’appel doit être effectué à partir de l’espace de travail où le moniteur a été créé, et l’appelant doit être le créateur d’origine du moniteur.

Certains champs de configuration, tels que les identificateurs de ressources de sortie, ne peuvent pas être mis à jour.

databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    Nom complet de la table.

OUTPUT_SCHEMA_NAME

    Schéma dans lequel les tables de métriques de sortie sont créées.

Options

--baseline-table-name string

    Nom de la table de référence à partir de laquelle les métriques de dérive sont calculées.

--dashboard-id string

    ID du tableau de bord qui visualise les métriques calculées.

--json JSON

    Chaîne JSON inline ou chemin @path vers le fichier JSON avec le corps de la requête.

Indicateurs globaux

Examples

L’exemple suivant met à jour un moniteur de qualité :

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema

L’exemple suivant met à jour un moniteur de qualité avec une nouvelle table de référence :

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline

Indicateurs globaux

--debug

  Active la journalisation du débogage.

-h ou --help

    Affiche l’aide pour l’interface CLI de Databricks, le groupe de commandes associé ou la commande concernée.

--log-file chaîne

    Chaîne représentant le fichier dans lequel écrire les journaux de sortie. Si cet indicateur n’est pas défini, les journaux de sortie sont écrits par défaut dans stderr.

--log-format format

    Format des journaux : text ou json. La valeur par défaut est text.

--log-level chaîne

    Chaîne représentant le niveau de journalisation. Si cet indicateur n’est pas défini, le niveau de format de journal est désactivé.

Type -o, --output

    Type de sortie de commande, text ou json. La valeur par défaut est text.

-p, --profile chaîne

    Nom du profil dans le ~/.databrickscfg fichier à utiliser pour exécuter la commande. Si cet indicateur n’est pas spécifié, s’il existe, le profil nommé DEFAULT est utilisé.

--progress-format format

    Format d’affichage des journaux d’activité de progression : default, append, inplace ou json

-t, --target chaîne

    Le cas échéant, la cible d’offre groupée à utiliser