Grupo de comandos quality-monitors

Note

Esta información se aplica a las versiones 0.205 y posteriores de la CLI de Databricks. La CLI de Databricks está en versión preliminar pública.

El uso de la CLI de Databricks está sujeto a la licencia de Databricks y al aviso de privacidad de Databricks, incluidas las disposiciones de datos de uso.

El quality-monitors grupo de comandos de la CLI de Databricks contiene comandos para crear, editar y eliminar monitores de calidad. Un monitor calcula y supervisa las métricas de calidad de los datos o del modelo para una tabla a lo largo del tiempo. Genera tablas de métricas y un panel que puede usar para supervisar el estado de la tabla y establecer alertas. Consulte Generación de perfiles de datos.

Monitores de calidad de Databricks - crear

Cree un nuevo monitor para la tabla especificada.

El autor de la llamada debe:

1. ser propietario del catálogo padre de la tabla, tener USE_SCHEMA en el esquema padre de la tabla y tener acceso SELECT a la tabla
2. tener USE_CATALOG en el catálogo padre de la tabla, ser propietario del esquema padre de la tabla y tener acceso SELECT a la tabla.
3. tienen los permisos siguientes:
   • USE_CATALOG en el catálogo primario de la tabla
   • USE_SCHEMA en el esquema de origen de la tabla
   • ser propietario de la tabla.

Los recursos del área de trabajo, como el panel, se crearán en el área de trabajo donde se realizó esta llamada.

databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    Nombre completo de la tabla.

ASSETS_DIR

    Directorio para almacenar recursos de supervisión (por ejemplo, panel, tablas de métricas).

OUTPUT_SCHEMA_NAME

    Esquema en el que se crean tablas de métricas de salida.

Options

--baseline-table-name string

    Nombre de la tabla de línea base desde la que se calculan las métricas de desfase.

--json JSON

    La cadena JSON en línea o el archivo JSON @path con el cuerpo de la solicitud.

--skip-builtin-dashboard

    Si se omite la creación de un panel predeterminado que resume las métricas de calidad de los datos.

--warehouse-id string

    Argumento opcional para especificar el almacenamiento para la creación del panel.

Marcas globales

Examples

En el ejemplo siguiente se crea un monitor de calidad para una tabla:

databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema

databricks eliminar monitores de calidad

Elimine un monitor para la tabla especificada.

El autor de la llamada debe:

1. ser propietario del catálogo primario de la tabla
2. tener USE_CATALOG en el catálogo primario de la tabla y ser propietario del esquema primario de la tabla
3. tienen los permisos siguientes:
   • USE_CATALOG en el catálogo primario de la tabla
   • USE_SCHEMA en el esquema de origen de la tabla
   • ser propietario de la tabla.

Además, la llamada debe realizarse desde el área de trabajo donde se creó el monitor.

Tenga en cuenta que las tablas de métricas y el panel no se eliminarán como parte de esta llamada; Esos recursos deben limpiarse manualmente (si lo desea).

databricks quality-monitors delete TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nombre completo de la tabla.

Options

Marcas globales

Examples

En el ejemplo siguiente se elimina un monitor de calidad:

databricks quality-monitors delete main.my_schema.my_table

obtener monitores de calidad de Databricks

Obtenga un monitor para la tabla especificada.

El autor de la llamada debe:

1. ser propietario del catálogo primario de la tabla
2. tener USE_CATALOG en el catálogo primario de la tabla y ser propietario del esquema primario de la tabla.
3. tienen los permisos siguientes:
   • USE_CATALOG en el catálogo primario de la tabla
   • USE_SCHEMA en el esquema de origen de la tabla
   • PrivilegioSELECT en la tabla.

La información devuelta incluye valores de configuración, así como información sobre los recursos creados por el monitor. Se puede filtrar parte de la información (por ejemplo, el panel) si el autor de la llamada está en un área de trabajo diferente a la del lugar en el que se creó el monitor.

databricks quality-monitors get TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nombre completo de la tabla.

Options

Marcas globales

Examples

En el ejemplo siguiente se obtiene información sobre un monitor de calidad:

databricks quality-monitors get main.my_schema.my_table

databricks quality-monitors get-refresh (comando para actualizar monitores de calidad)

Obtenga información sobre una actualización de monitor específica mediante el identificador de actualización especificado.

El autor de la llamada debe:

1. ser propietario del catálogo primario de la tabla
2. tener USE_CATALOG en el catálogo primario de la tabla y ser propietario del esquema primario de la tabla
3. tienen los permisos siguientes:
   • USE_CATALOG en el catálogo primario de la tabla
   • USE_SCHEMA en el esquema de origen de la tabla
   • PrivilegioSELECT en la tabla.

Además, la llamada debe realizarse desde el área de trabajo donde se creó el monitor.

databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]

Arguments

TABLE_NAME

    Nombre completo de la tabla.

REFRESH_ID

    Id. de la actualización.

Options

Marcas globales

Examples

En el ejemplo siguiente se obtiene información sobre una actualización específica:

databricks quality-monitors get-refresh main.my_schema.my_table 12345

databricks quality-monitors list-refreshes (listar actualizaciones de monitores de calidad)

Enumere el historial de las actualizaciones más recientes (hasta 25) para esta tabla.

El autor de la llamada debe:

1. ser propietario del catálogo primario de la tabla
2. tener USE_CATALOG en el catálogo primario de la tabla y ser propietario del esquema primario de la tabla
3. tienen los permisos siguientes:
   • USE_CATALOG en el catálogo primario de la tabla
   • USE_SCHEMA en el esquema de origen de la tabla
   • PrivilegioSELECT en la tabla.

Además, la llamada debe realizarse desde el área de trabajo donde se creó el monitor.

databricks quality-monitors list-refreshes TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nombre completo de la tabla.

Options

Marcas globales

Examples

En el ejemplo siguiente se enumeran las actualizaciones de un monitor de calidad:

databricks quality-monitors list-refreshes main.my_schema.my_table

databricks monitores de calidad ejecutar-actualización

Poner en cola una actualización de métricas en el monitor de la tabla especificada. La actualización se ejecutará en segundo plano.

El autor de la llamada debe:

1. ser propietario del catálogo primario de la tabla
2. tener USE_CATALOG en el catálogo primario de la tabla y ser propietario del esquema primario de la tabla
3. tienen los permisos siguientes:
   • USE_CATALOG en el catálogo primario de la tabla
   • USE_SCHEMA en el esquema de origen de la tabla
   • ser propietario de la tabla

Además, la llamada debe realizarse desde el área de trabajo donde se creó el monitor.

databricks quality-monitors run-refresh TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nombre completo de la tabla.

Options

Marcas globales

Examples

En el ejemplo siguiente se pone en cola una actualización para un monitor de calidad:

databricks quality-monitors run-refresh main.my_schema.my_table

Actualización de monitors de calidad de Databricks

Actualice un monitor para la tabla especificada.

El autor de la llamada debe:

1. ser propietario del catálogo primario de la tabla
2. tener USE_CATALOG en el catálogo primario de la tabla y ser propietario del esquema primario de la tabla
3. tienen los permisos siguientes:
   • USE_CATALOG en el catálogo primario de la tabla
   • USE_SCHEMA en el esquema de origen de la tabla
   • ser propietario de la tabla.

Además, la llamada debe realizarse desde el área de trabajo donde se creó el monitor y el autor de la llamada debe ser el creador original del monitor.

No se pueden actualizar determinados campos de configuración, como identificadores de recursos de salida.

databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    Nombre completo de la tabla.

OUTPUT_SCHEMA_NAME

    Esquema en el que se crean tablas de métricas de salida.

Options

--baseline-table-name string

    Nombre de la tabla de línea base desde la que se calculan las métricas de desfase.

--dashboard-id string

    ID del panel que visualiza las métricas calculadas.

--json JSON

    La cadena JSON en línea o el archivo JSON @path con el cuerpo de la solicitud.

Marcas globales

Examples

En el ejemplo siguiente se actualiza un monitor de calidad:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema

En el ejemplo siguiente se actualiza un monitor de calidad con una nueva tabla de línea base:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline

Marcas globales

--debug

  Indica si se va a habilitar el registro de depuración.

-h o --help

    Mostrar ayuda para la CLI de Databricks o el grupo de comandos relacionado o el comando relacionado.

--log-file cadena

    Cadena que representa el archivo en el que se van a escribir registros de salida. Si no se especifica esta marca, el valor predeterminado es escribir registros de salida en stderr.

--log-format formato

    Tipo de formato de registro: text o json. El valor predeterminado es text.

--log-level cadena

    Cadena que representa el nivel de formato de registro. Si no se especifica, el nivel de formato de registro está deshabilitado.

-o, --output tipo

    El tipo de salida del comando, ya sea text o json. El valor predeterminado es text.

-p, --profile cadena

    Nombre del perfil en el archivo ~/.databrickscfg para usarlo al ejecutar el comando. Si no se especifica esta marca, si existe, se usa el perfil denominado DEFAULT .

--progress-format formato

    Formato para mostrar los registros de progreso: default, append, inplaceo json

-t, --target cadena

    Si es aplicable, el objetivo del paquete que se va a usar