Compartir vía

Supervisión de vistas materializadas en Databricks SQL

En este artículo se describe cómo supervisar y consultar datos de actualización sobre una vista materializada en Databricks SQL.

Ver los detalles de una sola vista materializada

Puede ver los detalles de una sola vista materializada usando el Explorador de catálogos o programáticamente, con la operación DESCRIBE EXTENDED. También puede consultar el registro de eventos para obtener detalles del historial de actualización de una vista materializada.

Ver detalles en el Explorador de catálogos

Puede acceder a la información sobre la vista materializada al consultarla en el Explorador de catálogos. En el Explorador de catálogos, puede ver el último estado de actualización y las programaciones de actualización creadas en SQL. Para obtener más información sobre los horarios creados en SQL, consulte CREATE MATERIALIZED VIEW.

El Explorador de catálogos muestra los detalles de cada vista materializada en un panel a la derecha, entre los que se incluyen:

  1. Estado de actualización actual y hora de última ejecución. Para ver más detalles sobre la actualización, incluida la duración de la ejecución, los errores detallados, así como el tipo de actualización (incluido si la vista materializada se actualizó completamente o incrementalmente y por qué), haga clic en Ver detalles de actualización.
  2. Programación de actualización. Si la vista materializada tiene una programación establecida a través de SQL, se muestra la programación. Para actualizar la programación, use ALTER MATERIALIZED VIEW.
  3. Etiquetas. Para agregar etiquetas personalizadas, haga clic en Agregar etiquetas. Las etiquetas no se usan automáticamente para atribuir costos, pero puede crear manualmente una consulta para conectar etiquetas personalizadas a los costos. Para obtener más información, consulte Atribuir costos al SQL Warehouse con etiquetas personalizadas.

Hay propiedades de la vista materializada que no están disponibles en el Explorador de catálogos. Para esas propiedades, o para obtener la información mediante programación, puede usar el DESCRIBE EXTENDED comando .

Ver detalles con DESCRIBE EXTENDED

Puede ver detalles sobre una vista materializada mediante programación mediante el DESCRIBE EXTENDED comando . Esto incluye detalles más allá de lo que obtiene del Explorador de catálogos. Incluyen:

  • Estado de la actualización completada más reciente.

  • La programación de actualización.

  • Columnas de la vista materializada.

  • Tipo de actualización de la vista materializada (no disponible en el Explorador de catálogos).

  • Tamaño de datos de la vista materializada, en bytes totales (no disponibles en el Explorador de catálogos).

  • Ubicación de almacenamiento de la vista materializada (no disponible en el Explorador de catálogos).

  • Algunos datos solo se incluyen en el resultado cuando está habilitado:

    • Columnas de agrupación en clústeres, si está habilitada.
    • Indica si los vectores de eliminación están habilitados (solo se muestran cuando true).
    • Indica si el seguimiento de filas está habilitado (solo se muestra cuando true).
-- As table:
DESCRIBE TABLE EXTENDED sales;

-- As a single JSON object:
DESCRIBE TABLE EXTENDED sales AS JSON;

Consulta del registro de eventos mediante programación

Para obtener detalles sobre el historial de actualización de una vista materializada o los detalles a medida que se realiza una actualización, puede consultar el registro de eventos mediante programación.

Como propietario de la canalización, puede crear una vista para permitir que otros usuarios puedan consultar el registro de eventos de la canalización. La consulta siguiente crea una vista que otros usuarios pueden usar para consultar el registro de eventos. Esta consulta usa la TABLE función value para consultar la tabla de registro de eventos correcta.

CREATE VIEW my_event_log_view AS
  SELECT *
  FROM event_log(TABLE(<catalog_name>.<schema_name>.<mv_name>));

Para consultar la vista del registro de eventos, use una consulta como la siguiente.

SELECT *
  FROM my_event_log_view
  WHERE event_type = "update_progress"
  ORDER BY timestamp desc;

Para consultar el registro de eventos directamente como propietario de la canalización, no es necesario crear una vista. Puede usar la función TABLE value y consultar los datos directamente, como en la siguiente consulta de ejemplo.

SELECT *
  FROM event_log(TABLE(<catalog_name>.<schema_name>.<mv_name>))
  WHERE event_type = "update_progress"
  ORDER BY timestamp desc;

Para obtener una lista completa de consultas de ejemplo mediante el registro de eventos, consulte Ejemplos de consultas básicas.

Monitorizar las ejecuciones de vistas materializadas

Puede supervisar las ejecuciones de las canalizaciones en el área de trabajo mediante la página Trabajos y canalizaciones, la página Historial de consultas o mediante programación consultando el registro de eventos.

Visualización de todas las ejecuciones de vistas materializadas en la interfaz de usuario

Si usa la página Trabajos y canalizaciones para supervisar el estado de diferentes trabajos de orquestación en el área de trabajo, también puede realizar un seguimiento de todas las vistas materializadas y las tablas de streaming creadas allí. Cada vista materializada creada en Databricks SQL tiene una canalización que la respalda. Para ver todas las vistas materializadas y las tablas de transmisión en tiempo real a las que tiene acceso:

  1. Haga clic en el icono Flujos de trabajo.Botón Trabajos y canalizaciones en el lado izquierdo del área de trabajo.
  2. Haga clic en la opción Canalizaciones para mostrar solo canalizaciones.
  3. Haga clic en el botón Tipo de canalización y seleccione MV/ST para filtrar solo las canalizaciones creadas por Databricks SQL.
  4. Haga clic en el filtro Accesible por mí para mostrar todas las canalizaciones a las que tiene acceso.

Podrá ver todas las vistas materializadas y las tablas de streaming creadas en toda la organización, incluida una vista de resumen de los estados de ejecuciones recientes. Al hacer clic en el nombre de una canalización, se abre la página de detalles de supervisión de la canalización para obtener más información. Para más información sobre la página de detalles de supervisión de canalización, consulte Solución de problemas de una actualización con errores.

Visualización de ejecuciones mediante el historial de consultas

Si está más familiarizado con la pestaña Historial de Consultas, también puede usarla para ver todas las ejecuciones anteriores de todas las consultas en las que tiene al menos CAN VIEW acceso al almacén de SQL que está ejecutando. Puede usar la página del historial de consultas para acceder a los detalles y perfiles de consulta que pueden ayudarle a identificar consultas de bajo rendimiento y cuellos de botella en la canalización utilizada para ejecutar las actualizaciones de su tabla de streaming. Para obtener información general sobre el tipo de información disponible para los historiales de consultas y los perfiles de consulta, consulte Historial de consultas y Perfil de consulta.

Importante

Esta característica está en versión preliminar pública. Los administradores del área de trabajo pueden controlar el acceso a esta característica desde la página Vistas previas . Consulte Administración de versiones preliminares de Azure Databricks.

Todas las declaraciones relacionadas con las vistas materializadas aparecen en el historial de consultas. Puede usar el filtro desplegable Instrucción para seleccionar cualquier comando e inspeccionar las consultas relacionadas. Todas las CREATE instrucciones van seguidas de una REFRESH instrucción que se ejecuta de forma asincrónica en una tubería. Las instrucciones REFRESH suelen incluir planes de consulta detallados que proporcionan información sobre la optimización del rendimiento.

Para acceder a las instrucciones REFRESH en la interfaz de usuario del historial de consultas, siga estos pasos:

  1. Haga clic en el icono Historial.Historial de consultas en la barra lateral izquierda.
  2. Active la casilla REFRESH en el filtro desplegable instrucción.
  3. Haga clic en el nombre de la instrucción de consulta para ver los detalles de resumen, como la duración de la consulta y las métricas agregadas.
  4. Haga clic en Ver perfil de consulta para abrir el perfil de consulta. Para obtener más información sobre cómo navegar por el perfil de consulta, consulte Perfil de consulta.
  5. Opcionalmente, use los vínculos de la sección Origen de Consulta para abrir la consulta o canalización relacionada.

Consulte CREATE MATERIALIZED VIEW.

Solución de problemas de una actualización con errores

Puede encontrar actualizaciones fallidas para vistas materializadas (o tablas de streaming) examinando la lista Trabajos y canalizaciones. Para solucionar problemas de una actualización fallida, utilice la página de detalles de supervisión de la canalización o el registro de eventos.

Para solucionar problemas de una actualización completa cuando cree que debe ser incremental, compruebe primero que tiene habilitado el seguimiento de filas para las tablas Delta de origen. Para obtener otros detalles sobre la actualización incremental, consulte Compatibilidad con la actualización incremental de vista materializada.

Puede obtener detalles adicionales de la página de monitorización de la canalización o bien consultando el registro de eventos de forma programática.

Uso de la página de monitorización de la canalización

Para obtener más detalles sobre una vista materializada (o una tabla de transmisión) que ha fallado, puede usar la página de monitorización de la canalización para depurar problemas. Cada vista materializada tiene una canalización que la respalda. La página de supervisión de la canalización incluye información, como:

  • Estado de la última ejecución y el historial de ejecución.
  • Duración de la última ejecución.
  • Indica si la vista materializada se ha actualizado completamente o incrementalmente. Para obtener más información sobre conseguir que la vista materializada se actualice incrementalmente, consulte Soporte para la actualización incremental de la vista materializada.
  • Registro de eventos para una depuración más detallada. En caso de que la vista materializada no se actualizara o tuviera otros problemas, haga clic en el panel de problemas para ver los registros con más detalle.

Para solucionar problemas de la vista materializada:

  1. En el área de trabajo, haga clic en el icono Flujos de trabajo.Botón Trabajos y canalizaciones en la barra de navegación izquierda.
  2. Haga clic en el nombre de la canalización en la lista.
  3. Si no se pudo ejecutar la actualización, la interfaz de usuario muestra un error (o una lista de errores) en el panel inferior.
  4. Haga clic en el botón Ver registros o haga clic en el panel de problemas para ver los errores con más detalle.
  5. Se abre la interfaz de usuario del registro de eventos. Cada error tiene un mensaje de alto nivel y un resumen, así como una pestaña JSON con más detalles. Para corregir un problema con databricks Assistant, haga clic en Diagnosticar error.

Para más información sobre la página de supervisión de canalización, consulte aquí.

Consultar el historial de actualización de una vista materializada

El registro de eventos puede ser útil para configurar paneles para supervisar el estado o la duración de la actualización en el área de trabajo, o si prefiere la supervisión por programación en lugar de usar la interfaz de usuario. Las vistas materializadas creadas con SQL de Databricks no admiten guardar el registro de eventos en un metastore, por lo que solo el propietario de la vista materializada puede consultar el registro de eventos directamente.

Para ver el estado de las operaciones de REFRESH en una vista materializada, incluidas las actualizaciones actuales y pasadas, consulte el registro de eventos de la canalización:

SELECT *
FROM event_log(TABLE(<fully-qualified-table-name>))
WHERE event_type = "update_progress"
ORDER BY timestamp desc;

Reemplace <fully-qualified-table-name> por el nombre completo de la vista materializada, incluido el catálogo y el esquema. Si no es el propietario de la canalización, es posible que primero necesite que se cree una vista para poder consultar el registro de eventos. Consulte Consulta del registro de eventos mediante programación.

Consulta del tipo de actualización que se produjo para una vista materializada

Algunas consultas se pueden actualizar incrementalmente. Si no se puede realizar una actualización incremental, se realiza una actualización completa en su lugar.

Para ver el tipo de actualización de una vista materializada, consulte el registro de eventos:

SELECT timestamp, message
FROM event_log(TABLE(my_catalog.my_schema.sales))
WHERE event_type = 'planning_information'
ORDER BY timestamp desc;

Salida de ejemplo para este comando:

    • marca de tiempo
    • Mensaje
    • 2025-03-21T22:23:16.497+00:00
    • Flow 'sales' has been planned in :re[LDP] to be executed as ROW_BASED.

Asignación de costos al almacenamiento de SQL con etiquetas personalizadas

Las etiquetas no se anexan automáticamente a los registros de facturación, pero puede unirlas manualmente a la información de facturación en una consulta.

Después de agregar etiquetas a cada vista materializada (o tabla de streaming) con el Explorador de catálogos, puede supervisar los costos de las vistas materializadas uniendo las table_tags y billing tablas del sistema. Se trata de una consulta de ejemplo para recuperar los registros de facturación de todas las vistas materializadas y las tablas de streaming creadas con Databricks SQL y anexar etiquetas de nivel de tabla:

SELECT
  u.*,
  tag_info.tags
FROM
  system.billing.usage u
LEFT JOIN (
  SELECT
    t.catalog_name,
    t.schema_name,
    t.table_name,
    collect_list(named_struct('tag_name', t.tag_name, 'tag_value', t.tag_value)) AS tags
  FROM
    main.information_schema.table_tags t
  GROUP BY
    t.catalog_name,
    t.schema_name,
    t.table_name
) tag_info
  ON tag_info.catalog_name = u.usage_metadata.uc_table_catalog
  AND tag_info.schema_name = u.usage_metadata.uc_table_schema
  AND tag_info.table_name = u.usage_metadata.uc_table_name
  WHERE usage_metadata.uc_table_name is not null;

Puede usar esta misma idea para combinar etiquetas de columna de la column_tags tabla en vez de eso.

  • Last updated on