Supervisión de Azure Databricks

  • Artículo

Azure Databricks es un servicio de análisis rápido y potente, basado en Apache Spark, que facilita un rápido desarrollo e implementación de soluciones de análisis de macrodatos y de inteligencia artificial. Muchos usuarios aprovechan la sencillez de los cuadernos en sus soluciones de Azure Databricks. Para los usuarios que requieren opciones de proceso más potentes, Azure Databricks admite la ejecución distribuida del código de aplicación personalizado.

La supervisión es una parte fundamental de cualquier solución en el nivel de producción y Azure Databricks ofrece una potente funcionalidad para supervisar métricas de aplicaciones personalizadas, eventos de consulta de streaming y mensajes de registro de aplicaciones. Azure Databricks puede enviar estos datos de supervisión a distintos servicios de registro.

Los artículos siguientes muestran cómo enviar datos de supervisión de Azure Databricks a Azure Monitor, la plataforma de datos de supervisión de Azure.

La biblioteca de código que acompaña a estos artículos amplía la funcionalidad de supervisión básica de Azure Databricks para poder enviar métricas, eventos e información de registro de Spark a Azure Monitor.

Los destinatarios de estos artículos y de la biblioteca de código que lo acompaña son los programadores de soluciones de Apache Spark y Azure Databricks. El código se debe compilar en archivos de Java Archive (JAR) e implementar en un clúster de Azure Databricks. El código es una combinación de Scala y Java, con el correspondiente conjunto de archivos de modelo de objetos de proyectos (POM) de Maven para compilar los archivos JAR de salida. Es un requisito previo recomendable tener conocimientos de Java, Scala y Maven.

Pasos siguientes

Empiece por compilar la biblioteca de código e impleméntela en el clúster de Azure Databricks.

Envío de registros de aplicaciones de Azure Databricks a Azure Monitor