Monitorizar o Azure Databricks

  • Artigo

O Azure Databricks é um serviço de análise rápido e poderoso baseado no Apache Spark que permite desenvolver e implementar rapidamente soluções de análise de macrodados e de inteligência artificial (IA). Muitos utilizadores tiram partido da simplicidade dos blocos de notas nas respetivas soluções do Azure Databricks. Para os utilizadores que precisam de opções de computação mais robustas, o Azure Databricks suporta a execução distribuída de código de aplicação personalizado.

A monitorização é uma parte fundamental de qualquer solução ao nível da produção, pelo que o Azure Databricks oferece funcionalidades robustas para monitorizar métricas de aplicação personalizadas, eventos de consulta de transmissão em fluxo e mensagens do registo de aplicações. O Azure Databricks pode enviar estes dados de monitorização para diferentes serviços de registo.

Os artigos seguintes mostram como enviar dados de monitorização do Azure Databricks para o Azure Monitor, a plataforma de dados de monitorização do Azure.

A biblioteca de códigos incluída nestes artigos expande a funcionalidade de monitorização principal do Azure Databricks no sentido de enviar informações de métricas, eventos e registos do Spark para o Azure Monitor.

Estes artigos e a biblioteca de códigos incluída nos mesmos destinam-se aos programadores de soluções do Apache Spark e do Azure Databricks. O código tem de ser incorporado em ficheiros Java Archive (JAR) e, em seguida, implementado num cluster do Azure Databricks. O código é uma combinação do Scala e do Java com um conjunto correspondente de ficheiros de modelo de objetos de projeto (POM) do Maven para criar os ficheiros JAR de saída. A compreensão de Java, Scala e Maven são pré-requisitos recomendados.

Passos seguintes

Comece por criar a biblioteca de códigos e implementá-la no seu cluster do Azure Databricks.

Send Azure Databricks application logs to Azure Monitor (Enviar registos de aplicações do Azure Databricks para o Azure Monitor)