Monitoramento do Azure Databricks

  • Artigo

O Azure Databricks é um serviço de análise rápido e poderoso com base no Apache Spark, que torna mais fácil desenvolver e implantar rapidamente soluções de IA (inteligência artificial) e análise de Big Data. Muitos usuários aproveitam a simplicidade de notebooks em suas soluções do Azure Databricks. Para usuários que requerem opções de computação mais robustas, o Azure Databricks dá suporte à execução distribuída de código de aplicativo personalizado.

O monitoramento é uma parte crítica de qualquer solução de nível de produção. O Azure Databricks oferece uma funcionalidade avançada para monitorar métricas de aplicativo personalizadas, transmitir eventos de consulta e mensagens de log do aplicativo. O Azure Databricks pode enviar esses dados de monitoramento para diferentes serviços de registro em log.

Os artigos a seguir mostram como enviar dados de monitoramento do Azure Databricks para o Azure Monitor, a plataforma de dados de monitoramento do Azure.

A biblioteca de código que acompanha esses artigos estende a funcionalidade de monitoramento principal do Azure Databricks para enviar métricas, eventos e informações de log do Spark para o Azure Monitor.

O público-alvo para esses artigos e a biblioteca de códigos que os acompanha é composto pelos desenvolvedores de soluções do Apache Spark e do Azure Databricks. O código precisa ser incorporado a arquivos JAR (Java Archive) e, em seguida, implantado em um cluster do Azure Databricks. O código é uma combinação de Scala e Java, com um conjunto correspondente de arquivos POM (modelo de objeto de projeto) do Maven para criar os arquivos JAR de saída do projeto. A compreensão do Java, Scala e Maven é recomendada como pré-requisito.

Próximas etapas

Comece criando a biblioteca de código e implantando-a em seu cluster do Azure Databricks.

Enviar logs de aplicativo do Azure Databricks para o Azure Monitor