Supervision Azure Databricks

  • Article

Azure Databricks est un service d’analytique rapide et puissant basé sur Apache Spark, qui permet de développer et de déployer de manière simple et rapide l’analytique de big data et des solutions d’intelligence artificielle (IA). Nombre d’utilisateurs tirent parti de la simplicité des notebooks dans leurs solutions Azure Databricks. Pour les utilisateurs qui ont besoin d’options de calcul plus robustes, Azure Databricks prend en charge l’exécution distribuée de code d’application personnalisé.

La supervision étant un élément primordial de toute solution de niveau production, Azure Databricks offre des fonctionnalités solides pour superviser les métriques d’application personnalisées, le streaming des événements de requête et les messages de journal d’application. Azure Databricks peut envoyer ces données de supervision à différents services de journalisation.

Les articles suivants expliquent comment envoyer des données de supervision depuis Azure Databricks vers Azure Monitor, qui est la plateforme de données de supervision pour Azure.

La bibliothèque de code qui accompagne ces articles étend la fonctionnalité de supervision principale d’Azure Databricks pour envoyer les métriques, les événements et les informations de journalisation Spark à Azure Monitor.

Ces articles et la bibliothèque de code qui les accompagne s’adressent aux développeurs de solutions Apache Spark et Azure Databricks. Le code doit être intégré dans des fichiers JAR (Java Archive), puis déployé sur un cluster Azure Databricks. Le code est un mélange de Scala et de Java, avec un ensemble de fichiers POM (project object model) Maven correspondants pour générer les fichiers JAR de sortie. Comme prérequis, il est recommandé de connaître Java, Scala et Maven.

Étapes suivantes

Commencez par créer la bibliothèque de code, puis déployez-la sur votre cluster Azure Databricks.

Envoyer les journaux des applications Azure Databricks à Azure Monitor