Überwachen von Azure Databricks
Azure Databricks ist ein schneller, leistungsstarker Analysedienst, der auf Apache Spark basiert und eine zügige Entwicklung und Bereitstellung von Analyse- und KI-Lösungen für Big Data ermöglicht. Zahlreiche Benutzer profitieren von der Unkompliziertheit einfacher Notebooks in ihren Azure Databricks-Lösungen. Für Benutzer, die stabilere Computingoptionen benötigen, unterstützt Azure Databricks die verteilte Ausführung von benutzerdefiniertem Anwendungscode.
Überwachung ist ein wichtiger Bestandteil jeder Lösung auf Produktionsebene. Azure Databricks bietet stabile Funktionen für die Überwachung von benutzerdefinierten Metriken, Streamingabfrageereignissen und Anwendungsprotokollmeldungen. Azure Databricks kann diese Überwachungsdaten an verschiedene Protokollierungsdienste senden.
In den folgenden Artikeln wird gezeigt, wie Sie Überwachungsdaten aus Azure Databricks an Azure Monitor, die Plattform für Überwachungsdaten für Azure, senden.
- Senden von Azure Databricks-Anwendungsprotokollen an Azure Monitor
- Visualisieren von Azure Databricks-Metriken mithilfe von Dashboards
- Behandeln von Leistungsengpässen
Die zu diesen Artikeln gehörende Codebibliothek erweitert die grundlegende Überwachungsfunktion von Azure Databricks, damit Spark-Metriken, -Ereignisse und -Protokollierungsinformationen an Azure Monitor gesendet werden können.
Diese Artikel und die zugehörige Codebibliothek sind für Entwickler von Apache Spark- und Azure Databricks-Lösungen gedacht. Der Code muss in JAR-Dateien (Java Archive) integriert und anschließend in einem Azure Databricks-Cluster bereitgestellt werden. Der Code ist eine Kombination aus Scala und Java und enthält entsprechende Maven-POM-Dateien (Projektobjektmodell) zum Erstellen der JAR-Ausgabedateien. Sie sollten mit Java, Scala und Maven vertraut sein.
Nächste Schritte
Erstellen Sie zunächst die Codebibliothek, und stellen Sie sie in Ihrem Azure Databricks-Cluster bereit.