Monitorowanie usługi Azure Databricks

  • Artykuł

Usługa Azure Databricks to szybka i wydajna usługa analiz oparta na platformie Apache Spark, która ułatwia szybkie tworzenie i wdrażanie rozwiązań analizy danych big data i sztucznej inteligencji. Wielu użytkowników korzysta z łatwych w obsłudze notesów w swoich rozwiązaniach usługi Azure Databricks. Z myślą o użytkownikach, którzy potrzebują bardziej niezawodnych rozwiązań do obliczeń usługa Azure Databricks obsługuje rozproszone wykonywanie niestandardowego kodu aplikacji.

Monitorowanie jest kluczową częścią każdego rozwiązania na poziomie produkcyjnym, a usługa Azure Databricks oferuje niezawodne funkcje monitorowania niestandardowych metryk aplikacji, zdarzeń zapytań przesyłania strumieniowego i komunikatów dzienników aplikacji. Usługa Azure Databricks może wysyłać te dane monitorowania do różnych usług rejestrowania.

W poniższych artykułach pokazano, jak wysyłać dane monitorowania z usługi Azure Databricks do usługi Azure Monitor, która jest platformą danych monitorowania na platformie Azure.

Biblioteka kodów dołączona do tych artykułów rozszerza podstawowe funkcje monitorowania usługi Azure Databricks, aby wysyłać metryki, zdarzenia i dane rejestrowania platformy Spark do usługi Azure Monitor.

Te artykuły i dołączona biblioteka kodów są przeznaczone dla deweloperów rozwiązań platformy Apache Spark i usługi Azure Databricks. Kod musi być wbudowany w pliki archiwum Java (JAR) i musi zostać wdrożony w klastrze usługi Azure Databricks. Kod jest kombinacją języków Scala i Java z odpowiednim zestawem plików modelu obiektów projektu Maven do tworzenia wyjściowych plików JAR. Znajomość języków Java i Scala oraz programu Maven jest zalecanym wymaganiem wstępnym.

Następne kroki

Najpierw utwórz bibliotekę kodów i wdróż ją w klastrze usługi Azure Databricks.

Wysyłanie dzienników aplikacji usługi Azure Databricks do usługi Azure Monitor