Мониторинг Azure Databricks

  • Статья

Azure Databricks — это высокопроизводительная и многофункциональная служба аналитики на основе Apache Spark, которая позволяет без труда разрабатывать и развертывать решения аналитики больших данных и искусственного интеллекта (ИИ). Многие пользователи по достоинству оценили простоту записных книжек в решениях Azure Databricks. Если же требуются более надежные вычислительные ресурсы, Azure Databricks поддерживает распределенное выполнение пользовательского кода приложений.

Мониторинг — это важнейшая часть любого решения уровня рабочей среды. Azure Databricks предоставляет надежные функции для мониторинга метрик пользовательских приложений, потоковой передачи событий запроса и отправки сообщений журнала приложений. Данные мониторинга Azure Databricks можно отправлять в различные службы ведения журналов.

В перечисленных ниже статьях объясняется, как отправлять данные мониторинга из Azure Databricks в Azure Monitor, платформу данных мониторинга для Azure.

Библиотека кода, сопровождающая эти статьи, расширяет основные возможности мониторинга Azure Databricks для отправки метрик, событий и данных журналов Spark в Azure Monitor.

Эти статьи и сопровождающая их библиотека кода предназначены для разработчиков решений Apache Spark и Azure Databricks. Код нужно встроить в файлы архива Java (JAR), а затем развернуть в кластере Azure Databricks. Код представляет собой сочетание Scala и Java с соответствующим набором файлов объектной модели проекта (POM) Maven для создания выходных JAR-файлов. Перед началом работы рекомендуем изучить общие сведения о Java, Scala и Maven.

Дальнейшие действия

Сначала создайте библиотеку кода и разверните ее в кластере Azure Databricks.

Send Azure Databricks application logs to Azure Monitor (Отправка журналов приложения Azure Databricks в Azure Monitor)