Обзор мониторинга Apache Spark

  • Статья

Мониторинг Microsoft Fabric Spark предназначен для предоставления интерфейса веб-интерфейса с встроенными возможностями для мониторинга хода выполнения и состояния приложений Spark, просмотра прошлых действий Spark, анализа и оптимизации производительности и упрощения устранения неполадок. Для просмотра, мониторинга и просмотра сведений о приложении Spark доступны несколько точек входа.

Центр мониторинга

Центр мониторинга служит централизованным порталом для просмотра действий Spark в разных элементах. На первый взгляд вы можете просматривать запущенные приложения Spark, активированные из записных книжек, определений заданий Spark и конвейеров. Вы также можете выполнять поиск и фильтрацию приложений Spark на основе различных критериев и детализации для просмотра дополнительных сведений о выполнении приложения Spark.

Последние запуски элемента

При работе с определенными элементами функция "Последние запуски" позволяет просматривать текущие и последние действия элемента и получать аналитические сведения об отправке, состоянии, длительности и других сведениях о действиях, отправленных вами или другими пользователями.

Контекстный мониторинг записной книжки

Контекстный мониторинг записных книжек предоставляет возможность разработки, мониторинга и отладки заданий Spark в одном месте. Вы можете отслеживать ход выполнения задания Spark, просматривать задачи выполнения Spark и исполнителей и получать доступ к журналам Spark в записной книжке на уровне ячейки записной книжки. Помощник Spark также встроен в записную книжку, чтобы предложить советы в режиме реального времени о выполнении кода и ячейки Spark и выполнить анализ ошибок.

Встроенный мониторинг определения задания Spark

Функция встроенного мониторинга задания Spark позволяет просматривать отправку определения задания Spark и выполнять состояние в режиме реального времени, а также просматривать прошлые запуски и конфигурации задания Spark. Чтобы просмотреть дополнительные сведения, перейдите на страницу сведений о приложении Spark.

Встроенный мониторинг действий Spark конвейера

Для встроенного мониторинга действий Spark в конвейере встроены глубокие ссылки в действия определения заданий Notebook и Spark в конвейере. Вы можете просмотреть сведения о выполнении приложения Spark, соответствующие моментальные снимки определения задания Notebook и Spark и получить доступ к журналам Spark для устранения неполадок. Если действия Spark завершаются ошибкой, встроенное сообщение об ошибке также доступно в действиях Pipeline Spark.

Связанный контент