Мониторинг заданий Spark в записной книжке

Записная книжка Microsoft Fabric — это веб-интерактивная поверхность для разработки заданий Apache Spark и проведения экспериментов машинного обучения. В этой статье описывается, как отслеживать ход выполнения заданий Spark, получать советы в записной книжке и переходить к представлению сведений о приложении Spark или пользовательскому интерфейсу Spark для получения более подробных сведений о мониторинге всей записной книжки.

Мониторинг хода выполнения задания Spark

Индикатор хода выполнения задания Spark предоставляется в режиме реального времени, который помогает отслеживать состояние выполнения задания для каждой ячейки записной книжки. Состояние и ход выполнения задач можно просмотреть в заданиях и этапах Spark.

Мониторинг использования ресурсов

График использования исполнителя визуально отображает выделение исполнителей заданий Spark и использование ресурсов. В настоящее время отображаются только сведения о среде выполнения spark 3.4 и выше. На вкладке "Ресурсы" отобразится линейчатая диаграмма для использования ресурсов ячейки кода.

Просмотр рекомендаций помощника по Spark

Встроенный помощник Spark анализирует код записной книжки и выполнение Spark в режиме реального времени, чтобы оптимизировать производительность записной книжки и помочь в отладке сбоев. Существует три типа встроенных советов: сведения, предупреждение и ошибка. Значки с числами указывают соответствующее количество советов в каждой категории (сведения, предупреждение и ошибка), созданные помощником Spark для определенной ячейки записной книжки.

Чтобы просмотреть совет, щелкните стрелку в начале, чтобы развернуть и показать сведения.

После расширения раздела помощника одна или несколько советов становятся видимыми.

Обнаружение отклонений помощника По Spark

Отклонение данных — это распространенный вопрос, с которым часто сталкиваются пользователи. Помощник Spark поддерживает обнаружение отклонений и при обнаружении отклонений соответствующий анализ отображается ниже.

Доступ к журналам Spark в режиме реального времени

Журналы Spark необходимы для поиска исключений и диагностики производительности или сбоев. Функция контекстного мониторинга в записной книжке содержит журналы непосредственно для конкретной ячейки, которая выполняется. Вы можете искать журналы или фильтровать их по ошибкам и предупреждениям.

Перейдите к сведениям о мониторинге Spark и пользовательском интерфейсе Spark

Если вы хотите получить доступ к дополнительным сведениям о выполнении Spark на уровне записной книжки, перейдите на страницу сведений о приложении Spark или пользовательский интерфейс Spark с помощью параметров, доступных в контекстном меню.

Связанный контент

• Сведения о помощнике по Spark
• Мониторинг сведений о приложении Apache Spark
• Использование расширенного сервера журнала Spark для отладки приложений