Поделиться через


Мониторинг серии выполнения Apache Spark

Серия запуска Apache Spark автоматически классифицирует следующую команду в соответствующую серию выполнения:

  • Приложения Apache Spark из повторяющихся действий конвейера или запуска записной книжки вручную.
  • Задание Apache Spark выполняется из той же записной книжки или определения задания Apache Spark в соответствующей серии выполнения.

Функция серии выполнения визуально представляет тенденцию длительности для каждого экземпляра приложения Spark, а также соответствующую линию тренда ввода и вывода данных для приложений Spark. Он также выполняет автоматическую проверку ряда выполнения и обнаруживает наличие аномальных запусков приложений Spark. Эта функция позволяет просматривать сведения для конкретного приложения Spark.

Доступ к функции ряда выполнения монитора

Вы можете получить доступ к функции серии выполнения монитора из исторического представления центра мониторинга:

  1. Откройте портал Microsoft Fabric и перейдите в меню "Центр мониторинга".

  2. Откройте определение задания Spark или записную книжку и разверните раскрывающийся список "Дополнительные параметры ", а затем выберите "Исторические запуски".

  3. Выберите задание, которое вы хотите просмотреть и развернуть дополнительные параметры, а затем выберите "Монитор серии выполнения".

    Снимок экрана: серия выполнения доступа из исторического представления.

Вы можете получить доступ к функции серии выполнения монитора из панели "Последние запуски" в записной книжке или в определении задания Spark:

  1. Откройте домашнюю страницу Microsoft Fabric и выберите рабочую область, в которой вы хотите просмотреть задание.

  2. При выборе определения задания Spark или контекстного меню "Записная книжка" отображается параметр последнего запуска.

  3. Выберите "Последние запуски".

  4. выберите приложение и разверните раскрывающийся список "Дополнительные параметры ", а затем выберите "Монитор рядов выполнения".

    Снимок экрана: серия выполнения доступа из недавнего запуска.

Вы можете получить доступ к функции серии выполнения монитора на странице сведений о мониторинге приложений Spark:

  1. Перейдите на страницу сведений о мониторинге приложений Apache Spark.

  2. Выберите параметр ряда выполнения монитора.

    Снимок экрана: серия выполнения доступа на странице сведений о мониторинге приложений Spark.

Просмотр производительности приложения Spark

На графике запуска Spark можно просмотреть тенденцию длительности этой серии выполнения. Каждая вертикальная полоса представляет экземпляр выполнения действия определения задания Notebook или Spark, а высота — длительность выполнения. Вы также можете щелкнуть каждый запущенный экземпляр, чтобы просмотреть более подробные сведения и увеличить масштаб в определенных временных окнах.

Снимок экрана: запущенный граф Spark.

  • Duration
  • Duration(Anomaly)
  • Чтение байтов
  • Запись байтов

Выберите значок цвета, чтобы выбрать или отменить выбор соответствующего содержимого во всех графах.

Снимок экрана: значок цвета для выбора или отмены выбора.

При выборе экземпляра действия определения задания записной книжки или Spark в графе распределение длительности экземпляра, распределение выполнения исполнителя и конфигурация Spark подробно описаны в нижней части графа.

Снимок экрана: выбранный run.png.

Режим фокусировки позволяет развернуть визуальный элемент для просмотра дополнительных сведений. Может быть, у вас есть визуальный элемент, который немного переполнен, и вы хотите увеличить его. Эта функция является идеальным использованием режима фокусировки.

Снимок экрана: режим фокусировки для просмотра детиалов.

Если полоса помечена красным цветом, для этого экземпляра запуска обнаружено исключение. Вы можете просмотреть следующие сведения: общая длительность, ожидаемая длительность и потенциальные причины для этого экземпляра на панели аномалий.

Снимок экрана: аномалии panel.png.