Поделиться через

Мониторинг приложений Apache Spark с помощью Synapse Studio

С помощью Azure Synapse Analytics вы можете использовать Apache Spark для запуска записных книжек, заданий и других видов приложений в пулах Apache Spark в рабочей области.

В этой статье объясняется, как отслеживать приложения Apache Spark, что позволяет следить за последними состояниями, проблемами и прогрессом.

Просмотр приложений Apache Spark

Все приложения Apache Spark можно просматривать из монитора ->приложений Apache Spark.

Снимок экрана: приложения Apache Spark.

Просмотр завершенных приложений Apache Spark

Откройте монитор, а затем выберите приложения Apache Spark. Чтобы просмотреть сведения о завершенных приложениях Apache Spark, выберите приложение Apache Spark.

Снимок экрана: сведения о завершенных заданиях.

  1. Проверьте завершенные задачи, состояние и общую длительность.

  2. Обновите задание.

  3. Щелкните "Сравнить приложения" , чтобы использовать функцию сравнения, дополнительные сведения об этой функции см. в разделе "Сравнение приложений Apache Spark".

  4. Щелкните Spark History Server, чтобы открыть страницу "История сервера".

  5. Проверьте сводку.

  6. Проверьте диагностику на вкладке "Диагностика ".

  7. Проверьте логи. Вы можете просмотреть полный журнал Livy, Prelaunch и Driver, выбрав различные параметры в раскрывающемся списке. И вы можете напрямую получить необходимые сведения журнала, выполнив поиск ключевых слов. Нажмите кнопку "Скачать журнал ", чтобы скачать сведения журнала в локальный, и установите флажок "Фильтровать ошибки и предупреждения ", чтобы отфильтровать нужные ошибки и предупреждения.

  8. В созданной диаграмме задания можно просмотреть общие сведения о задании. По умолчанию отображаются все задания. Отфильтровать результаты можно по идентификатору задания.

  9. По умолчанию выбрано отображение Ход выполнения. Вы можете проверить поток данных, выбрав Ход/Чтение/Запись/Длительность в раскрывающемся списке Представление.

  10. Чтобы воспроизвести задание, нажмите кнопку "Воспроизведение ". Вы можете нажать кнопку "Остановить " в любое время, чтобы остановиться.

  11. Используйте полосу прокрутки для увеличения и уменьшения масштаба графика задания, вы также можете выбрать Подогнать по размеру, чтобы он поместился на экране.

Снимок экрана: завершенное задание.

  1. В узле диаграммы задания отображаются следующие сведения о каждом этапе:

    • Идентификатор задания

    • Номер задачи

    • Время длительности

    • Число строк

    • чтение данных: сумма размера входных данных и размера перемешанного чтения

    • Объем записанных данных: сумма размера выходных данных и размера записей перетасовки

    • Номер этапа

      Снимок экрана узла графа задания.

  2. Наведите указатель мыши на задание, а сведения о задании будут отображаться в подсказке:

    • Значок состояния задания: если состояние задания выполнено успешно, оно будет отображаться как зеленое "√"; Если задание обнаруживает проблему, отображается желтый "!"

    • Идентификатор задания

    • Общая часть:

      • Ход выполнения
      • Время длительности
      • Общее число задач

    • Часть данных:

      • Общее число строк
      • Размер чтения
      • Записанный размер

    • Косая часть

      • Неравномерное распределение данных
      • Смещение времени

    • Номер этапа

      Снимок экрана с подсказкой при наведении на задание.

  3. Щелкните номер этапа, чтобы развернуть все этапы, включённые в задание. Нажмите кнопку "Свернуть рядом с идентификатором задания", чтобы свернуть все этапы задания.

  4. Щелкните "Просмотреть сведения" в графе этапов, а затем будут отображаться сведения о стадии.

    Снимок экрана: развернутые этапы.

Мониторинг хода выполнения приложения Apache Spark

Откройте монитор, а затем выберите приложения Apache Spark. Чтобы просмотреть сведения о запущенных приложениях Apache Spark, выберите отправленное приложение Apache Spark. Если приложение Apache Spark по-прежнему запущено, можно отслеживать ход выполнения.

Скриншот выбранного запущенного задания

  1. Проверьте завершенные задачи, состояние и общую длительность.

  2. Отмена приложения Apache Spark.

  3. Обновите задание.

  4. Нажмите кнопку пользовательского интерфейса Spark , чтобы перейти на страницу задания Spark.

  5. Для графа задач, итога, диагностики, логов. В созданной диаграмме задания можно просмотреть общие сведения о задании. Обратитесь к шагам 5–15 в разделе Просмотр завершенных приложений Apache Spark.

Снимок экрана: выполнение задания.

Просмотр отмененных приложений Apache Spark

Откройте монитор, а затем выберите приложения Apache Spark. Чтобы просмотреть сведения об отмененных приложениях Apache Spark, выберите приложение Apache Spark.

Снимок экрана: отмененное задание.

  1. Проверьте завершенные задачи, состояние и общую длительность.

  2. Обновите задание.

  3. Щелкните "Сравнить приложения" , чтобы использовать функцию сравнения, дополнительные сведения об этой функции см. в разделе "Сравнение приложений Apache Spark".

  4. Откройте ссылку сервера истории Apache, щелкнув сервер истории Spark.

  5. Посмотрите на график. В созданной диаграмме задания можно просмотреть общие сведения о задании. Обратитесь к шагам 5–15 раздела завершенных приложений Apache Spark.

Снимок экрана: сведения об отмененных заданиях.

Отладка неудачного приложения Apache Spark

Откройте монитор, а затем выберите приложения Apache Spark. Чтобы просмотреть сведения о неудачных приложениях Apache Spark, выберите приложение Apache Spark.

Снимок экрана: неудачное задание.

  1. Проверьте завершенные задачи, состояние и общую длительность.

  2. Обновите задание.

  3. Щелкните "Сравнить приложения" , чтобы использовать функцию сравнения, дополнительные сведения об этой функции см. в разделе "Сравнение приложений Apache Spark".

  4. Откройте ссылку сервера истории Apache, щелкнув сервер истории Spark.

  5. Посмотрите на график. В созданной диаграмме задания можно просмотреть общие сведения о задании. См. раздел шагов 5–15 в Просмотр завершённых приложений Apache Spark.

Снимок экрана: сведения о сбое задания.

Просмотр входных данных и выходных данных

Выберите приложение Apache Spark и перейдите на вкладку входных данных и выходных данных, чтобы просмотреть даты входных и выходных данных для приложения Apache Spark. Эта функция поможет выполнить отладку задания Spark. И источник данных поддерживает три метода хранения: gen1, gen2 и блоб.

Вкладка входных данных

  1. Нажмите кнопку " Копировать входные данные ", чтобы вставить входной файл в локальный.

  2. Нажмите кнопку "Экспорт в CSV ", чтобы экспортировать входной файл в формате CSV.

  3. Вы можете искать файлы по ключевым словам ввода в поле поиска (ключевые слова включают имя файла, формат чтения и путь).

  4. Входные файлы можно сортировать, щелкнув "Имя", "Формат чтения" и "Путь".

  5. Наведите мышью на входной файл, чтобы появился значок кнопки Скачать/Копировать путь/Дополнительно.

Снимок экрана: вкладка ввода.

  1. Нажмите кнопку "Дополнительно ". Копировать путь/Показать в Проводнике/Свойства появится в контекстном меню.

    Снимок экрана: дополнительное меню ввода.

    • Путь копирования: может копировать полный путь и относительный путь.

    • Показать в Проводнике: можно перейти к связанной учетной записи хранилища (Данные->Связано).

    • Свойства: отображаются основные свойства файла (имя файла, путь к файлу, формат чтения/размер/изменение).

      Снимок экрана: свойства.

Вкладка выходных данных

Отображает те же функции, что и вкладка ввода.

Снимок экрана: выходные данные.

Сравнение приложений Apache Spark

Существует два способа сравнения приложений. Вы можете сравнить, выбрав "Сравнить приложение" или нажав кнопку "Сравнить" в записной книжке , чтобы просмотреть ее в записной книжке.

Сравнение по приложению

Нажмите кнопку "Сравнить приложения" и выберите приложение для сравнения производительности. Вы можете увидеть разницу между двумя приложениями.

Снимок экрана: сравнение приложений.

Снимок экрана: сведения для сравнения приложений.

  1. С помощью мыши наведите указатель мыши на приложение, а затем отображается значок сравнения приложений .

  2. Щелкните значок "Сравнить приложения" и откроется страница "Сравнение приложений ".

  3. Нажмите кнопку "Выбрать приложение" , чтобы открыть страницу приложения сравнения .

  4. При выборе приложения сравнения необходимо ввести URL-адрес приложения или выбрать из повторяющегося списка. Затем нажмите кнопку "ОК ".

    Снимок экрана: выбор приложения сравнения.

  5. Результат сравнения будет отображаться на странице сравнения приложений.

    Снимок экрана: результат сравнения.

Сравнить в блокноте

Нажмите кнопку "Сравнить в записной книжке" на странице "Сравнение приложений" , чтобы открыть записную книжку. Имя файла по умолчанию .ipynb — Recurrent Application Analytics.

Снимок экрана сравнения в ноутбуке.

В записной книжке: повторяющийся файл Аналитики приложений можно запустить непосредственно после настройки пула Spark и языка.

Снимок экрана: повторная аналитика приложений.

Дальнейшие действия

Дополнительные сведения о мониторинге запусков конвейера см. в статье Мониторинг запусков конвейера с помощью Synapse Studio.