Мониторинг сведений о приложении Apache Spark
Важно!
Microsoft Fabric в настоящее время находится на этапе предварительной версии. Эти сведения относятся к предварительной версии продукта, который может быть существенно изменен перед выпуском. Корпорация Майкрософт не дает никаких гарантий, явных или подразумеваемых, в отношении предоставленной здесь информации.
С помощью Microsoft Fabric вы можете использовать Apache Spark для запуска записных книжек, заданий и других типов приложений в рабочей области. В этой статье объясняется, как отслеживать приложение Apache Spark, что позволяет следить за состоянием выполнения, проблемами и ходом выполнения заданий.
Просмотр приложений Apache Spark
Вы можете просмотреть все приложения Apache Spark из определения задания Spark, или в контекстном меню элемента записной книжки отображается параметр "Последние запуски>".
Вы можете выбрать имя приложения, которое нужно просмотреть, в списке приложений. На странице сведений о приложении можно просмотреть сведения о приложении.
Мониторинг состояния приложения Apache Spark
Откройте страницу Последние запуски записной книжки или определения задания Spark, чтобы просмотреть состояние приложения Apache.
- Успешное завершение
- Поставлено в очередь
- Остановлена
- Отменено
- Сбой
Задания
Откройте задание приложения Apache Spark в контекстном меню Определение задания Илиэлемент записной книжки Spark, где отображается параметр Последние запуски ->Последние запуски —> выберите задание на странице последних запусков.
На странице сведений о мониторинге приложения Apache Spark список выполнений заданий отображается на вкладке Задания . Здесь можно просмотреть сведения о каждом задании, включая идентификатор задания, описание, состояние, этапы, задачи, длительность, обработано, чтение данных, записанные данные и фрагмент кода.
- Если щелкнуть идентификатор задания, задание можно развернуть или свернуть.
- Щелкните описание задания, чтобы перейти на страницу задания или этапа в пользовательском интерфейсе Spark.
- Щелкните фрагмент кода задания, чтобы проверка и скопировать код, связанный с этим заданием.
Панель "Сводка"
На странице мониторинга приложения Apache Spark нажмите кнопку Свойства , чтобы открыть или свернуть панель сводки. Сведения об этом приложении можно просмотреть в разделе Сведения.
- Состояние этого приложения Spark.
- Идентификатор этого приложения Spark.
- Общая длительность.
- Продолжительность выполнения для этого приложения Spark.
- Длительность постановки в очередь для этого приложения Spark.
- Идентификатор Livy
- Отправитель для этого приложения Spark.
- Время отправки для этого приложения Spark.
- Число исполнителей.
Журналы
На вкладке Журналы можно просмотреть полный журнал Livy, Prelaunch, Driver log с разными параметрами, выбранными на левой панели. Кроме того, вы можете напрямую получить необходимые данные журнала, выполнив поиск по ключевым словам, и просмотреть журналы, отфильтровав состояние журнала. Щелкните Скачать журнал, чтобы скачать данные журнала на локальный.
Иногда журналы недоступны, например состояние задания находится в очереди, а создание кластера завершилось сбоем.
Динамические журналы доступны только при сбое отправки приложения, а журналы драйверов также предоставляются.
Данные
На вкладке Данные можно скопировать список данных в буфер обмена, скачать список данных и отдельные данные, а также проверка свойства для каждого из них.
- Левую панель можно развернуть или свернуть.
- В этом списке будут отображаться имя, формат чтения, размер, источник и путь к входным и выходным файлам.
- Файлы во входных и выходных данных можно скачать, скопировать путь и свойства представления.
Связанные элементы
Вкладка Связанные элементы позволяет просматривать и просматривать элементы, связанные с приложением Apache Spark, включая записные книжки, определения заданий Spark и (или) конвейеры. На странице связанных элементов отображается snapshot значений кода и параметров во время выполнения для записных книжек. Здесь также отображается snapshot всех параметров и параметров на момент отправки определений заданий Spark. Если приложение Apache Spark связано с конвейером, на странице связанного элемента также представлен соответствующий конвейер и действие Spark.
На экране Связанные элементы можно:
- Просматривайте связанные элементы в иерархическом дереве и перемещайтесь по ним.
- Щелкните значок с многоточием "Список дополнительных действий" для каждого элемента, чтобы выполнить различные действия.
- Щелкните элемент snapshot, чтобы просмотреть его содержимое.
- Просмотрите строку навигации, чтобы просмотреть путь от выбранного элемента к корню.
Диагностика
Панель диагностики предоставляет пользователям рекомендации в режиме реального времени и анализ ошибок, которые создаются помощником по Spark путем анализа кода пользователя. Благодаря встроенным шаблонам Помощник По Apache Spark помогает пользователям избежать распространенных ошибок и анализирует сбои, чтобы определить их первопричину.
Дальнейшие действия
Следующим шагом после просмотра сведений о приложении Apache Spark является просмотр хода выполнения задания Spark под ячейкой Записная книжка. Вы можете сослаться на: