Диагностика проблем с затратами и производительностью с помощью пользовательского интерфейса Spark
В этом руководстве описано, как использовать пользовательский интерфейс Spark для диагностики проблем с затратами и производительностью. Это пошаговое руководство, и это практический практическое руководство. Вместо того чтобы просто предоставить вам объяснение того, что делает каждая страница в пользовательском интерфейсе Spark, она сообщает вам, что искать и что это означает. Если вы не знакомы с понятиями драйвера, работников, исполнителей, этапов и задач, может потребоваться просмотреть архитектуру Spark.
Если вы ищете полный список различных средств оптимизации, используйте руководство по оптимизации Databricks. Разделы руководства по оптимизации приведены в этом руководстве по пользовательскому интерфейсу Spark.
Использование этого руководства
Чтобы перейти к руководству, используйте ссылки, внедренные на каждую страницу, чтобы перейти к следующему шагу. В руководстве приведены следующие действия.
- Использование временной шкалы заданий для выявления основных проблем
- Посмотрите на самый длинный этап
- Поиск размыка или разлива
- Определите, привязан ли самый длинный этап ввода-вывода
- Поиск других причин медленной среды выполнения стадии
Давайте приступим!
Открытие пользовательского интерфейса Spark
Перейдите на страницу кластера:
Щелкните пользовательский интерфейс Spark:
Следующий шаг
Теперь, когда вы открыли пользовательский интерфейс Spark, просмотрите событие временная шкала, чтобы узнать больше о конвейере или запросе. См. временная шкала заданий.