Разработка и отладка конвейеров с помощью записной книжки (устаревшая версия)

Это важно

Эта функция доступна в общедоступной предварительной версии.

В этой статье описывается, как использовать записную книжку в декларативных конвейерах Lakeflow Spark для разработки и отладки конвейеров ETL.

Замечание

На этой странице описывается устаревший интерфейс редактирования записной книжки. По умолчанию рекомендуется использовать редактор Lakeflow Pipelines. Редактор Конвейеров Lakeflow можно использовать для редактирования записных книжек или файлов кода Python или SQL для конвейера. Дополнительные сведения см. в разделе "Разработка и отладка конвейеров ETL" с помощью редактора Lakeflow Pipelines.

Чтобы настроить интерфейс записной книжки, описанный на этой странице, необходимо отключить редактор Lakeflow Pipelines. См. Включение редактора конвейеров Lakeflow и обновленный мониторинг.

Обзор записных книжек в Декларативных конвейерах Spark Lakeflow

При работе с записной книжкой Python или SQL, настроенной как исходный код для существующего конвейера, можно подключить записную книжку непосредственно к конвейеру. Когда записная книжка подключена к конвейеру, доступны следующие функции:

• Запустите и проверьте конвейер из блокнота.
• Просмотрите граф потока данных конвейера и журнал событий для последнего обновления в ноутбуке.
• Просмотр диагностики конвейера в редакторе блокнота.
• Просмотрите состояние кластера конвейера в ноутбуке.
• Чтобы получить доступ к пользовательскому интерфейсу декларативных конвейеров Spark Lakeflow, откройте его из записной книжки.

Предпосылки

• У вас должен быть существующий конвейер с записной книжкой Python или SQL, настроенной в качестве исходного кода.
• Вы должны быть либо владельцем конвейера, либо иметь привилегию CAN_MANAGE.

Ограничения

• Функции, описанные в этой статье, доступны только в записных книжках Azure Databricks. Файлы рабочей области не поддерживаются.
• Веб-терминал недоступен при подключении к конвейеру. В результате она не отображается как вкладка на нижней панели.

Подключение ноутбука к конвейеру

В записной книжке щелкните раскрывающееся меню, используемое для выбора вычислений. В раскрывающемся меню отображаются все декларативные конвейеры Lakeflow Spark с использованием этой записной книжки в качестве исходного кода. Чтобы подключить ноутбук к конвейеру, выберите его из списка.

Просмотр состояния кластера конвейера

Чтобы легко понять состояние кластера конвейера, его состояние отображается в раскрывающемся меню вычислений с зеленым цветом, чтобы указать, что кластер запущен.

Проверка кода конвейера

Вы можете проверить конвейер, чтобы обнаружить синтаксические ошибки в вашем исходном коде, не обрабатывая данные.

Чтобы проверить конвейер, выполните одно из следующих действий.

• В правом верхнем углу записной книжки нажмите кнопку "Проверить".
• Нажмите Shift+Enter в любой ячейке записной книжки.
• В раскрывающемся меню ячейки выберите Validate Pipeline.

Замечание

Если вы пытаетесь проверить конвейер во время выполнения существующего обновления, откроется диалоговое окно с запросом на завершение существующего обновления. Если вы нажмете Да, существующее обновление прекратится, и автоматически начнется обновление проверки.

Начать обновление конвейера

Чтобы начать обновление конвейера, нажмите кнопку "Пуск " в правом верхнем углу записной книжки. См. статью "Запуск обновления конвейера".

Просмотр состояния обновления

Верхняя панель в ноутбуке показывает, обновлено ли состояние конвейера.

• Запуск
• Проверка
• Остановка

Просмотр ошибок и диагностики

После запуска обновления или проверки конвейера все ошибки подчёркиваются красным цветом. Наведите курсор на ошибку, чтобы увидеть дополнительную информацию.

Просмотр событий конвейера

При подключении к конвейеру, в нижней части записной книжки находится вкладка журнала событий Декларативные конвейеры Lakeflow Spark.

Просмотр графа потока данных конвейера

Чтобы просмотреть граф потока данных конвейера, перейдите на вкладку графа Декларативных конвейеров Lakeflow Spark в нижней части ноутбука. При выборе узла на графе отображается его схема на правой панели.

Как получить доступ к пользовательскому интерфейсу Декларативного конвейера Lakeflow Spark из блокнота

Чтобы легко перейти к интерфейсу Lakeflow Spark Declarative Pipelines, используйте меню в правом верхнем углу записной книжки.

Доступ к журналам драйверов и пользовательскому интерфейсу Spark из записной книжки

Журналы драйверов и пользовательский интерфейс Spark, связанные с разрабатываемым конвейером, можно легко получить из меню "Вид" записной книжки.