Интерфейс определения заданий Spark в VS Code
Расширение Visual Studio Code для Synapse полностью поддерживает процесс определения заданий Spark (создание, обновление, чтение и удаление) в Fabric. После создания определения задания Spark можно отправить дополнительные библиотеки, на которые есть ссылки, отправить запрос на выполнение определения задания Spark и проверка журнал выполнения.
Важно!
Microsoft Fabric в настоящее время находится на этапе предварительной версии. Эта информация относится к предварительной версии продукта, который может быть существенно изменен перед выпуском. Корпорация Майкрософт не дает никаких гарантий, явных или подразумеваемых, в отношении информации, представленной здесь.
Создание определения задания Spark
Чтобы создать определение задания Spark, выполните приведенные далее действия.
В Обозреватель VS Code выберите параметр Create Spark Job Definition (Создать определение задания Spark).
Введите начальные обязательные поля: name, lakehouse, на который указывает ссылка, и lakehouse по умолчанию.
После обработки запроса имя созданного SJD отображается в корневом узле Определение задания Spark в Обозреватель VS Code. В узле Имя определения задания Spark перечислены три вложенных узла:
- Файлы: список файла определения main и других библиотек, на которые ссылается ссылка. Вы можете отправлять новые файлы из этого списка.
- Lakehouse: список всех объектов lakehouse, на которые ссылается это определение задания Spark. Lakehouse по умолчанию помечается в списке, и вы можете получить к нему доступ по относительному пути
Files/…, Tables/…. - Запуск. Список журналов выполнения этого определения задания Spark и состояние каждого запуска.
Отправка файла определения main в упоминаемую библиотеку
Чтобы отправить или перезаписать файл определения main, выберите параметр Добавить основной файл.
Чтобы отправить файл библиотеки, на который ссылается main файл определения, выберите параметр Добавить lib file (Добавить lib file).
После отправки файла его можно переопределить, щелкнув параметр Обновить файл и отправив новый файл, или просто удалить файл с помощью параметра Удалить .
Отправка запроса на выполнение
Чтобы отправить запрос на запуск определения задания Spark из VS Code, выполните следующие действия.
В параметрах справа от имени определения задания Spark, которое вы хотите запустить, выберите параметр Запустить задание Spark .
После отправки запроса новое приложение Spark появится в узле Выполняется в списке Обозреватель. Вы можете отменить выполняющееся задание, выбрав параметр Отмена задания Spark .
Открытие определения задания Spark на портале Fabric
Вы можете открыть страницу разработки определений заданий Spark на портале Fabric, выбрав параметр Открыть в браузере .
Вы также можете нажать кнопку Открыть в браузере рядом с завершенным запуском, чтобы просмотреть страницу подробного монитора этого запуска.
Отладка исходного кода определения задания Spark (Python)
Если определение задания Spark создается с помощью PySpark (Python), можно скачать скрипт .py файла определения main и файла, на который ссылается ссылка, а также выполнить отладку исходного скрипта в VS Code.
Чтобы скачать исходный код, выберите параметр Debug Spark Job Definition (Отладка определения задания Spark ) справа от определения задания Spark.
После завершения скачивания папка исходного кода автоматически открывается.
При появлении запроса выберите параметр Доверять авторам . (Этот параметр появляется только при первом открытии папки. Если этот параметр не выбран, вы не сможете отлаживать или запускать исходный скрипт. Дополнительные сведения см. в разделе Visual Studio Code безопасность доверия рабочей области.)
Если вы скачали исходный код ранее, вам будет предложено подтвердить, что локальная версия должна быть перезаписана новой загрузкой.
Примечание
В корневой папке исходного скрипта система создает вложенную папку с именем conf. В этой папке файл с именем lighter-config.json содержит некоторые системные метаданные, необходимые для удаленного запуска. НЕ вносите в него никаких изменений.
Файл с именем sparkconf.py содержит фрагмент кода, который необходимо добавить для настройки объекта SparkConf . Чтобы включить удаленную отладку, убедитесь, что объект SparkConf настроен правильно. На следующем рисунке показана исходная версия исходного кода.
На следующем рисунке показан обновленный исходный код после копирования и вставки фрагмента кода.
После обновления исходного кода с помощью необходимой функции conf необходимо выбрать правильный интерпретатор Python. Обязательно выберите установленный из среды conda synapse-spark-kernel .
Изменение свойств определения задания Spark
Вы можете изменять подробные свойства определений заданий Spark, например аргументы командной строки.
Выберите параметр Обновить конфигурацию SJD , чтобы открыть файл settings.yml . Существующие свойства заполняют содержимое этого файла.
Обновите и сохраните YML-файл.
Выберите параметр Publish SJD Property (Опубликовать свойство SJD ) в правом верхнем углу, чтобы синхронизировать изменения с удаленной рабочей областью.
