Что такое определение задания Apache Spark?

  • Статья

Определение задания Apache Spark — это элемент кода Microsoft Fabric, позволяющий отправлять задания пакетной или потоковой передачи в кластеры Spark. Отправив двоичные файлы из выходных данных компиляции различных языков (например, JAR из Java), можно применить другую логику преобразования к данным, размещенным в lakehouse. Помимо двоичного файла, можно дополнительно настроить поведение задания, отправив дополнительные библиотеки и аргументы командной строки.

Чтобы запустить определение задания Spark, необходимо иметь по крайней мере один lakehouse, связанный с ним. Этот контекст lakehouse по умолчанию служит файловой системой по умолчанию для среды выполнения Spark. Для любого кода Spark, использующий относительный путь для чтения и записи данных, данные обслуживаются из озера по умолчанию.

Совет

Чтобы запустить элемент определения задания Spark, необходимо иметь основной файл определения и контекст lakehouse по умолчанию. Если у вас нет озера, создайте его, выполнив действия, описанные в разделе "Создание озера".

Связанный контент