Что такое API Livy для инженерии данных?

Применимо к:✅ Инженерия данных и наука о данных Fabric

Microsoft Fabric API Livy позволяет пользователям отправлять и выполнять код Spark в вычислительных ресурсах Spark, связанных с Fabric Lakehouse, устраняя необходимость создания артефактов определения заданий Spark или записной книжки. Эта интеграция с Lakehouse обеспечивает простой доступ к данным, хранящимся в OneLake.

Функции

API Fabric Livy поддерживает следующие типы заданий:

  • Задания сеансов — задание сеанса Livy устанавливает сеанс Spark, который остается активным во время взаимодействия с API Livy. Сеансы полезны для интерактивных рабочих нагрузок. Сеанс начинается, когда задание отправляется и длится до тех пор, пока пользователь не завершит его или система завершит его через 20 минут бездействия. Несколько заданий могут выполняться в сеансе, совместно используя состояние и кэшированные данные между выполнениями.
  • Пакетные задания — пакетное задание Livy отправляет приложение Spark для одного выполнения задания. В отличие от задания сеанса, пакетное задание не поддерживает текущий сеанс Spark. Каждое задание инициирует новый сеанс Spark, заканчивающийся после завершения задания, который хорошо подходит для задач, которые не зависят от предыдущих вычислений или требуют поддержания состояния.
  • Сеансы высокой параллелизма — сеанс высокой параллелизма (HC) позволяет одновременно выполнять Spark, позволяя клиентам получать несколько независимых контекстов выполнения. Каждый сеанс HC сопоставляется с Циклом чтения, оценки и вывода (REPL) Spark в рамках общего базового сеанса Livy, поддерживающего параллельное выполнение, прогнозируемое использование ресурсов и изоляцию между одновременными запросами. Дополнительные сведения см. в разделе Поддержка параллелизма в API Fabric Livy.

Замечание

Поддержка высокой параллельности не изменяет существующие контракты API Livy. Существующие сеансы Livy и пакетные рабочие нагрузки продолжают работать без изменений.

Начало работы с API Livy

Связанный контент

  • Last updated on