Ағылшын тілінде оқу

Бөлісу құралы:

Что такое API Livy для инженерии данных? (предварительная версия)

  • Мақала

Ескерім

API Livy для инженерии данных Fabric предоставляется в предварительной версии.

Область применения:✅ Инжиниринг данных и Обработка и анализ данных в Microsoft Fabric

API Microsoft Fabric Livy позволяет пользователям отправлять и выполнять код Spark на вычислительных ресурсах Spark, связанных с Fabric Lakehouse, устраняя необходимость создания артефактов, таких как записи в блокноте или определения заданий Spark. Эта интеграция с Lakehouse обеспечивает простой доступ к данным, хранящимся в OneLake.

Функции

API Fabric Livy позволяет отправлять задания в двух разных режимах:

  • Задания сеанса
    • Задание сеанса Livy подразумевает создание сеанса Spark, который остается активным во время взаимодействия с API Livy. Сеансы Livy полезны для интерактивных рабочих нагрузок.
    • Сеанс Spark запускается при отправке задания и длится до тех пор, пока пользователь не завершит его или система завершит работу после 20 минут бездействия. В течение сессии несколько заданий могут выполняться, разделяя состояние и кэшированные данные между запусками.
  • Пакетные задания
    • Пакетное задание Livy влечет за собой отправку приложения Spark для выполнения одного задания. В отличие от задания сеанса Livy пакетное задание не поддерживает текущий сеанс Spark.
    • При пакетных заданиях Livy каждое задание инициирует новый сеанс Spark, который заканчивается после завершения задания. Этот подход хорошо подходит для задач, которые не используют предыдущие вычисления или требуют поддержания состояния между заданиями.

Начало работы с API Livy

Узнайте, как создавать и запускать задания Spark с помощью API Livy в Fabric, выбрав отправку заданий Spark на выполнение в сеансе с помощью API Livy или отправку пакетных заданий Spark с помощью API Livy.

Связанный контент