Czym jest interfejs API Livy do inżynierii danych?

Dotyczy:✅ Inżynieria danych i nauka o danych w Fabric

Microsoft Fabric Livy API umożliwia użytkownikom przesyłanie i wykonywanie kodu Spark w ramach obliczeń Spark skojarzonych z Fabric Lakehouse, eliminując konieczność tworzenia jakichkolwiek artefaktów definicji zadań w notesie lub Spark. Ta integracja z usługą Lakehouse zapewnia prosty dostęp do danych przechowywanych w usłudze OneLake.

Funkcje

Interfejs API usługi Fabric Livy obsługuje następujące typy zadań:

  • Zadania sesji — Zadanie sesji Livy ustanawia sesję Spark, która pozostaje aktywna w trakcie interakcji z API Livy. Sesje są przydatne w przypadku obciążeń interaktywnych. Sesja rozpoczyna się po przesłaniu zadania i trwa do momentu zakończenia go przez użytkownika lub zakończenia systemu po upływie 20 minut braku aktywności. W ramach sesji można uruchamiać wiele zadań, współużytkować stan i buforowane dane między przebiegami.
  • Zadania wsadowe — zadanie wsadowe usługi Livy przesyła aplikację Spark na potrzeby pojedynczego wykonania zadania. W przeciwieństwie do zadania sesyjnego, zadanie wsadowe nie utrzymuje ciągłej sesji Spark. Każde zadanie inicjuje nową sesję platformy Spark, która kończy się po zakończeniu zadania, co działa dobrze w przypadku zadań, które nie opierają się na poprzednich obliczeniach lub wymagają zachowania stanu.
  • Sesje wysokiej współbieżności — sesja wysokiej współbieżności (HC) umożliwia współbieżne wykonywanie platformy Spark, umożliwiając klientom uzyskiwanie wielu niezależnych kontekstów wykonywania. Każda sesja HC mapuje się na pętlę REPL (Read-Eval-Print Loop) platformy Spark w obrębie współdzielonej sesji Livy, która obsługuje równoległe wykonywanie, przewidywalne użycie zasobów i izolację między współbieżnymi żądaniami. Aby uzyskać więcej informacji, zobaczcie Obsługę wysokiej współbieżności w interfejsie API usługi Fabric Livy.

Uwaga / Notatka

Obsługa wysokiej współbieżności ma charakter dodatku i nie zmienia istniejących kontraktów API Livy. Istniejące obciążenia związane z sesjami i zadaniami wsadowymi usługi Livy nadal działają bez modyfikacji.

Rozpocznij pracę z interfejsem API Livy

Powiązana zawartość

  • Last updated on