Co je rozhraní Livy API pro přípravu dat?

Platí pro:✅ Fabric Data Engineering and Data Science

Microsoft Fabric Livy API umožňuje uživatelům odesílat a spouštět kód Spark v rámci výpočtu Spark spojeného s jezerem v Fabric, čímž odpadá nutnost vytvářet jakékoli položky definice úloh v notebooku nebo Sparku. Tato integrace s jezerním domem zajišťuje přímý přístup k datům uloženým na OneLake.

Funkce

Rozhraní API Fabric Livy podporuje následující typy úloh:

  • Úlohy relací – Livy úloha relace vytvoří relaci Sparku, která zůstává aktivní během interakce s API rozhraním Livy. Relace jsou užitečné pro interaktivní úlohy. Sezení začne, když se úloha odešle a pokračuje, dokud ho uživatel neskončí nebo ho systém neukončí po 20 minutách nečinnosti. V rámci relace může běžet více úloh, které sdílejí stav a data uložená v mezipaměti během opakovaných spuštění.
  • Dávkové úlohy – Dávková úloha Livy odešle aplikaci Spark pro provedení jedné úlohy. Na rozdíl od úlohy relace se dávková úloha neudržuje probíhající relaci Sparku. Každá úloha zahájí novou relaci Sparku, která končí po dokončení úlohy, což funguje dobře pro úkoly, které nespoléhá na předchozí výpočty nebo nevyžadují zachování stavu.
  • Relace vysoké souběžnosti – Relace s vysokou souběžností (HC) umožňuje souběžné spouštění Sparku tím, že klientům umožňuje získat více nezávislých kontextů spuštění. Každá relace HC se mapuje na Spark REPL (Read-Eval-Print Loop) v podkladové sdílené relaci Livy, která umožňuje paralelní spouštění, předvídatelné využití prostředků a izolaci mezi souběžnými požadavky. Další informace najdete v tématu podpora souběžnosti High v rozhraní API Fabric Livy.

Poznámka:

Podpora vysoké souběžnosti je doplňková a nemění stávající kontrakty rozhraní Livy API. Stávající relace Livy a dávkové úlohy budou nadále fungovat beze změny.

Začínáme s rozhraním Livy API

Související obsah

  • Last updated on