Wat is de Livy-API voor Data-engineer ing?

Van toepassing op:✅ Fabric Data Engineering and Data Science

Microsoft Fabric Livy API stelt gebruikers in staat Spark-code in te dienen en uit te voeren binnen Spark compute die is gekoppeld aan een lakehouse in Fabric, waardoor het niet nodig is om notebook- of Spark-taakdefinitie-items aan te maken. Deze integratie met het lakehouse zorgt voor eenvoudige toegang tot gegevens die op OneLake zijn opgeslagen.

Functies

De Fabric Livy-API ondersteunt de volgende taaktypen:

  • Sessietaken : een Livy-sessietaak brengt een Spark-sessie tot stand die actief blijft tijdens de interactie met de Livy-API. Sessies zijn handig voor interactieve workloads. Een sessie wordt gestart wanneer een taak wordt verzonden en duurt totdat de gebruiker deze beëindigt of het systeem het beëindigt na 20 minuten inactiviteit. Meerdere taken kunnen binnen een sessie worden uitgevoerd, waarbij de status en gecachte gegevens tussen de uitvoeringen worden gedeeld.
  • Batchopdrachten — Een Livy-batchopdracht verzendt een Spark-toepassing voor één opdrachtuitvoering. In tegenstelling tot een sessietaak ondersteunt een batchtaak geen doorlopende Spark-sessie. Elke taak start een nieuwe Spark-sessie die eindigt wanneer de taak is voltooid, wat goed werkt voor taken die niet afhankelijk zijn van eerdere berekeningen of waarvoor de status moet worden gehandhaafd.
  • Sessies met hoge gelijktijdigheid : een HC-sessie (Hoge gelijktijdigheid) maakt gelijktijdige Spark-uitvoering mogelijk doordat clients meerdere onafhankelijke uitvoeringscontexten kunnen verkrijgen. Elke HC-sessie wordt toegewezen aan een Spark REPL (Read-Eval-Print Loop) binnen een gedeelde onderliggende Livy-sessie, met ondersteuning voor parallelle uitvoering, voorspelbaar gebruik van resources en isolatie tussen gelijktijdige aanvragen. Zie Ondersteuning voor hoge gelijktijdigheid in de Fabric Livy-API voor meer informatie.

Opmerking

Ondersteuning voor hoge gelijktijdigheid is additief en verandert bestaande Livy API-contracten niet. Bestaande Livy-sessie- en batchworkloads blijven werken zonder aanpassingen.

Aan de slag met de Livy-API

Gerelateerde inhoud

  • Last updated on