Wat is de Livy-API voor Data-engineer ing?

Van toepassing op:✅ Fabric Data Engineering and Data Science

met Microsoft Fabric Livy-API kunnen gebruikers Spark-code verzenden en uitvoeren binnen Spark-berekeningen die zijn gekoppeld aan een Fabric Lakehouse, waardoor er geen notebook- of Spark-taakdefinitieartefacten hoeven te worden gemaakt. Deze integratie met Lakehouse zorgt voor eenvoudige toegang tot gegevens die zijn opgeslagen in OneLake.

Functies

De Fabric Livy-API ondersteunt de volgende taaktypen:

  • Sessietaken : een Livy-sessietaak brengt een Spark-sessie tot stand die actief blijft tijdens de interactie met de Livy-API. Sessies zijn handig voor interactieve workloads. Een sessie wordt gestart wanneer een taak wordt verzonden en duurt totdat de gebruiker deze beëindigt of het systeem het beëindigt na 20 minuten inactiviteit. Meerdere taken kunnen binnen een sessie worden uitgevoerd, waarbij de status en gecachte gegevens tussen de uitvoeringen worden gedeeld.
  • Batchopdrachten — Een Livy-batchopdracht verzendt een Spark-toepassing voor één opdrachtuitvoering. In tegenstelling tot een sessietaak ondersteunt een batchtaak geen doorlopende Spark-sessie. Elke taak start een nieuwe Spark-sessie die eindigt wanneer de taak is voltooid, wat goed werkt voor taken die niet afhankelijk zijn van eerdere berekeningen of waarvoor de status moet worden gehandhaafd.
  • Sessies met hoge gelijktijdigheid : een HC-sessie (Hoge gelijktijdigheid) maakt gelijktijdige Spark-uitvoering mogelijk doordat clients meerdere onafhankelijke uitvoeringscontexten kunnen verkrijgen. Elke HC-sessie wordt toegewezen aan een Spark REPL (Read-Eval-Print Loop) binnen een gedeelde onderliggende Livy-sessie, met ondersteuning voor parallelle uitvoering, voorspelbaar gebruik van resources en isolatie tussen gelijktijdige aanvragen. Zie Ondersteuning voor hoge gelijktijdigheid in de Fabric Livy-API voor meer informatie.

Opmerking

Ondersteuning voor hoge gelijktijdigheid is additief en verandert bestaande Livy API-contracten niet. Bestaande Livy-sessie- en batchworkloads blijven werken zonder aanpassingen.

Aan de slag met de Livy-API

Gerelateerde inhoud

  • Last updated on