Share via

Wat is de Livy-API voor Data-engineer ing?

Van toepassing op:✅ Data-engineer ing en Datawetenschap in Microsoft Fabric

Met de Microsoft Fabric Livy-API kunnen gebruikers Spark-code verzenden en uitvoeren binnen Spark-berekeningen die zijn gekoppeld aan een Fabric Lakehouse, waardoor er geen notebook- of Spark-taakdefinitieartefacten hoeven te worden gemaakt. Deze integratie met Lakehouse zorgt voor eenvoudige toegang tot gegevens die zijn opgeslagen in OneLake.

Functies

Met de Fabric Livy-API kunnen taken in twee verschillende modi worden ingediend:

  • Sessieopdrachten
    • Een Livy-sessietaak omvat het tot stand brengen van een Spark-sessie die actief blijft tijdens de interactie met de Livy-API. Livy-sessies zijn handig voor interactieve workloads.
    • Een Spark-sessie wordt gestart wanneer een taak wordt verzonden en duurt totdat de gebruiker deze beëindigt of het systeem het beëindigt na 20 minuten inactiviteit. Tijdens de sessie kunnen meerdere taken worden uitgevoerd, de status en de gegevens in de cache tussen uitvoeringen worden gedeeld.
  • Batchverwerkingen
    • Een Livy-batchtaak omvat het indienen van een Spark-toepassing voor één taakuitvoering. In tegenstelling tot een Livy-sessietaak onderhoudt een batchtaak geen doorlopende Spark-sessie.
    • Met Livy-batchtaken start elke taak een nieuwe Spark-sessie die eindigt wanneer de taak is voltooid. Deze aanpak werkt goed voor taken die niet afhankelijk zijn van eerdere berekeningen of waarvoor de status tussen taken moet worden onderhouden.

Aan de slag met de Livy-API

Meer informatie over het maken en uitvoeren van Spark-taken met behulp van de Livy-API in Fabric:

Gerelateerde inhoud

  • Last updated on