Vad är en Apache Spark-jobbdefinition?

En Apache Spark-jobbdefinition är ett Microsoft Fabric-kodobjekt som gör att du kan skicka batch-/direktuppspelningsjobb till Spark-kluster. Genom att ladda upp binära filer från kompileringsutdata från olika språk (till exempel .jar från Java) kan du tillämpa olika transformeringslogik på data som finns på ett lakehouse. Förutom den binära filen kan du ytterligare anpassa jobbets beteende genom att ladda upp fler bibliotek och kommandoradsargument.

Om du vill köra en Spark-jobbdefinition måste du ha minst en lakehouse associerad med den. Den här standardkontexten för lakehouse fungerar som standardfilsystem för Spark-körning. För alla Spark-kod som använder en relativ sökväg för att läsa/skriva data, hanteras data från standard lakehouse.

Dricks

Om du vill köra ett Spark-jobbdefinitionsobjekt måste du ha en huvuddefinitionsfil och standardkontext för lakehouse. Om du inte har ett sjöhus skapar du ett genom att följa stegen i Skapa ett sjöhus.

Relaterat innehåll

• Så här skapar du en Apache Spark-jobbdefinition i Infrastrukturresurser