Hva er en Apache Spark-jobbdefinisjon?

En Apache Spark-jobbdefinisjon er et Microsoft Fabric-kodeelement som gjør det mulig å sende jobb for parti/strømming til Spark-klyngen. Ved å laste opp binærfilene fra kompileringsutdataene for forskjellige språk, kan du for eksempel bruke forskjellig transformasjonslogikk på dataene som driftes på lakehouse. I tillegg til den binære filen kan du tilpasse virkemåten til jobben ytterligere ved å laste opp flere biblioteker og kommandolinjeargumenter.

Viktig

Microsoft Fabric er i forhåndsversjon.

Hvis du vil kjøre en Spark-jobbdefinisjon, må du ha minst ett lakehouse tilknyttet. Denne standard lakehouse-konteksten fungerer som standard filsystem for Spark-kjøretid. For alle Spark-koder som bruker relativ bane til lese-/skrivedata, blir dataene servert fra standard lakehouse.

Tips

Hvis du vil kjøre spark-jobbdefinisjonselementet, kreves hoveddefinisjonsfil og standard lakehouse-kontekst. Hvis du ikke har et lakehouse, kan du opprette et ved å følge trinnene i Opprett et lakehouse.

Viktig

Spark-jobbdefinisjonselementet er for øyeblikket i FORHÅNDSVISNING.

Neste trinn

I denne oversikten får du en grunnleggende forståelse av en Spark-jobbdefinisjon. Gå videre til neste artikkel for å lære hvordan du oppretter og kommer i gang med din egen Spark-jobbdefinisjon:

• Hvis du vil komme i gang med Microsoft Fabric, kan du se Opprette en Jobbdefinisjon for Apache Spark.