Mikä on Apache Spark -työn määritelmä?
Apache Spark -työmääritelmä on Microsoft Fabric -koodikohde, jonka avulla voit lähettää erä- tai suoratoistotöitä Spark-klustereihin. Lataamalla binaaritiedostot eri kielten (esimerkiksi Jar java:n) kääntämistuloksista voit soveltaa eri muunnoslogiikkaa Lakehousessa isännöityihin tietoihin. Binaaritiedoston lisäksi voit mukauttaa työn toimintaa entisestään lataamalla lisää kirjastoja ja komentoriviargumentteja.
Spark-työn määritelmän suorittamiseksi siihen on liityttävä vähintään yksi lakehouse. Tämä oletusarvoinen Lakehouse-konteksti toimii Spark-suorituspalvelun oletustiedostojärjestelmänä. Jos spark-koodi käyttää suhteellista polkua tietojen lukemiseen/kirjoittamiseen, tiedot tarjotaan oletusarvoisen Lakehouse-tietolähteen kautta.
Vihje
Spark-työn määrityskohteen suorittaminen edellyttää päämääritystiedostoa ja oletuskontekstia. Jos sinulla ei ole lakehouse-majaa, luo sellainen noudattamalla kohdassa Luo lakehouse olevia ohjeita.