Mi az az Apache Spark-feladatdefiníció?

Az Apache Spark-feladatok definíciója egy Microsoft Fabric-kódelem, amellyel kötegelt/streamelési feladatokat küldhet a Spark-fürtökre. Ha a bináris fájlokat különböző nyelvek fordítási kimenetéből tölti fel (például .jar a Java-ból), különböző átalakítási logikát alkalmazhat a lakehouse-on tárolt adatokra. A bináris fájlon kívül további kódtárak és parancssori argumentumok feltöltésével testre szabhatja a feladat viselkedését.

Spark-feladatdefiníció futtatásához legalább egy lakehouse társítva kell lennie. Ez az alapértelmezett lakehouse-környezet szolgál a Spark-futtatókörnyezet alapértelmezett fájlrendszereként. Minden olyan Spark-kód esetében, amely relatív elérési utat használ az adatok olvasásához/írásához, az adatok az alapértelmezett lakehouse-ból lesznek kiszolgálva.

Tipp.

Spark-feladatdefiníciós elem futtatásához rendelkeznie kell egy fődefiníciós fájllal és egy alapértelmezett lakehouse-környezettel. Ha nem rendelkezik tóházzal, hozzon létre egyet a Tóház létrehozása című témakörben leírt lépések végrehajtásával.

Kapcsolódó tartalom

• Apache Spark-feladatdefiníció létrehozása a Fabricben