Zdieľať cez

Čo je definícia práce v Apache Spark?

  • Článok

Definícia úlohy v službe Apache Spark je položka kódu služby Microsoft Fabric, ktorá vám umožňuje odosielať dávkové/streamované úlohy do klastrov Spark. Nahratím binárnych súborov z výstupu kompilácie z rôznych jazykov (napríklad .jar z jazyka Java) môžete použiť inú logiku transformácie na údaje hosťované v úzovni lakehouse. Okrem binárneho súboru môžete ďalej prispôsobiť správanie úlohy nahratím ďalších knižníc a argumentov príkazového riadka.

Ak chcete spustiť definíciu úlohy Spark, musíte mať priradenú aspoň jeden domov lakehouse. Tento predvolený kontext lakehouse slúži ako predvolený systém súborov pre modul runtime služby Spark. Pre každý kód služby Spark, ktorý používa relatívnu cestu k čítaniu/zapisovaniu údajov, sa údaje podávajú z predvoleného jazera.

Prepitné

Ak chcete spustiť položku definície úlohy Spark, musíte mať hlavný súbor definície a predvolený kontext jazera. Ak nemáte lakehouse, vytvorte ho pomocou krokov v téme Vytvorenie jazera.

Súvisiaci obsah