Vytváranie a spravovanie definícií úloh apache Spark v programe Visual Studio Code

Rozšírenie Code služby Fabric Data Engineering Visual Studio (VS) Code plne podporuje operácie tvorby, čítania, aktualizácie a odstraňovania (CRUD) operácií definície úloh služby Spark v službe Fabric. Po vytvorení definície úlohy služby Spark môžete nahrať viac odkazovaných knižníc, odoslať žiadosť o spustenie definície úlohy služby Spark a skontrolovať históriu spustení.

Vytvorenie definície úlohy v službe Spark

Vytvorenie novej definície úlohy v službe Spark:

  1. V Prieskumníkovi VS Code vyberte možnosť Vytvoriť definíciu úlohy služby Spark.

    Snímka obrazovky Prieskumníka kódu VS znázorňujúca, kde vybrať možnosť Vytvoriť definíciu úlohy Spark.

  2. Zadajte počiatočné povinné polia: name, referenced lakehouse a default lakehouse.

  3. Procesy požiadavky a názov novovytvorenej definície úlohy služby Spark sa zobrazí v koreňovom uzli Definícia úlohy služby Spark v Prieskumníkovi kódu VS. V uzle Názov úlohy služby Spark sa zobrazia tri podpnody:

    • Súbory: Zoznam hlavného súboru definície a iných odkazovaných knižníc. Môžete nahrať nové súbory z tohto zoznamu.
    • Lakehouse: Zoznam všetkých lakehouses odkazované touto definíciou práce Spark. Predvolený domov jazera je v zozname označený a môžete k nemu získať prístup pomocou relatívnej cesty Files/…, Tables/….
    • Spustiť: Zoznam histórie spúšťania tejto definície úlohy služby Spark a stav úlohy jednotlivých spustení.

Nahratie hlavného súboru definície do odkazovanej knižnice

Ak chcete nahrať alebo prepísať súbor hlavnej definície, vyberte možnosť Pridať hlavný súbor .

Snímka obrazovky VS Code Explorer, ktorá ukazuje, kde vybrať možnosť Pridať hlavný súbor.

Ak chcete nahrať súbor knižnice, na ktorý odkazuje súbor hlavnej definície, vyberte možnosť Pridať súbor libu.

Snímka obrazovky zobrazujúca tlačidlo nahrávania knižnice.

Po nahratí súboru ho môžete prepísať kliknutím na možnosť Aktualizovať súbor a nahratím nového súboru, alebo môžete súbor odstrániť pomocou možnosti Odstrániť .

Snímka obrazovky programu VS Code Explorer, ktorá ukazuje, kde nájdete možnosti Aktualizovať súbor a Odstrániť.

Odoslanie žiadosti o spustenie

Odoslanie žiadosti o spustenie definície úlohy služby Spark z VS Code:

  1. Napravo od názvu definície úlohy služby Spark, ktorú chcete spustiť, vyberte možnosť Spustiť úlohu služby Spark .

    Snímka obrazovky Prieskumníka kódu VS znázorňujúca, kde vybrať položku Spustiť úlohu Spark.

  2. Po odoslaní žiadosti sa nová aplikácia Apache Spark zobrazí v uzli Runs v zozname Prieskumník. Spustenú úlohu môžete zrušiť výberom možnosti Zrušiť úlohu spark .

    Snímka obrazovky Prieskumníka kódu VS s novou aplikáciou Spark uvedenou v uzle Spustenia a zobrazujúca, kde nájsť možnosť Zrušiť úlohu Spark.

Otvorenie definície úlohy služby Spark na portáli služby Fabric

Stránku na tvorbu definície úlohy služby Spark môžete otvoriť na portáli služby Fabric tak , že vyberiete možnosť Otvoriť v prehliadači .

Môžete tiež vybrať položku Otvoriť v prehliadači vedľa dokončeného spustenia, aby sa zobrazila stránka na sledovanie podrobností, ktorá je spustená.

Snímka obrazovky programu VS Code Explorer, ktorá ukazuje, kde vybrať možnosť Otvoriť v prehliadači.

Ladenie zdrojového kódu definície úlohy spark (Python)

Ak je definícia úlohy spark vytvorená pomocou PySparku (Python), môžete si stiahnuť .py skript hlavného súboru definície a odkazovaného súboru a ladiť zdrojový skript v nástroji VS Code.

  1. Ak chcete stiahnuť zdrojový kód, vyberte možnosť Ladiť definíciu úlohy služby Spark napravo od definície úlohy služby Spark.

    Snímka obrazovky zobrazujúca tlačidlo sťahovania zdroja.

  2. Po dokončení sťahovania sa automaticky otvorí priečinok zdrojového kódu.

  3. Po zobrazení výzvy vyberte možnosť Dôverovať autorom . (Táto možnosť sa zobrazí iba pri prvom otvorení priečinka. Ak túto možnosť nevyberiete, nebudete môcť ladiť ani spustiť zdrojový skript. Ďalšie informácie nájdete v téme Zabezpečenie dôveryhodnosti pracovného priestoru v Visual Studiu.)

  4. Ak ste už zdrojový kód stiahli, zobrazí sa výzva na potvrdenie, že chcete prepísať lokálnu verziu novým stiahnutým súborom.

    Poznámka

    V koreňovom priečinku zdrojového skriptu systém vytvorí podpriečinok s názvom conf. V tomto priečinku súbor s názvom lighter-config.json obsahuje metaúdaje systému potrebné na vzdialené spustenie. Nevykonávajte v ňom žiadne zmeny.

  5. Súbor s názvom sparkconf.py obsahuje úryvok kódu, ktorý je potrebné pridať na nastavenie objektu SparkConf . Ak chcete povoliť vzdialené ladenie, uistite sa, že objekt SparkConf je nastavený správne. Na nasledujúcom obrázku je zobrazená pôvodná verzia zdrojového kódu.

    Snímka obrazovky s ukážkou kódu zobrazujúcou zdrojový kód pred zmenou.

    Nasledujúci obrázok je aktualizovaný zdrojový kód po kopírovaní a prilepení úryvku.

    Snímka obrazovky s ukážkou kódu zobrazujúcou zdrojový kód po zmene.

  6. Po aktualizovaní zdrojového kódu potrebným conf, musíte vybrať správne Python Interpreter. Uistite sa, že ste vybrali tú nainštalovanú zo synapse-spark-jadro conda prostredia.

Úprava vlastností definície úlohy služby Spark

Môžete upraviť vlastnosti podrobností definícií úloh služby Spark, ako sú napríklad argumenty príkazového riadka.

  1. Vyberte možnosť Aktualizovať konfiguráciu SJD a otvorte settings.yml súbor. Obsah tohto súboru sa vyplní existujúcimi vlastnosťami.

    Snímka obrazovky znázorňujúca, kde vybrať možnosť Aktualizovať konfiguráciu SJD pre definíciu úlohy Spark.

  2. Aktualizujte a uložte súbor .yml.

  3. Výberom možnosti Publikovať vlastnosť SJD v pravom hornom rohu synchronizujte zmenu späť do vzdialeného pracovného priestoru.

    Snímka obrazovky znázorňujúca, kde vybrať možnosť Publikovať vlastnosť SJD pre definíciu úlohy Spark.

Súvisiaci obsah

  • Last updated on