Spark-jobbdefinitionsupplevelse i VS Code

  • Artikel

Visual Studio Code-tillägget för Synapse har fullt stöd för SPARK-jobbdefinitionsupplevelsen (skapa, uppdatera, läsa och ta bort) i Fabric. När du har skapat en Spark-jobbdefinition kan du ladda upp fler refererade bibliotek, skicka en begäran om att köra Spark-jobbdefinitionen och kontrollera körningshistoriken.

Viktigt

Microsoft Fabric är för närvarande i förhandsversion. Den här informationen gäller en förhandsversionsprodukt som kan ändras avsevärt innan den släpps. Microsoft lämnar inga garantier, uttryckta eller underförstådda, med avseende på den information som tillhandahålls här.

Skapa en Spark-jobbdefinition

Så här skapar du en ny Spark-jobbdefinition:

  1. I VS Code Explorer väljer du alternativet Skapa Spark-jobbdefinition .

    Skärmbild av VS Code Explorer som visar var du väljer alternativet Skapa Spark-jobbdefinition.

  2. Ange de första obligatoriska fälten: namn, refererad lakehouse och standard lakehouse.

  3. När begäran har bearbetats visas namnet på din nyligen skapade SJD under rotnoden för Spark-jobbdefinition i VS Code Explorer. Under noden Namn på Spark-jobbdefinition visas tre undernoder:

    • Filer: Lista över huvuddefinitionsfilen och andra refererade bibliotek. Du kan ladda upp nya filer från den här listan.
    • Lakehouse: Lista över alla lakehouses som refereras av den här Spark-jobbdefinitionen. Standard lakehouse är markerat i listan och du kan komma åt det via den relativa sökvägen Files/…, Tables/….
    • Kör: Lista över körningshistoriken för den här Spark-jobbdefinitionen och jobbstatusen för varje körning.

Ladda upp en huvuddefinitionsfil till ett refererat bibliotek

Om du vill ladda upp eller skriva över huvuddefinitionsfilen väljer du alternativet Lägg till huvudfil .

Skärmbild av VS Code Explorer som visar var du väljer alternativet Lägg till huvudfil.

Om du vill ladda upp biblioteksfilen som refereras i huvuddefinitionsfilen väljer du alternativet Lägg till Lib-fil .

Skärmbild som visar knappen Ladda upp lib.

När en fil har laddats upp kan du åsidosätta den genom att klicka på alternativet Uppdatera fil och ladda upp en ny fil, eller bara ta bort filen via alternativet Ta bort .

Skärmbild av VS Code Explorer som visar var du hittar alternativen Uppdatera fil och Ta bort.

Skicka en körningsbegäran

Så här skickar du en begäran om att köra Spark-jobbdefinitionen från VS Code:

  1. Från alternativen till höger om namnet på den Spark-jobbdefinition som du vill köra väljer du alternativet Kör Spark-jobb .

    Skärmbild av VS Code Explorer som visar var du väljer Kör Spark-jobb.

  2. När du har skickat begäran visas ett nytt Spark-program i noden Körningar i explorer-listan. Du kan avbryta jobbet som körs genom att välja alternativet Avbryt Spark-jobb .

    Skärmbild av VS Code Explorer med det nya Spark-programmet under noden Körningar och var du hittar alternativet Avbryt Spark-jobb.

Öppna en Spark-jobbdefinition i Fabric-portalen

Du kan öppna redigeringssidan för Spark-jobbdefinition i Infrastrukturportalen genom att välja alternativet Öppna i webbläsare .

Du kan också välja Öppna i webbläsare bredvid en slutförd körning för att se detaljövervakarsidan för den körningen.

Skärmbild av VS Code Explorer som visar var du väljer alternativet Öppna i webbläsare.

Felsöka Källkod för Spark-jobbdefinition (Python)

Om Spark-jobbdefinitionen skapas med PySpark (Python) kan du ladda ned .py-skriptet för huvuddefinitionsfilen och den refererade filen och felsöka källskriptet i VS Code.

  1. Om du vill ladda ned källkoden väljer du alternativet Felsöka Spark-jobbdefinition till höger om Spark-jobbdefinitionen.

    Skärmbild som visar knappen Hämta källa.

  2. När nedladdningen är klar öppnas mappen för källkoden automatiskt.

  3. Välj alternativet Lita på författarna när du uppmanas att göra det. (Det här alternativet visas bara första gången du öppnar mappen. Om du inte väljer det här alternativet kan du inte felsöka eller köra källskriptet. Mer information finns i Säkerhet för betrodd arbetsyta i Visual Studio Code.)

  4. Om du har laddat ned källkoden tidigare uppmanas du att bekräfta att den lokala versionen ska skrivas över av den nya nedladdningen.

    Anteckning

    I källskriptets rotmapp skapar systemet en undermapp med namnet conf. I den här mappen innehåller en fil med namnet lighter-config.json vissa systemmetadata som behövs för fjärrkörningen. Gör INGA ändringar i den.

  5. Filen med namnet sparkconf.py innehåller ett kodfragment som du måste lägga till för att konfigurera SparkConf-objektet . Om du vill aktivera fjärrfelsökningen kontrollerar du att SparkConf-objektet är korrekt konfigurerat. Följande bild visar den ursprungliga versionen av källkoden.

    Skärmbild av ett kodexempel som visar källkoden före ändringen.

    Nästa bild är den uppdaterade källkoden när du har kopierat och klistrat in kodfragmentet.

    Skärmbild av ett kodexempel som visar källkoden efter ändringen.

  6. När du har uppdaterat källkoden med den nödvändiga konfigurationen måste du välja rätt Python-tolk. Se till att välja den som är installerad från conda-miljön synapse-spark-kernel .

Redigera egenskaper för Spark-jobbdefinition

Du kan redigera informationsegenskaperna för Spark-jobbdefinitioner, till exempel kommandoradsargument.

  1. Välj alternativet Uppdatera SJD-konfiguration för att öppna en settings.yml-fil . De befintliga egenskaperna fyller i innehållet i den här filen.

    Skärmbild som visar var du väljer alternativet Uppdatera SJD-konfiguration för en Spark-jobbdefinition.

  2. Uppdatera och spara .yml-filen.

  3. Välj alternativet Publicera SJD-egenskap i det övre högra hörnet för att synkronisera ändringen tillbaka till fjärrarbetsytan.

    Skärmbild som visar var du väljer alternativet Publicera SJD-egenskap för en Spark-jobbdefinition.

Nästa steg