Använda Azure Data Lake Tools för Visual Studio Code

  • Artikel

Viktigt

Nya Azure-Data Lake Analytics-konton kan inte längre skapas om inte din prenumeration har aktiverats. Om du behöver din prenumeration för att aktiveras kontaktar du supporten och anger ditt affärsscenario.

Om du redan använder Azure Data Lake Analytics måste du skapa en migreringsplan för att Azure Synapse Analytics för din organisation senast den 29 februari 2024.

I den här artikeln får du lära dig hur du kan använda Azure Data Lake Tools för Visual Studio Code (VS Code) för att skapa, testa och köra U-SQL-skript. Informationen beskrivs också i följande video:

Förutsättningar

Azure Data Lake Tools för VS Code stöder Windows, Linux och macOS. Lokal U-SQL-körning och lokal felsökning fungerar endast i Windows.

För macOS och Linux:

Installera Azure Data Lake Tools

När du har installerat förhandskraven kan du installera Azure Data Lake Tools för VS Code.

Installera Azure Data Lake Tools

  1. Öppna Visual Studio Code.

  2. Välj Tillägg i den vänstra rutan. Ange Azure Data Lake Tools i sökrutan.

  3. Välj Installera bredvid Azure Data Lake Tools.

    Val för att installera Data Lake Tools

    Efter några sekunder ändras knappen Installera till Läs in igen.

  4. Välj Läs in igen för att aktivera Azure Data Lake Tools-tillägget .

  5. Välj Läs in fönstret igen för att bekräfta. Du kan se Azure Data Lake Tools i fönstret Tillägg .

Aktivera Azure Data Lake Tools

Skapa en .usql-fil eller öppna en befintlig .usql-fil för att aktivera tillägget.

Arbeta med U-SQL

Om du vill arbeta med U-SQL behöver du antingen öppna en U-SQL-fil eller en mapp.

Öppna exempelskriptet

Öppna kommandopaletten (Ctrl+Skift+P) och ange ADL: Öppna exempelskript. Den öppnar en annan instans av det här exemplet. Du kan också redigera, konfigurera och skicka ett skript för den här instansen.

Så här öppnar du en mapp för ditt U-SQL-projekt

  1. Välj menyn Arkiv i Visual Studio Code och välj sedan Öppna mapp.

  2. Ange en mapp och välj sedan Välj mapp.

  3. Välj menyn Arkiv och välj sedan Nytt. En namnlös-1-fil läggs till i projektet.

  4. Ange följande kod i filen Untitled-1:

    @departments  =
    SELECT * FROM
        (VALUES
            (31,    "Sales"),
            (33,    "Engineering"),
            (34,    "Clerical"),
            (35,    "Marketing")
        ) AS
              D( DepID, DepName );

    UTDATA @departments TILL "/Output/departments.csv" USING Outputters.Csv();

    Skriptet skapar en departments.csv fil med vissa data som ingår i mappen /output.

  5. Spara filen som myUSQL.usql i den öppnade mappen.

Kompilera ett U-SQL-skript

  1. Välj Ctrl+Skift+P för att öppna kommandopaletten.
  2. Ange ADL: Kompilera skript. Kompileringsresultatet visas i fönstret Utdata . Du kan också högerklicka på en skriptfil och sedan välja ADL: Kompilera skript för att kompilera ett U-SQL-jobb. Kompileringsresultatet visas i fönstret Utdata .

Skicka ett U-SQL-skript

  1. Välj Ctrl+Skift+P för att öppna kommandopaletten.
  2. Ange ADL: Skicka jobb. Du kan också högerklicka på en skriptfil och sedan välja ADL: Skicka jobb.

När du har skickat ett U-SQL-jobb visas sändningsloggarna i utdatafönstret i VS Code. Jobbvyn visas i den högra rutan. Om överföringen lyckas visas även jobb-URL:en. Du kan öppna jobb-URL:en i en webbläsare för att spåra jobbstatusen i realtid.

På jobbvyns sammanfattningsflik kan du se jobbinformationen. Huvudfunktionerna omfattar att skicka om ett skript, duplicera ett skript och öppna i portalen. På jobbvyns DATA-flik kan du referera till indatafiler, utdatafiler och resursfiler. Filer kan laddas ned till den lokala datorn.

Fliken Sammanfattning i jobbvyn

Fliken Data i jobbvyn

Ange standardkontexten

Du kan ange standardkontexten för att tillämpa den här inställningen på alla skriptfiler om du inte har angett parametrar för filer individuellt.

  1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

  2. Ange ADL: Ange standardkontext. Eller högerklicka på skriptredigeraren och välj ADL: Ange standardkontext.

  3. Välj det konto, den databas och det schema som du vill använda. Inställningen sparas i konfigurationsfilen xxx_settings.json.

    Konto, databas och schema har angetts som standardkontext

Ange skriptparametrar

  1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

  2. Ange ADL: Ange skriptparametrar.

  3. Filen xxx_settings.json öppnas med följande egenskaper:

    • konto: Ett Azure Data Lake Analytics-konto under din Azure-prenumeration som behövs för att kompilera och köra U-SQL-jobb. Du behöver konfigurera datorkontot innan du kompilerar och kör U-SQL-jobb.
    • databas: En databas under ditt konto. Standardvärdet är master.
    • schema: Ett schema under databasen. Standardvärdet är dbo.
    • optionalSettings:
      • prioritet: Prioritetsintervallet är mellan 1 och 1 000, med 1 som högsta prioritet. Standardvärdet är 1000.
      • degreeOfParallelism: Parallellitetsintervallet är från 1 till 150. Standardvärdet är den maximala parallellitet som tillåts i ditt Azure Data Lake Analytics-konto.

    Innehållet i JSON-filen

Anteckning

När du har sparat konfigurationen visas konto-, databas- och schemainformationen i statusfältet längst ned till vänster i motsvarande .usql-fil om du inte har konfigurerat någon standardkontext.

Så här anger du Att Git ska ignoreras

  1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

  2. Ange ADL: Ange Git Ignore.

    • Om du inte har en .gitIgnore-fil i arbetsmappen för VS Code skapas en fil med namnet .gitIgnore i mappen. Fyra objekt (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) läggs till i filen som standard. Du kan göra fler uppdateringar om det behövs.
    • Om du redan har en .gitIgnore-fil i arbetsmappen för VS Code lägger verktyget till fyra objekt (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) i .gitIgnore-filen om de fyra objekten inte ingick i filen.

    Objekt i .gitIgnore-filen

Arbeta med kod bakom filer: C Sharp, Python och R

Azure Data Lake Tools stöder flera anpassade koder. Anvisningar finns i Utveckla U-SQL med Python, R och C Sharp för Azure Data Lake Analytics i VS Code.

Arbeta med sammansättningar

Information om hur du utvecklar sammansättningar finns i Utveckla U-SQL-sammansättningar för Azure Data Lake Analytics-jobb.

Du kan använda Data Lake Tools för att registrera anpassade kodsammansättningar i Data Lake Analytics katalogen.

Registrera en sammansättning

Du kan registrera sammansättningen via kommandot ADL: Register Assembly eller ADL: Register Assembly (Advanced).

Så här registrerar du dig via kommandot ADL: Register Assembly (Registrera sammansättning)

  1. Välj Ctrl+Skift+P för att öppna kommandopaletten.
  2. Ange ADL: Registrera sammansättning.
  3. Ange den lokala sammansättningssökvägen.
  4. Välj ett Data Lake Analytics konto.
  5. Välj en databas.

Portalen öppnas i en webbläsare och visar processen för sammansättningsregistrering.

Ett enklare sätt att utlösa kommandot ADL: Registrera sammansättning är att högerklicka på filen .dll i Utforskaren.

Så här registrerar du dig via kommandot ADL: Register Assembly (Advanced)

  1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

  2. Ange ADL: Registrera sammansättning (avancerat).

  3. Ange den lokala sammansättningssökvägen.

  4. JSON-filen visas. Granska och redigera sammansättningsberoenden och resursparametrar om det behövs. Instruktioner visas i fönstret Utdata . Om du vill fortsätta till sammansättningsregistreringen sparar du JSON-filen (Ctrl+S).

    JSON-fil med sammansättningsberoenden och resursparametrar

Anteckning

  • Azure Data Lake Tools identifierar automatiskt om DLL:en har några sammansättningsberoenden. Beroendena visas i JSON-filen när de har identifierats.
  • Du kan ladda upp dina DLL-resurser (till exempel .txt, .png och .csv) som en del av sammansättningsregistreringen.

Ett annat sätt att utlösa kommandot ADL: Registrera sammansättning (Avancerat) är att högerklicka på filen .dll i Utforskaren.

Följande U-SQL-kod visar hur du anropar en sammansättning. I exemplet är sammansättningsnamnet test.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Använda lokal U-SQL-körning och lokal felsökning för Windows-användare

Lokal U-SQL-körning testar dina lokala data och validerar skriptet lokalt innan koden publiceras till Data Lake Analytics. Du kan använda den lokala felsökningsfunktionen för att slutföra följande uppgifter innan koden skickas till Data Lake Analytics:

  • FelsökA din C#-kod bakom.
  • Gå igenom koden.
  • Verifiera skriptet lokalt.

Funktionen lokal körning och lokal felsökning fungerar bara i Windows-miljöer och stöds inte på macOS- och Linux-baserade operativsystem.

Anvisningar om lokal körning och lokal felsökning finns i Lokal U-SQL-körning och lokal felsökning med Visual Studio Code.

Anslut till Azure

Innan du kan kompilera och köra U-SQL-skript i Data Lake Analytics måste du ansluta till ditt Azure-konto.

Ansluta till Azure med hjälp av ett kommando

  1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

  2. Ange ADL: Logga in. Inloggningsinformationen visas längst ned till höger.

    Ange inloggningskommandot

    Meddelande om inloggning och autentisering

  3. Välj Kopiera & Öppna för att öppna inloggningssidan. Klistra in koden i rutan och välj sedan Fortsätt.

    Inloggningswebbsida

  4. Följ anvisningarna för att logga in från webbsidan. När du är ansluten visas namnet på ditt Azure-konto i statusfältet i det nedre vänstra hörnet i VS Code-fönstret.

Anteckning

  • Data Lake Tools loggar automatiskt in dig nästa gång om du inte loggar ut.
  • Om ditt konto har två faktorer aktiverade rekommenderar vi att du använder telefonautentisering i stället för att använda en PIN-kod.

Logga ut genom att ange kommandot ADL: Logout (Logga ut).

Så här ansluter du till Azure från utforskaren

Expandera AZURE DATALAKE, välj Logga in på Azure och följ sedan steg 3 och steg 4 i Ansluta till Azure med hjälp av ett kommando.

Välj

Du kan inte logga ut från utforskaren. Information om hur du loggar ut finns i Ansluta till Azure med hjälp av ett kommando.

Skapa ett extraheringsskript

Du kan skapa ett extraheringsskript för .csv-, .tsv- och .txt-filer med hjälp av kommandot ADL: Skapa EXTRACT-skript eller från Azure Data Lake Explorer.

Skapa ett extraheringsskript med hjälp av ett kommando

  1. Välj Ctrl+Skift+P för att öppna kommandopaletten och ange ADL: Skapa EXTRAHERINGsskript.
  2. Ange den fullständiga sökvägen för en Azure Storage-fil och välj returnyckeln.
  3. Välj ett konto.
  4. För en .txt fil väljer du en avgränsare för att extrahera filen.

Process för att skapa ett extraheringsskript

Extraheringsskriptet genereras baserat på dina poster. För ett skript som inte kan identifiera kolumnerna väljer du ett av de två alternativen. Om inte genereras bara ett skript.

Resultatet av att skapa ett extraheringsskript

Skapa ett extraheringsskript från utforskaren

Ett annat sätt att skapa extraheringsskriptet är via snabbmenyn (högerklicka) på .csv-, .tsv- eller .txt-filen i Azure Data Lake Store eller Azure Blob Storage.

Kommandot

Nästa steg