A Visual Studio Code-hoz készült Azure Data Lake-eszközök használata

Fontos

Új Azure Data Lake Analytics-fiókok csak akkor hozhatók létre, ha az előfizetése engedélyezve van. Ha engedélyeznie kell az előfizetését, forduljon az ügyfélszolgálathoz , és adja meg az üzleti forgatókönyvét.

Ha már használja az Azure Data Lake Analytics, 2024. február 29-ig létre kell hoznia egy migrálási tervet az Elemzés Azure Synapse a szervezet számára.

Ebből a cikkből megtudhatja, hogyan hozhat létre, tesztelhet és futtathat U-SQL-szkripteket az Azure Data Lake Tools for Visual Studio Code (VS Code) használatával. Az információkat a következő videó is ismerteti:

Előfeltételek

Az Azure Data Lake Tools for VS Code támogatja a Windowst, a Linuxot és a macOS-t. Az U-SQL helyi futtatása és helyi hibakeresése csak Windows rendszeren működik.

• Visual Studio Code

MacOS és Linux rendszeren:

• .NET 5.0 SDK
• Mono 5.2.x

Az Azure Data Lake Tools telepítése

Az előfeltételek telepítése után telepítheti az Azure Data Lake Tools for VS Code-ot.

Az Azure Data Lake Tools telepítése

1. Nyissa meg a Visual Studio Code-ot.

2. A bal oldali panelen válassza a Bővítmények lehetőséget. Írja be az Azure Data Lake Tools kifejezést a keresőmezőbe.

3. Válassza a Telepítés lehetőséget az Azure Data Lake Tools mellett.

   

   Néhány másodperc elteltével a Telepítés gomb újra betöltődik.

4. Válassza az Újrabetöltés lehetőséget az Azure Data Lake Tools bővítmény aktiválásához.

5. A megerősítéshez válassza az Ablak újbóli betöltése lehetőséget. Az Azure Data Lake Tools a Bővítmények panelen látható.

Az Azure Data Lake Tools aktiválása

Hozzon létre egy .usql-fájlt, vagy nyisson meg egy meglévő .usql-fájlt a bővítmény aktiválásához.

Az U-SQL használata

Az U-SQL használatához meg kell nyitnia egy U-SQL-fájlt vagy egy mappát.

A mintaszkript megnyitása

Nyissa meg a parancskatalógust (Ctrl+Shift+P), és írja be az ADL: Mintaszkript megnyitása parancsot. Megnyitja a minta egy másik példányát. Ezen a példányon szkripteket is szerkeszthet, konfigurálhat és küldhet be.

Mappa megnyitása az U-SQL-projekthez

1. A Visual Studio Code-ból válassza a Fájl menüt, majd a Mappa megnyitása lehetőséget.

2. Adjon meg egy mappát, majd válassza a Mappa kiválasztása lehetőséget.

3. Válassza a Fájl menüt, majd az Új lehetőséget. A program hozzáad egy Untitled-1 fájlt a projekthez.

4. Írja be a következő kódot az Untitled-1 fájlba:

   @departments  =
       SELECT * FROM
           (VALUES
               (31,    "Sales"),
               (33,    "Engineering"),
               (34,    "Clerical"),
               (35,    "Marketing")
           ) AS
                 D( DepID, DepName );
   

   OUTPUT @departments TO "/Output/departments.csv" USING Outputters.Csv();

   A szkript létrehoz egy departments.csv fájlt, amely tartalmaz néhány adatot a /output mappában.

5. Mentse a fájlt myUSQL.usql néven a megnyitott mappába.

U-SQL-szkript fordítása

1. A parancskatalógus megnyitásához válassza a Ctrl+Shift+P billentyűkombinációt.
2. Adja meg az ADL: Fordítási szkript kifejezést. A fordítási eredmények a Kimenet ablakban jelennek meg. A jobb gombbal egy szkriptfájlra is kattinthat, majd az ADL: Szkript fordítása elemet választva lefordíthat egy U-SQL-feladatot. A fordítás eredménye megjelenik a Kimenet panelen.

U-SQL-szkript elküldése

1. A parancskatalógus megnyitásához válassza a Ctrl+Shift+P billentyűkombinációt.
2. Írja be az ADL: Submit Job (ADL: Feladat elküldése) kifejezést. A jobb gombbal egy szkriptfájlra is kattinthat, majd kiválaszthatja az ADL: Feladat elküldése lehetőséget.

Az U-SQL-feladat elküldése után a beküldési naplók megjelennek a VS Code Kimenet ablakában. A feladatnézet a jobb oldali panelen jelenik meg. Ha a beküldés sikeres, a feladat URL-címe is megjelenik. A feladat URL-címét megnyithatja egy webböngészőben a valós idejű feladat állapotának nyomon követéséhez.

A feladatnézet SUMMARY (ÖSSZEGZÉS ) lapján megtekintheti a feladat részleteit. A fő függvények közé tartozik a szkript újbóli elküldése, a szkript duplikálása és a portálon való megnyitása. A feladatnézet ADAT lapján a bemeneti fájlokra, a kimeneti fájlokra és az erőforrásfájlokra hivatkozhat. A fájlok a helyi számítógépre tölthetők le.

Az alapértelmezett környezet beállítása

Beállíthatja, hogy az alapértelmezett környezet alkalmazza ezt a beállítást az összes szkriptfájlra, ha nem adott meg külön-külön paramétereket a fájlokhoz.

1. A parancskatalógus megnyitásához válassza a Ctrl+Shift+P billentyűkombinációt.

2. Adja meg az ADL: Alapértelmezett környezet beállítása parancsot. Vagy kattintson a jobb gombbal a szkriptszerkesztőre, és válassza az ADL: Alapértelmezett környezet beállítása lehetőséget.

3. Válassza ki a kívánt fiókot, adatbázist és sémát. A beállítás a xxx_settings.json konfigurációs fájlba lesz mentve.

   

Szkriptparaméterek beállítása

1. A parancskatalógus megnyitásához válassza a Ctrl+Shift+P billentyűkombinációt.

2. Adja meg az ADL: Szkriptparaméterek beállítása értéket.

3. A xxx_settings.json fájl a következő tulajdonságokkal nyílik meg:

   • fiók: Egy Azure-Data Lake Analytics fiók az Azure-előfizetésében, amely az U-SQL-feladatok fordításához és futtatásához szükséges. Az U-SQL-feladatok lefordítása és futtatása előtt konfigurálnia kell a számítógépfiókot.
   • adatbázis: A fiók alatt lévő adatbázis. Az alapértelmezett érték a master.
   • séma: Egy séma az adatbázis alatt. Az alapértelmezett érték a dbo.
   • optionalSettings:
     • prioritás: A prioritási tartomány 1 és 1000 között van, és az 1 a legmagasabb prioritás. Az alapértelmezett érték 1000.
     • degreeOfParallelism: A párhuzamosság tartománya 1 és 150 között van. Az alapértelmezett érték az Azure-Data Lake Analytics-fiókban engedélyezett maximális párhuzamosság.

   

Megjegyzés

A konfiguráció mentése után a fiók, az adatbázis és a séma adatai megjelennek a megfelelő .usql-fájl bal alsó sarkában található állapotsoron, ha nincs beállítva alapértelmezett környezet.

A Git figyelmen kívül hagyása

1. A parancskatalógus megnyitásához válassza a Ctrl+Shift+P billentyűkombinációt.

2. Adja meg az ADL:Set Git Ignore (A Git figyelmen kívül hagyása) értéket.

   • Ha nem rendelkezik .gitIgnore fájllal a VS Code munkamappájában, a mappában létrejön egy .gitIgnore nevű fájl. Alapértelmezés szerint négy elem (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) van hozzáadva a fájlhoz. Szükség esetén további frissítéseket is végezhet.
   • Ha már van .gitIgnore fájl a VS Code munkamappájában, az eszköz négy elemet (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) ad hozzá a .gitIgnore fájlhoz, ha a négy elem nem szerepel a fájlban.

   

Kód mögötti fájlok használata: C Sharp, Python és R

Az Azure Data Lake Tools több egyéni kód használatát is támogatja. Útmutatásért lásd: U-SQL fejlesztése Python, R és C Sharp használatával azure Data Lake Analytics a VS Code-ban.

Szerelvények használata

A szerelvények fejlesztésével kapcsolatos információkért lásd: U-SQL-szerelvények fejlesztése Azure-Data Lake Analytics-feladatokhoz.

A Data Lake Tools használatával egyéni kódszerelvényeket regisztrálhat a Data Lake Analytics katalógusban.

Szerelvény regisztrálása

A szerelvényt az ADL: Szerelvény regisztrálása vagy az ADL: Szerelvény regisztrálása (Speciális) paranccsal regisztrálhatja.

Regisztráció az ADL-ben: Szerelvény regisztrálása parancs

1. A parancskatalógus megnyitásához válassza a Ctrl+Shift+P billentyűkombinációt.
2. Adja meg az ADL: Szerelvény regisztrálása parancsot.
3. Adja meg a helyi szerelvény elérési útját.
4. Válasszon ki egy Data Lake Analytics fiókot.
5. Válasszon ki egy adatbázist.

A portál egy böngészőben nyílik meg, és megjeleníti a szerelvényregisztrációs folyamatot.

Az ADL aktiválásának kényelmesebb módja a Szerelvény regisztrálása parancs, ha a jobb gombbal kattint a .dll fájlra a Fájlkezelő.

Regisztráció az ADL:Register Assembly (Advanced) paranccsal

1. A parancskatalógus megnyitásához válassza a Ctrl+Shift+P billentyűkombinációt.

2. Adja meg az ADL: Szerelvény regisztrálása (Speciális) kifejezést.

3. Adja meg a helyi szerelvény elérési útját.

4. Megjelenik a JSON-fájl. Szükség esetén tekintse át és szerkessze a szerelvényfüggőségeket és az erőforrásparamétereket. Az utasítások a Kimenet ablakban jelennek meg. A szerelvényregisztráció folytatásához mentse (Ctrl+S) a JSON-fájlt.

   

Megjegyzés

• Az Azure Data Lake Tools automatikusan észleli, hogy a DLL rendelkezik-e szerelvényfüggőségekkel. A függőségek az észlelés után megjelennek a JSON-fájlban.
• A DLL-erőforrásokat (például .txt, .png és .csv) a szerelvényregisztráció részeként töltheti fel.

Az ADL: Register Assembly (Advanced) parancs aktiválásának másik módja, ha a jobb gombbal a .dll fájlra kattint a Fájlkezelő.

Az alábbi U-SQL-kód bemutatja, hogyan hívhat meg egy szerelvényt. A mintában a szerelvény neve teszt.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Helyi U-SQL-futtatás és helyi hibakeresés használata Windows-felhasználók számára

A helyi U-SQL-futtatás teszteli a helyi adatokat, és helyileg ellenőrzi a szkriptet, mielőtt közzétennénk a kódot Data Lake Analytics. A helyi hibakeresési funkcióval a következő feladatokat hajthatja végre, mielőtt a kódot elküldené Data Lake Analytics:

• Hibakeresés a C#-kód mögött.
• Lépjen végig a kódon.
• Ellenőrizze a szkriptet helyileg.

A helyi futtatási és helyi hibakeresési funkció csak Windows-környezetekben működik, macOS- és Linux-alapú operációs rendszereken nem támogatott.

A helyi futtatásra és a helyi hibakeresésre vonatkozó utasításokért lásd: U-SQL helyi futtatás és helyi hibakeresés a Visual Studio Code-tal.

Csatlakozás az Azure szolgáltatáshoz

Mielőtt U-SQL-szkripteket fordíthat és futtathat Data Lake Analytics, csatlakoznia kell az Azure-fiókjához.

Csatlakozás az Azure-hoz egy paranccsal

1. A parancskatalógus megnyitásához válassza a Ctrl+Shift+P billentyűkombinációt.

2. Adja meg az ADL: Login kifejezést. A bejelentkezési adatok a jobb alsó sarokban jelennek meg.

   

   

3. A bejelentkezési weblap megnyitásához válassza a Másolás & Megnyitás lehetőséget. Illessze be a kódot a mezőbe, majd válassza a Folytatás lehetőséget.

   

4. A weblapról való bejelentkezéshez kövesse az utasításokat. Amikor csatlakozik, az Azure-fiók neve megjelenik a VS Code ablak bal alsó sarkában lévő állapotsoron.

Megjegyzés

• A Data Lake Tools automatikusan aláírja Önt a következő alkalommal, ha nem jelentkezik ki.
• Ha a fiókjában két tényező engedélyezve van, javasoljuk, hogy PIN-kód használata helyett használjon telefonos hitelesítést.

A kijelentkezéshez írja be az ADL: Logout parancsot.

Csatlakozás az Azure-hoz az Explorerből

Bontsa ki az AZURE DATALAKE elemet, válassza a Bejelentkezés az Azure-ba lehetőséget, majd kövesse a Csatlakozás az Azure-hoz parancs használatával című 3. és 4. lépését.

Nem tud kijelentkezni az explorerből. A kijelentkezésről a Csatlakozás az Azure-hoz parancs használatával című témakörben olvashat.

Kinyerési szkript létrehozása

Kinyerési szkriptet hozhat létre .csv, .tsv és .txt fájlokhoz az ADL: EXTRACT szkript létrehozása vagy az Azure Data Lake Explorer paranccsal.

Kinyerési szkript létrehozása parancs használatával

1. Válassza a Ctrl+Shift+P billentyűkombinációt a parancskatalógus megnyitásához, majd írja be az ADL: Extract Script létrehozása parancsot.
2. Adja meg egy Azure Storage-fájl teljes elérési útját, és válassza az Enter billentyűt.
3. Válasszon ki egy fiókot.
4. Egy .txt fájl esetében jelöljön ki egy elválasztót a fájl kinyeréséhez.

A kinyerési szkript a bejegyzések alapján jön létre. Az oszlopok észlelésére nem képes szkriptek esetében válasszon egyet a két lehetőség közül. Ha nem, csak egy szkript jön létre.

Kinyerési szkript létrehozása az Explorerből

A kinyerési szkript létrehozásának másik módja a .csv, .tsv vagy .txt fájl jobb gombbal kattintva (helyi menü) az Azure Data Lake Store-ban vagy az Azure Blob Storage-ban.

Következő lépések

• U-SQL fejlesztése Python, R és C Sharp használatával az Azure Data Lake Analytics-hez a VS Code-ban
• Helyi U-SQL-futtatás és helyi hibakeresés a Visual Studio Code-tal
• Oktatóanyag: Az Azure Data Lake Analytics használatának első lépései
• Oktatóanyag: U-SQL-szkriptek fejlesztése a Data Lake Tools for Visual Studio használatával