Sdílet prostřednictvím


Vývoj U-SQL s využitím Pythonu, R a C# pro Azure Data Lake Analytics v editoru Visual Studio Code

Zjistěte, jak pomocí editoru Visual Studio Code (VS Code) psát kód Pythonu, R a C# pomocí U-SQL a odesílat úlohy do služby Azure Data Lake. Další informace o nástrojích Azure Data Lake pro VS Code najdete v tématu Použití Nástroje Azure Data Lake pro Visual Studio Code.

Před psaním vlastního kódu na pozadí musíte v nástroji VS Code otevřít složku nebo pracovní prostor.

Předpoklady pro Python a R

Zaregistrujte sestavení rozšíření Pythonu a R pro svůj účet ADL.

  1. Otevřete svůj účet na portálu.

    • Vyberte Přehled.
    • Vyberte Ukázkový skript.
  2. Vyberte Další.

  3. Vyberte Nainstalovat rozšíření U-SQL.

  4. Po instalaci rozšíření U-SQL se zobrazí potvrzovací zpráva.

    Snímky obrazovky znázorňující výběr ukázkových skriptů v přehledu, výběr možnosti Další a instalace rozšíření U-SQL

    Poznámka

    Pokud chcete mít co nejlepší možnosti pro Python a službu jazyka R, nainstalujte si prosím VSCode Python a rozšíření jazyka R.

Vývoj souboru Pythonu

  1. V pracovním prostoru vyberte Nový soubor .

  2. Napište kód v U-SQL. Následuje ukázka kódu.

    REFERENCE ASSEMBLY [ExtPython];
    @t  = 
        SELECT * FROM 
        (VALUES
            ("D1","T1","A1","@foo Hello World @bar"),
            ("D2","T2","A2","@baz Hello World @beer")
        ) AS 
            D( date, time, author, tweet );
    
    @m  =
        REDUCE @t ON date
        PRODUCE date string, mentions string
        USING new Extension.Python.Reducer("pythonSample.usql.py", pyVersion : "3.5.1");
    
    OUTPUT @m
        TO "/tweetmentions.csv"
        USING Outputters.Csv();
    
  3. Klikněte pravým tlačítkem na soubor skriptu a pak vyberte ADL: Generate Python Code Behind File (ADL: Generate Python Code Behind File).

  4. Soubor xxx.usql.py se vygeneruje v pracovní složce. Napište kód v souboru Pythonu. Následuje ukázka kódu.

    def get_mentions(tweet):
        return ';'.join( ( w[1:] for w in tweet.split() if w[0]=='@' ) )
    
    def usqlml_main(df):
        del df['time']
        del df['author']
        df['mentions'] = df.tweet.apply(get_mentions)
        del df['tweet']
        return df
    
  5. Klikněte pravým tlačítkem na soubor USQL a můžete vybrat Zkompilovat skript nebo Odeslat úlohu do spuštěné úlohy.

Vývoj souboru R

  1. V pracovním prostoru vyberte Nový soubor .

  2. Napište kód v souboru U-SQL. Následuje ukázka kódu.

    DEPLOY RESOURCE @"/usqlext/samples/R/my_model_LM_Iris.rda";
    DECLARE @IrisData string = @"/usqlext/samples/R/iris.csv";
    DECLARE @OutputFilePredictions string = @"/my/R/Output/LMPredictionsIris.txt";
    DECLARE @PartitionCount int = 10;
    
    @InputData =
        EXTRACT SepalLength double,
                SepalWidth double,
                PetalLength double,
                PetalWidth double,
                Species string
        FROM @IrisData
        USING Extractors.Csv();
    
    @ExtendedData =
        SELECT Extension.R.RandomNumberGenerator.GetRandomNumber(@PartitionCount) AS Par,
            SepalLength,
            SepalWidth,
            PetalLength,
            PetalWidth
        FROM @InputData;
    
    // Predict Species
    
    @RScriptOutput =
        REDUCE @ExtendedData
        ON Par
        PRODUCE Par,
                fit double,
                lwr double,
                upr double
        READONLY Par
        USING new Extension.R.Reducer(scriptFile : "RClusterRun.usql.R", rReturnType : "dataframe", stringsAsFactors : false);
    OUTPUT @RScriptOutput
    TO @OutputFilePredictions
    USING Outputters.Tsv();
    
  3. Klikněte pravým tlačítkem na soubor USQL a pak vyberte ADL: Generate R Code Behind File(Generovat kód R).

  4. Soubor xxx.usql.r se vygeneruje ve vaší pracovní složce. Napište kód v souboru R. Následuje ukázka kódu.

    load("my_model_LM_Iris.rda")
    outputToUSQL=data.frame(predict(lm.fit, inputFromUSQL, interval="confidence"))
    
  5. Klikněte pravým tlačítkem na soubor USQL a můžete vybrat Zkompilovat skript nebo Odeslat úlohu do spuštěné úlohy.

Vývoj souboru jazyka C#

Soubor kódu na pozadí je soubor jazyka C# přidružený k jednomu skriptu U-SQL. V souboru s kódem na pozadí můžete definovat skript vyhrazený pro UDO, UDA, UDT a UDF. UDO, UDA, UDT a UDF lze použít přímo ve skriptu bez registrace sestavení. Soubor kódu na pozadí je umístěn ve stejné složce jako soubor partnerského skriptu U-SQL. Pokud má skript název xxx.usql, má kód na pozadí název xxx.usql.cs. Pokud soubor kódu na pozadí odstraníte ručně, funkce kódu na pozadí bude pro přidružený skript U-SQL zakázaná. Další informace o psaní kódu zákazníka pro skriptY U-SQL najdete v tématu Psaní a používání vlastního kódu v U-SQL: User-Defined Functions.

  1. V pracovním prostoru vyberte Nový soubor .

  2. Napište kód v souboru U-SQL. Následuje ukázka kódu.

    @a = 
        EXTRACT 
            Iid int,
        Starts DateTime,
        Region string,
        Query string,
        DwellTime int,
        Results string,
        ClickedUrls string 
        FROM @"/Samples/Data/SearchLog.tsv" 
        USING Extractors.Tsv();
    
    @d =
        SELECT DISTINCT Region 
        FROM @a;
    
    @d1 = 
        PROCESS @d
        PRODUCE 
            Region string,
        Mkt string
        USING new USQLApplication_codebehind.MyProcessor();
    
    OUTPUT @d1 
        TO @"/output/SearchLogtest.txt" 
        USING Outputters.Tsv();
    
  3. Klikněte pravým tlačítkem na soubor USQL a pak vyberte ADL: Generate CS Code Behind File(Generovat soubor kódu CS).

  4. Soubor xxx.usql.cs se vygeneruje v pracovní složce. Napište kód do souboru CS. Následuje ukázka kódu.

    namespace USQLApplication_codebehind
    {
        [SqlUserDefinedProcessor]
    
        public class MyProcessor : IProcessor
        {
            public override IRow Process(IRow input, IUpdatableRow output)
            {
                output.Set(0, input.Get<string>(0));
                output.Set(1, input.Get<string>(0));
                return output.AsReadOnly();
            } 
        }
    }
    
  5. Klikněte pravým tlačítkem na soubor USQL a můžete vybrat Zkompilovat skript nebo Odeslat úlohu do spuštěné úlohy.

Další kroky