Megosztás a következőn keresztül:

U-SQL fejlesztése Python, R és C# használatával az Azure Data Lake Analyticshez a Visual Studio Code-ban

Megtudhatja, hogyan írhat Python-, R- és C#-kódokat a U-SQL-hez a Visual Studio Code (VS Code) használatával, és hogyan küldhet be feladatokat az Azure Data Lake szolgáltatásba. További információ az Azure Data Lake Tools for VS Code-ról: Az Azure Data Lake Tools for Visual Studio Codehasználata.

Az egyéni kód mögötti kód írása előtt meg kell nyitnia egy mappát vagy egy munkaterületet a VS Code-ban.

A Python és az R előfeltételei

Python- és R-bővítmény-szerelvények regisztrálása az ADL-fiókhoz.

  1. Nyissa meg a fiókját a portálon.

    • Válassza Áttekintéslehetőséget.
    • Válassza példaszkriptlehetőséget.

  2. Válassza az Egyebek lehetőséget.

  3. Válassza U-SQL-bővítmények telepítéselehetőséget.

  4. A megerősítő üzenet az U-SQL-bővítmények telepítése után jelenik meg.

    Képernyőképek a mintaszkriptek áttekintésben való kiválasztásáról, a Továbbiak és az U-SQL-bővítmények telepítéséről.

    Megjegyzés

    A Python és az R nyelvi szolgáltatással kapcsolatos legjobb élmény érdekében telepítse a VSCode Python és az R bővítményt.

Python-fájl fejlesztése

  1. Válassza ki az Új fájlt a munkaterületén.

  2. Írja meg a kódot a U-SQL-ben. Az alábbiakban egy kódminta látható.

    REFERENCE ASSEMBLY [ExtPython];
@t  = 
    SELECT * FROM 
    (VALUES
        ("D1","T1","A1","@foo Hello World @bar"),
        ("D2","T2","A2","@baz Hello World @beer")
    ) AS 
        D( date, time, author, tweet );

@m  =
    REDUCE @t ON date
    PRODUCE date string, mentions string
    USING new Extension.Python.Reducer("pythonSample.usql.py", pyVersion : "3.5.1");

OUTPUT @m
    TO "/tweetmentions.csv"
    USING Outputters.Csv();

  3. Kattintson a jobb gombbal egy szkriptfájlra, majd válassza ADL: Python-kód létrehozása a fájlmögött.

  4. A xxx.usql.py fájl a munkamappában jön létre. Írja meg a kódját egy Python-fájlba. Az alábbiakban egy kódminta látható.

    def get_mentions(tweet):
    return ';'.join( ( w[1:] for w in tweet.split() if w[0]=='@' ) )

def usqlml_main(df):
    del df['time']
    del df['author']
    df['mentions'] = df.tweet.apply(get_mentions)
    del df['tweet']
    return df

  5. Kattintson a jobb gombbal a USQL fájlra, válassza a Skript fordítása vagy a Feladat elküldése lehetőséget a feladat futtatásához.

R-fájl fejlesztése

  1. Válassza ki az Új fájlt a munkaterületén.

  2. Írja meg a kódját egy U-SQL fájlba. Az alábbiakban egy kódminta látható.

    DEPLOY RESOURCE @"/usqlext/samples/R/my_model_LM_Iris.rda";
DECLARE @IrisData string = @"/usqlext/samples/R/iris.csv";
DECLARE @OutputFilePredictions string = @"/my/R/Output/LMPredictionsIris.txt";
DECLARE @PartitionCount int = 10;

@InputData =
    EXTRACT SepalLength double,
            SepalWidth double,
            PetalLength double,
            PetalWidth double,
            Species string
    FROM @IrisData
    USING Extractors.Csv();

@ExtendedData =
    SELECT Extension.R.RandomNumberGenerator.GetRandomNumber(@PartitionCount) AS Par,
        SepalLength,
        SepalWidth,
        PetalLength,
        PetalWidth
    FROM @InputData;

// Predict Species

@RScriptOutput =
    REDUCE @ExtendedData
    ON Par
    PRODUCE Par,
            fit double,
            lwr double,
            upr double
    READONLY Par
    USING new Extension.R.Reducer(scriptFile : "RClusterRun.usql.R", rReturnType : "dataframe", stringsAsFactors : false);
OUTPUT @RScriptOutput
TO @OutputFilePredictions
USING Outputters.Tsv();

  3. Kattintson a jobb gombbal USQL- fájlba, majd válassza ADL: R-kód létrehozása a fájlmögött.

  4. A xxx.usql.r fájl a munkamappában jön létre. Írja a kódot R-fájlba. Az alábbiakban egy kódminta látható.

    load("my_model_LM_Iris.rda")
outputToUSQL=data.frame(predict(lm.fit, inputFromUSQL, interval="confidence"))

  5. Kattintson a jobb gombbal a USQL fájlra, válassza a Skript fordítása vagy a Feladat elküldése lehetőséget a feladat futtatásához.

C#-fájl fejlesztése

A kód mögötti fájl egy egyetlen U-SQL-szkripthez társított C#-fájl. A mögöttes kódfájlban definiálhat egy UDO, UDA, UDT és UDF számára dedikált szkriptet. Az UDO-t, UDA-t, UDT-t és UDF-et közvetlenül használhatják a szkriptben anélkül, hogy először regisztrálniuk kellene a szerelvényt. A kódfájl ugyanabba a mappába kerül, mint a kapcsolódó U-SQL-szkriptfájl. Ha a szkript neve xxx.usql, a mögöttes kód neve xxx.usql.cs. Ha manuálisan törli a kód mögötti fájlt, a kód mögötti funkció le van tiltva a társított U-SQL-szkript esetében. További információ az U-SQL-szkript ügyfélkódjának megírásáról: Egyéni kód írása és használata az U-SQL-ben: User-Defined Functions.

  1. Válassza ki az Új fájlt a munkaterületén.

  2. Írja meg a kódját egy U-SQL fájlba. Az alábbiakban egy kódminta látható.

    @a = 
    EXTRACT 
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string 
    FROM @"/Samples/Data/SearchLog.tsv" 
    USING Extractors.Tsv();

@d =
    SELECT DISTINCT Region 
    FROM @a;

@d1 = 
    PROCESS @d
    PRODUCE 
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();

OUTPUT @d1 
    TO @"/output/SearchLogtest.txt" 
    USING Outputters.Tsv();

  3. Kattintson a jobb gombbal USQL- fájlra, majd válassza ADL: CS-kód létrehozása a fájlmögött.

  4. A xxx.usql.cs fájl a munkamappában jön létre. Írja a kódját CS fájlba. Az alábbiakban egy kódminta látható.

    namespace USQLApplication_codebehind
{
    [SqlUserDefinedProcessor]

    public class MyProcessor : IProcessor
    {
        public override IRow Process(IRow input, IUpdatableRow output)
        {
            output.Set(0, input.Get<string>(0));
            output.Set(1, input.Get<string>(0));
            return output.AsReadOnly();
        } 
    }
}

  5. Kattintson a jobb gombbal a USQL fájlra, válassza a Skript fordítása vagy a Feladat elküldése lehetőséget a feladat futtatásához.

Következő lépések

  • Last updated on