Разработка U-SQL с помощью Python, R и C# для Azure Data Lake Analytics в Visual Studio Code

Узнайте, как использовать Visual Studio Code (VS Code) для записи кода Python, R и C# с помощью U-SQL и отправки заданий в службу Azure Data Lake. Дополнительные сведения о средствах Azure Data Lake для VS Code см. в статье "Использование средств Azure Data Lake для Visual Studio Code".

Прежде чем писать пользовательский код, необходимо открыть папку или рабочую область в VS Code.

Предварительные требования для Python и R

Зарегистрируйте сборки расширений Python и R для учетной записи ADL.

Откройте учетную запись на портале.
- Выберите Обзор.
- Выберите пример скрипта.
Выберите Дополнительно.
Выберите "Установить расширения U-SQL".
Сообщение подтверждения отображается после установки расширений U-SQL.

Замечание

Чтобы лучше всего использовать языковую службу Python и R, установите расширение VSCode Python и R.

Разработка файла Python

Выберите новый файл в рабочей области.

Напишите код в U-SQL. Ниже приведен пример кода.

REFERENCE ASSEMBLY [ExtPython];
@t  = 
    SELECT * FROM 
    (VALUES
        ("D1","T1","A1","@foo Hello World @bar"),
        ("D2","T2","A2","@baz Hello World @beer")
    ) AS 
        D( date, time, author, tweet );

@m  =
    REDUCE @t ON date
    PRODUCE date string, mentions string
    USING new Extension.Python.Reducer("pythonSample.usql.py", pyVersion : "3.5.1");

OUTPUT @m
    TO "/tweetmentions.csv"
    USING Outputters.Csv();

Щелкните правой кнопкой мыши файл скрипта и выберите ADL: Создать код Python за файлом.

Файл xxx.usql.py создается в рабочей папке. Напишите код в файле Python. Ниже приведен пример кода.

def get_mentions(tweet):
    return ';'.join( ( w[1:] for w in tweet.split() if w[0]=='@' ) )

def usqlml_main(df):
    del df['time']
    del df['author']
    df['mentions'] = df.tweet.apply(get_mentions)
    del df['tweet']
    return df

Щелкните правой кнопкой мыши в USQL-файле , выберите "Компиляция скрипта " или " Отправить задание " для выполнения задания.

Разработка R-файла

Выберите новый файл в рабочей области.

Напишите код в U-SQL-файле. Ниже приведен пример кода.

DEPLOY RESOURCE @"/usqlext/samples/R/my_model_LM_Iris.rda";
DECLARE @IrisData string = @"/usqlext/samples/R/iris.csv";
DECLARE @OutputFilePredictions string = @"/my/R/Output/LMPredictionsIris.txt";
DECLARE @PartitionCount int = 10;

@InputData =
    EXTRACT SepalLength double,
            SepalWidth double,
            PetalLength double,
            PetalWidth double,
            Species string
    FROM @IrisData
    USING Extractors.Csv();

@ExtendedData =
    SELECT Extension.R.RandomNumberGenerator.GetRandomNumber(@PartitionCount) AS Par,
        SepalLength,
        SepalWidth,
        PetalLength,
        PetalWidth
    FROM @InputData;

// Predict Species

@RScriptOutput =
    REDUCE @ExtendedData
    ON Par
    PRODUCE Par,
            fit double,
            lwr double,
            upr double
    READONLY Par
    USING new Extension.R.Reducer(scriptFile : "RClusterRun.usql.R", rReturnType : "dataframe", stringsAsFactors : false);
OUTPUT @RScriptOutput
TO @OutputFilePredictions
USING Outputters.Tsv();

Щелкните правой кнопкой мыши в файле USQL и выберите ADL: Сгенерировать код R для файла.
Файл xxx.usql.r создается в рабочей папке. Напишите код в R-файле. Ниже приведен пример кода.
```
load("my_model_LM_Iris.rda")
outputToUSQL=data.frame(predict(lm.fit, inputFromUSQL, interval="confidence"))
```
Щелкните правой кнопкой мыши в USQL-файле , выберите "Компиляция скрипта " или " Отправить задание " для выполнения задания.

Разработка файла C#

Файл программной части — это файл C#, связанный с одним скриптом U-SQL. Вы можете определить скрипт, предназначенный для UDO, UDA, UDT и UDF в файле кода. UDO, UDA, UDT и UDF можно использовать непосредственно в скрипте без регистрации сборки. Файл кода находится в той же папке, что и связанный с ним файл скрипта U-SQL. Если скрипт называется xxx.usql, код программной части называется xxx.usql.cs. Если вручную удалить файл код-за-кулисами, функция код-за-кулисами будет отключена для связанного сценария U-SQL. Дополнительные сведения о написании клиентского кода для скрипта U-SQL см. в статье "Написание и использование пользовательского кода в U-SQL: User-Defined Функции".

Выберите новый файл в рабочей области.

Напишите код в U-SQL-файле. Ниже приведен пример кода.

@a = 
    EXTRACT 
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string 
    FROM @"/Samples/Data/SearchLog.tsv" 
    USING Extractors.Tsv();

@d =
    SELECT DISTINCT Region 
    FROM @a;

@d1 = 
    PROCESS @d
    PRODUCE 
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();

OUTPUT @d1 
    TO @"/output/SearchLogtest.txt" 
    USING Outputters.Tsv();

Щелкните правой кнопкой мыши файл USQL , а затем выберите ADL: Создать CS-код за файлом.

Файл xxx.usql.cs создается в рабочей папке. Напишите код в CS-файле. Ниже приведен пример кода.

namespace USQLApplication_codebehind
{
    [SqlUserDefinedProcessor]

    public class MyProcessor : IProcessor
    {
        public override IRow Process(IRow input, IUpdatableRow output)
        {
            output.Set(0, input.Get<string>(0));
            output.Set(1, input.Get<string>(0));
            return output.AsReadOnly();
        } 
    }
}

Щелкните правой кнопкой мыши в USQL-файле , выберите "Компиляция скрипта " или " Отправить задание " для выполнения задания.

Дальнейшие действия

Last updated on 2023-12-20