Задача Azure Data Lake Analytics

Статья
03/25/2023

Область применения: среда выполнения интеграции SSIS SQL Server в Фабрика данных Azure

Вы можете отправлять задания U-SQL в службу Azure Data Lake Analytics с помощью задачи Data Lake Analytics. Эта задача включена в пакет дополнительных компонентов SQL Server Integration Services (SSIS) для Azure.

См. общие сведения об Azure Data Lake Analytics.

Внимание

Azure Data Lake Analytics будет прекращена 29 февраля 2024 г. Дополнительные сведения см. в этом объявлении.

Настройка задачи

Чтобы добавить в пакет задачу Data Lake Analytics, перетащите ее с панели элементов SSIS на панель холста конструктора. Затем дважды щелкните задачу или щелкните ее правой кнопкой мыши и выберите Изменить. Откроется диалоговое окно редактора задач Azure Data Lake Analytics. Свойства можно задать с помощью конструктора SSIS или программным путем.

Конфигурация страницы "Общие"

Используйте страницу Общие, чтобы настроить задачу и указать скрипт U-SQL, который отправляет эта задача. См. дополнительные сведения о языке U-SQL.

Базовая конфигурация

Задайте имя и описание задачи.

Конфигурация U-SQL

Конфигурация U-SQL включает два типа параметров: SourceType и динамические параметры на основе значения SourceType.

SourceType — указывает источник скрипта U-SQL. Этот скрипт отправляется в учетную запись Data Lake Analytics в процессе выполнения пакета SSI. Доступны следующие параметры для этого свойства:

значение	Описание
DirectInput	Определяет скрипт U-SQL с использованием встроенного редактора. При выборе этого значения отображается динамический параметр USQLStatement.
FileConnection	Указывает локальный USQL-файл, содержащий скрипт U-SQL. При выборе этого значения отображается динамический параметр FileConnection.
Переменная	Указывает переменную SSI, содержащую скрипт U-SQL. При выборе этого значения отображается динамический параметр SourceVariable.

SourceType Dynamic Options. Указывает содержимое скрипта для запроса U-SQL.

Тип источника	Динамические параметры
SourceType = DirectInput	Введите отправляемый запрос U-SQL непосредственно в окно параметров или нажмите кнопку обзора (...), чтобы ввести запрос U-SQL в диалоговое окно Ввод запроса U-SQL.
SourceType = FileConnection	Выберите существующий диспетчер подключений файлов или щелкните <Новое подключение...>, чтобы создать подключение к файлу. См. дополнительные сведения о диспетчере подключения файлов и редакторе диспетчера подключения файлов.
SourceType = Variable	Выберите существующую переменную или щелкните <Создать переменную...>, чтобы создать новую. См. дополнительные сведения о переменных Integration Services (SSIS) и о добавлении переменной.

Конфигурация задания

Конфигурация задания определяет свойства отправляемого задания U-SQL.

AzureDataLakeAnalyticsConnection — указывает учетную запись Data Lake Analytics, в которую отправляется скрипт U-SQL. Выберите соединение из списка определенных диспетчеров соединений. Для создания соединения щелкните <Создать соединение>. См. дополнительные сведения о диспетчере подключений Azure Data Lake Analytics.
JobName — указывает имя задания U-SQL.
AnalyticsUnits — содержит счетчик единиц использования аналитики для задания U-SQL.
Priority — указывает приоритет для задания U-SQL. Можно задать значение от 0 до 1000. Чем меньше число, тем выше приоритет.
RuntimeVersion — указывает версию среды выполнения Data Lake Analytics для задания U-SQL. По умолчанию этот параметр имеет значение default. В большинстве случаев это свойство изменять не нужно.

Synchronous — логическое значение, которое определяет, будет ли задача ожидать выполнения задания. Если установлено значение true, по завершении задания задача отмечается как успешно выполненная. Если установлено значение false, задача отмечается как успешно выполненная после перехода задания в состояние подготовки.

значение	Описание
Истина	Результат задачи определяется по результату выполнения задания U-SQL. Успешное выполнение задания > успешное выполнение задачи. Сбой задания > сбой задачи. Успешное выполнение или сбой задания >завершение задачи.
False	Результат задачи определяется по результату отправки и подготовки задания U-SQL. Успешная отправка задания и прохождение этапа подготовки > успешное выполнение задачи. Сбой отправки задания или сбой задания на этапе подготовки > сбой задачи. Успешное выполнение или сбой задания >завершение задачи.

значение

Описание

Истина

Результат задачи определяется по результату выполнения задания U-SQL. Успешное выполнение задания > успешное выполнение задачи. Сбой задания > сбой задачи. Успешное выполнение или сбой задания >завершение задачи.

False

Результат задачи определяется по результату отправки и подготовки задания U-SQL. Успешная отправка задания и прохождение этапа подготовки > успешное выполнение задачи. Сбой отправки задания или сбой задания на этапе подготовки > сбой задачи. Успешное выполнение или сбой задания >завершение задачи.

TimeOut — указывает время ожидания для выполнения задания (в секундах). Если время ожидания выполнения задания истекает, оно отменяется и отмечается как неудачное. Это свойство недоступно, если Synchronous имеет значение false.

Конфигурация страницы "Сопоставление параметров"

Используйте страницу Сопоставление параметров в диалоговом окне Редактор задач Azure Data Lake Analytics, чтобы сопоставить переменные с параметрами (переменными U-SQL) в скрипте U-SQL.

Имя переменной. Когда вы добавите сопоставление параметра, выбрав Добавить, выберите определенную системой или пользователем переменную в списке. Кроме того, вы можете выбрать <Новая переменная...>, чтобы добавить новую переменную с помощью диалогового окна Добавление переменной. Дополнительные сведения см. в статье Переменные в службах Integration Services (SSIS).
Имя параметра — укажите имя параметра или переменной в скрипте U-SQL. Имя параметра должно начинаться с символа @, например @Param1.

Вот пример, демонстрирующий передачу параметров скрипту U-SQL.

Пример скрипта U-SQL

@searchlog =
    EXTRACT UserId          int,
            Start           DateTime,
            Region          string,
            Query           string,
            Duration        int,
            Urls            string,
            ClickedUrls     string
    FROM @in
    USING Extractors.Tsv(nullEscape:"#NULL#");

@rs1 =
    SELECT Start, Region, Duration
    FROM @searchlog
WHERE Region == "en-gb";

@rs1 =
    SELECT Start, Region, Duration
    FROM @rs1
    WHERE Start <= DateTime.Parse("2012/02/19");

OUTPUT @rs1   
    TO @out
      USING Outputters.Tsv(quoting:false, dateTimeFormat:null);

Обратите внимание, что пути ввода и вывода определяются в параметрах @in и @out. Значения для параметров @in и @out в скрипте U-SQL передаются динамически в соответствии с конфигурацией сопоставления параметров.

Имя переменной	Наименование параметра
User: Variable1	@in
User: Variable2	@out

Конфигурация страницы "Выражения"

Вы можете назначить все свойства в конфигурации страницы "Общие" в качестве выражений свойств, чтобы организовать динамическое обновление свойств во время выполнения. См. дополнительные сведения об использовании выражений свойств в пакетах.

Поделиться через