Задача Azure Data Lake Analytics

Область применения:SQL Server Среда выполнения интеграции SSIS в Azure Data Factory

Вы можете отправлять задания U-SQL в службу Azure Data Lake Analytics с помощью задачи Data Lake Analytics. Эта задача включена в пакет дополнительных компонентов SQL Server Integration Services (SSIS) для Azure.

См. общие сведения об Azure Data Lake Analytics.

Important

Azure Data Lake Analytics будет прекращена 29 февраля 2024 г. Дополнительные сведения см. в этом объявлении.

Настройка задачи

Чтобы добавить в пакет задачу Data Lake Analytics, перетащите ее с панели элементов SSIS на панель холста конструктора. Затем дважды щелкните задачу или щелкните ее правой кнопкой мыши и выберите команду "Изменить". Откроется диалоговое окно редактора задач Azure Data Lake Analytics. Свойства можно задать с помощью конструктора SSIS или программным путем.

Конфигурация страницы "Общие"

Используйте страницу "Общие" для настройки задачи и предоставления скрипта U-SQL, который отправляет задача.

Базовая конфигурация

Задайте имя и описание задачи.

Конфигурация U-SQL

Конфигурация U-SQL имеет два параметра: SourceType и динамические параметры на основе значения SourceType .

SourceType указывает источник скрипта U-SQL. Этот скрипт отправляется в учетную запись Data Lake Analytics в процессе выполнения пакета SSI. Доступны следующие параметры для этого свойства:

Value Description
DirectInput Определяет скрипт U-SQL с использованием встроенного редактора. При выборе этого значения отображается динамический параметр USQLStatement.
FileConnection Указывает локальный USQL-файл, содержащий скрипт U-SQL. При выборе этого параметра отображается динамический параметр FileConnection.
Variable Указывает переменную SSI, содержащую скрипт U-SQL. При выборе этого значения отображается динамический параметр SourceVariable.

SourceType Dynamic Options. Указывает содержимое скрипта для запроса U-SQL.

SourceType Динамические параметры
SourceType = DirectInput Введите отправляемый запрос U-SQL непосредственно в окно параметров или нажмите кнопку обзора (...), чтобы ввести запрос U-SQL в диалоговое окно Ввод запроса U-SQL.
SourceType = FileConnection Выберите существующий диспетчер подключений к файлам или нажмите кнопку <"Создать подключение",> чтобы создать новое подключение к файлу. См. дополнительные сведения о диспетчере подключения файлов и редакторе диспетчера подключения файлов.
SourceType = Переменная Выберите существующую переменную или выберите <"Создать переменную",> чтобы создать новую переменную. См. дополнительные сведения о переменных Integration Services (SSIS) и о добавлении переменной.

Конфигурация задания

Конфигурация задания определяет свойства отправляемого задания U-SQL.

  • AzureDataLakeAnalyticsConnection: Указывает учетную запись Data Lake Analytics, в которой отправляется скрипт U-SQL. Выберите соединение из списка определенных диспетчеров соединений. Чтобы создать новое подключение, нажмите кнопку <"Создать подключение>". См. дополнительные сведения о диспетчере подключений Azure Data Lake Analytics.

  • JobName: Указывает имя задания U-SQL.

  • AnalyticsUnits: Указывает количество единиц аналитики задания U-SQL.

  • Приоритет: Указывает приоритет задания U-SQL. Можно задать значение от 0 до 1000. Чем меньше число, тем выше приоритет.

  • RuntimeVersion: Указывает версию среды выполнения Data Lake Analytics задания U-SQL. По умолчанию этот параметр имеет значение default. В большинстве случаев это свойство изменять не нужно.

  • Синхронный: Логическое значение указывает, ожидает ли задача завершения выполнения задания или нет. Если значение установлено в true, задача помечается как успешная после завершения задания. Если установлено значение false, задача помечается как успешно после прохождения этапа подготовки задания.

    Value Description
    True Результат задачи определяется по результату выполнения задания U-SQL. Успешное выполнение задания > успешное выполнение задачи. Сбой задания > сбой задачи. Успешное выполнение или сбой задания >завершение задачи.
    False Результат задачи определяется по результату отправки и подготовки задания U-SQL. Успешная отправка задания и прохождение этапа подготовки > успешное выполнение задачи. Сбой отправки задания или сбой задания на этапе подготовки > сбой задачи. Успешное выполнение или сбой задания >завершение задачи.
  • Тайм-аут: Указывает время ожидания (в секундах) для выполнения задания. Если время ожидания выполнения задания истекает, оно отменяется и отмечается как неудачное. Это свойство недоступно, если синхронный имеет значение false.

Конфигурация страницы "Сопоставление параметров"

Используйте страницу сопоставления параметровдиалогового окна редактора задач Azure Data Lake Analytics , чтобы сопоставить переменные с параметрами (переменными U-SQL) в скрипте U-SQL.

  • Имя переменной: После добавления сопоставления параметров, выбрав "Добавить", выберите из списка системную или определяемую пользователем переменную. Кроме того, можно выбрать <новую переменную,> чтобы добавить новую переменную с помощью диалогового окна "Добавить переменную ". Дополнительные сведения см. в статье Переменные в службах Integration Services (SSIS).

  • Имя параметра: Укажите имя параметра или переменной в скрипте U-SQL. Имя параметра должно начинаться с символа @, например @Param1.

Вот пример, демонстрирующий передачу параметров скрипту U-SQL.

Пример скрипта U-SQL

@searchlog =
    EXTRACT UserId          int,
            Start           DateTime,
            Region          string,
            Query           string,
            Duration        int,
            Urls            string,
            ClickedUrls     string
    FROM @in
    USING Extractors.Tsv(nullEscape:"#NULL#");

@rs1 =
    SELECT Start, Region, Duration
    FROM @searchlog
WHERE Region == "en-gb";

@rs1 =
    SELECT Start, Region, Duration
    FROM @rs1
    WHERE Start <= DateTime.Parse("2012/02/19");

OUTPUT @rs1   
    TO @out
      USING Outputters.Tsv(quoting:false, dateTimeFormat:null);

Обратите внимание, что пути ввода и вывода определены в параметрах @in и @out . Значения для параметров @in и @out в скрипте U-SQL передаются динамически конфигурацией сопоставления параметров.

Имя переменной Имя параметра
Пользователь: Variable1 @in
Пользователь: Variable2 @out

Конфигурация страницы "Выражения"

Вы можете назначить все свойства в конфигурации страницы "Общие" в качестве выражений свойств, чтобы организовать динамическое обновление свойств во время выполнения. См. дополнительные сведения об использовании выражений свойств в пакетах.

См. также