Задача Pig для Hadoop

Область применения:SQL Server среда выполнения интеграции SSIS в Фабрика данных Azure

Задача Pig для Hadoop используется для запуска сценария Pig в кластере Hadoop.

Чтобы добавить задачу Hadoop Pig, перетащите ее в область конструктора. Затем дважды щелкните задачу или щелкните ее правой кнопкой мыши и выберите команду Изменить, чтобы открыть диалоговое окно Hadoop Pig Task Editor (Редактор задач Pig для Hadoop).

Редактор задач Hadoop Pig

Параметры

В диалоговом окне Hadoop Pig Task Editor (Редактор задач Pig для Hadoop) настройте следующие параметры.

Поле Описание
Hadoop Connection (Подключение Hadoop) Укажите существующий диспетчер подключений Hadoop или создайте новый. Этот менеджер подключений указывает, где размещается служба WebHCat.
Тип источника Укажите тип источника запроса. Доступные значения: ScriptFile и DirectInput.
InlineScript Если значение параметра SourceType (Тип источника) — DirectInput(Прямой ввод), укажите сценарий Pig.
HadoopScriptFilePath Если значение SourceType (Тип источника) — ScriptFile(Файл сценария), укажите путь к файлу скрипта в Hadoop.
TimeoutInMinutes (Время ожидания в минутах) Укажите время ожидания в минутах. Задание Hadoop останавливается, если оно не завершилось до истечения времени ожидания. Укажите 0, чтобы запланировать асинхронное выполнение задания Hadoop.