New-AzureHDInsightStreamingMapReduceJobDefinition
Определяет новое задание MapReduce потоковой передачи.
Примечание.
Командлеты, на которые ссылается эта документация, предназначены для управления устаревшими ресурсами Azure, используюющими API Azure Service Manager (ASM). Этот устаревший модуль PowerShell не рекомендуется при создании новых ресурсов, так как ASM планируется выйти на пенсию. Дополнительные сведения см. в статье о выходе на пенсию в Azure Service Manager.
Модуль Az PowerShell — это рекомендуемый модуль PowerShell для управления ресурсами Azure Resource Manager (ARM) с помощью PowerShell.
Синтаксис
New-AzureHDInsightStreamingMapReduceJobDefinition
[-Arguments <String[]>]
[-CmdEnv <String[]>]
[-Combiner <String>]
[-Defines <Hashtable>]
[-Files <String[]>]
[-InputPath <String>]
[-JobName <String>]
[-Mapper <String>]
[-OutputPath <String>]
[-Reducer <String>]
[-StatusFolder <String>]
[-Profile <AzureSMProfile>]
[<CommonParameters>] Описание
Эта версия Azure PowerShell HDInsight устарела. Эти командлеты будут удалены 1 января 2017 г. Используйте более новую версию Azure PowerShell HDInsight.
Сведения об использовании нового HDInsight для создания кластера см. в статье "Создание кластеров под управлением Linux в HDInsight с помощью Azure PowerShell".https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/ Сведения о том, как отправлять задания с помощью Azure PowerShell и других подходов, см. в статье "Отправка заданий Hadoop в HDInsight " (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Справочные сведения о Azure PowerShell HDInsight см. в разделе "Командлеты Azure HDInsight".
Командлет New-AzureHDInsightStreamingMapReduceJobDefinition определяет новый объект определения задания, представляющий параметры задания потоковой передачи Hadoop.
Примеры
Пример 1. Создание определения задания MapReduce потоковой передачи
PS C:\>$StreamingWordCount = New-AzureHDInsightStreamingMapReduceJobDefinition -Files "/Example/Apps/WordCount.exe", "/Example/Apps/Cat.exe" -InputPath "/Example/Data/Gutenberg/Davinci.txt" -OutputPath "/Example/Data/StreamingOutput/WordCount.txt" -Mapper "Cat.exe" -Reducer "WordCount.exe"Эта команда создает указанное определение задания mapReduce потоковой передачи, а затем сохраняет его в переменной $StreamingWordCount.
Параметры
-Arguments
Указывает массив аргументов для задания Hadoop. Аргументы передаются в качестве аргументов командной строки в каждую задачу.
| Тип: | String[] |
| Aliases: | Args |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-CmdEnv
Задает массив переменных среды командной строки, заданных при выполнении задания на узлах данных.
| Тип: | String[] |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Combiner
Указывает имя файла комбинировщика.
| Тип: | String |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Defines
Указывает значения конфигурации Hadoop, заданные при выполнении задания.
| Тип: | Hashtable |
| Aliases: | Params |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Files
Задает массив файлов, необходимых для задания.
| Тип: | String[] |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-InputPath
Указывает путь WASB к входным файлам.
| Тип: | String |
| Aliases: | Input |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-JobName
Задает имя нового определения задания MapReduce. Это необязательный параметр.
| Тип: | String |
| Aliases: | Name |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Mapper
Указывает имя файла Mapper.
| Тип: | String |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-OutputPath
Указывает путь WASB для выходных данных задания.
| Тип: | String |
| Aliases: | Output |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Profile
Указывает профиль Azure, из которого считывается этот командлет. Если профиль не указан, этот командлет считывается из локального профиля по умолчанию.
| Тип: | AzureSMProfile |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-Reducer
Указывает имя файла Reducer.
| Тип: | String |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |
-StatusFolder
Указывает папку, содержащую стандартные выходные данные и выходные данные ошибок для задания, включая код выхода и журналы задач.
| Тип: | String |
| Position: | Named |
| Default value: | None |
| Обязательно: | False |
| Принять входные данные конвейера: | False |
| Принять подстановочные знаки: | False |