Поделиться через

New-AzureHDInsightMapReduceJobDefinition

  • Ссылка
Модуль:
Azure

Определяет новое задание MapReduce.

Примечание.

Командлеты, на которые ссылается эта документация, предназначены для управления устаревшими ресурсами Azure, используюющими API Azure Service Manager (ASM). Этот устаревший модуль PowerShell не рекомендуется при создании новых ресурсов, так как ASM планируется выйти на пенсию. Дополнительные сведения см. в статье о выходе на пенсию в Azure Service Manager.

Модуль Az PowerShell — это рекомендуемый модуль PowerShell для управления ресурсами Azure Resource Manager (ARM) с помощью PowerShell.

Синтаксис

New-AzureHDInsightMapReduceJobDefinition
   [-Arguments <String[]>]
   -ClassName <String>
   [-Defines <Hashtable>]
   [-Files <String[]>]
   -JarFile <String>
   [-JobName <String>]
   [-LibJars <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Описание

Эта версия Azure PowerShell HDInsight устарела. Эти командлеты будут удалены 1 января 2017 г. Используйте более новую версию Azure PowerShell HDInsight.

Сведения об использовании нового HDInsight для создания кластера см. в статье "Создание кластеров под управлением Linux в HDInsight с помощью Azure PowerShell".https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/ Сведения о том, как отправлять задания с помощью Azure PowerShell и других подходов, см. в статье "Отправка заданий Hadoop в HDInsight " (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Справочные сведения о Azure PowerShell HDInsight см. в разделе "Командлеты Azure HDInsight".

Командлет New-AzureHDInsightMapReduceJobDefinition определяет новое задание MapReduce для запуска в кластере Azure HDInsight.

Примеры

Пример 1. Определение задания MapReduce, выполнение задания и получение выходных данных

PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
    | Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
    | Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardError

Первая команда получает идентификатор текущей подписки, а затем сохраняет ее в переменной $SubId.

Вторая команда назначает имя MyCluster переменной $Clustername.

Третья команда использует командлет New-AzureHDInsightMapReduceJobDefinition для создания определения задания MapReduce, а затем сохраните его в переменной $WordCountJob.

Четвертая команда выполняет последовательность операций с помощью следующих командлетов:

  • Запустите AzureHDInsightJob , чтобы запустить задание на $ClusterName.
  • Wait-AzureHDInsightJob , чтобы дождаться завершения задания и отображения хода выполнения.
  • Get-AzureHDInsightJobOutput для получения выходных данных задания.

Параметры

-Arguments

Указывает массив аргументов для задания Hadoop. Аргументы передаются в качестве аргументов командной строки в каждую задачу.

Тип:String[]
Aliases:Args
Position:Named
Default value:None
Обязательно:False
Принять входные данные конвейера:False
Принять подстановочные знаки:False

-ClassName

Указывает имя класса задания в ФАЙЛЕ JAR-файла архива Java.

Тип:String
Aliases:Class
Position:Named
Default value:None
Обязательно:True
Принять входные данные конвейера:False
Принять подстановочные знаки:False

-Defines

Указывает значения конфигурации Hadoop, заданные при выполнении задания.

Тип:Hashtable
Aliases:Params
Position:Named
Default value:None
Обязательно:False
Принять входные данные конвейера:False
Принять подстановочные знаки:False

-Files

Указывает массив файлов WASB, необходимых для задания.

Тип:String[]
Position:Named
Default value:None
Обязательно:False
Принять входные данные конвейера:False
Принять подстановочные знаки:False

-JarFile

Указывает полное имя JAR-файла, содержащего код и зависимости задания MapReduce.

Тип:String
Aliases:Jar
Position:Named
Default value:None
Обязательно:True
Принять входные данные конвейера:False
Принять подстановочные знаки:False

-JobName

Указывает имя задания MapReduce. Это необязательный параметр. Если этот параметр не указан, используется значение параметра ClassName .

Тип:String
Aliases:Name
Position:Named
Default value:None
Обязательно:False
Принять входные данные конвейера:False
Принять подстановочные знаки:False

-LibJars

Задает массив ссылок LibJar задания.

Тип:String[]
Position:Named
Default value:None
Обязательно:False
Принять входные данные конвейера:False
Принять подстановочные знаки:False

-Profile

Указывает профиль Azure, из которого считывается этот командлет. Если профиль не указан, этот командлет считывается из локального профиля по умолчанию.

Тип:AzureSMProfile
Position:Named
Default value:None
Обязательно:False
Принять входные данные конвейера:False
Принять подстановочные знаки:False

-StatusFolder

Указывает расположение папки, содержащей стандартные выходные данные и выходные данные ошибок для задания, включая код выхода и журналы задач.

Тип:String
Position:Named
Default value:None
Обязательно:False
Принять входные данные конвейера:False
Принять подстановочные знаки:False