New-AzureHDInsightMapReduceJobDefinition
Define um novo trabalho MapReduce.
Nota
Os cmdlets mencionados nesta documentação são para gerenciar recursos herdados do Azure que usam APIs do Azure Service Manager (ASM). Este módulo do PowerShell herdado não é recomendado ao criar novos recursos, uma vez que o ASM está agendado para desativação. Para obter mais informações, consulte Aposentadoria do Azure Service Manager.
O módulo Az PowerShell é o módulo PowerShell recomendado para gerenciar recursos do Azure Resource Manager (ARM) com o PowerShell.
Syntax
New-AzureHDInsightMapReduceJobDefinition
[-Arguments <String[]>]
-ClassName <String>
[-Defines <Hashtable>]
[-Files <String[]>]
-JarFile <String>
[-JobName <String>]
[-LibJars <String[]>]
[-StatusFolder <String>]
[-Profile <AzureSMProfile>]
[<CommonParameters>]
Description
Esta versão do Azure PowerShell HDInsight foi preterida. Esses cmdlets serão removidos até 1º de janeiro de 2017. Use a versão mais recente do Azure PowerShell HDInsight.
Para obter informações sobre como usar o novo HDInsight para criar um cluster, consulte Criar clusters baseados em Linux no HDInsight usando o Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Para obter informações sobre como enviar trabalhos usando o Azure PowerShell e outras abordagens, consulte Enviar trabalhos Hadoop no HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Para obter informações de referência sobre o Azure PowerShell HDInsight, consulte Cmdlets do Azure HDInsight.
O cmdlet New-AzureHDInsightMapReduceJobDefinition define um novo trabalho MapReduce a ser executado em um cluster do Azure HDInsight.
Exemplos
Exemplo 1: Definir um trabalho MapReduce, executá-lo e obter a saída
PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
| Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
| Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardError
O primeiro comando obtém a ID da assinatura atual e, em seguida, armazena-a na variável $SubId.
O segundo comando atribui o nome MyCluster à variável $Clustername.
O terceiro comando usa o cmdlet New-AzureHDInsightMapReduceJobDefinition para criar uma definição de trabalho MapReduce e armazená-la na variável $WordCountJob.
O quarto comando executa uma sequência de operações usando estes cmdlets:
- Start-AzureHDInsightJob para iniciar o trabalho no $ClusterName.
- Wait-AzureHDInsightJob para aguardar a conclusão do trabalho e exibir o progresso em direção à conclusão.
- Get-AzureHDInsightJobOutput para obter a saída do trabalho.
Parâmetros
-Arguments
Especifica uma matriz de argumentos para um trabalho Hadoop. Os argumentos são passados como argumentos de linha de comando para cada tarefa.
Tipo: | String[] |
Aliases: | Args |
Position: | Named |
valor predefinido: | None |
Necessário: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-ClassName
Especifica o nome da classe de trabalho no arquivo Java Archive (JAR).
Tipo: | String |
Aliases: | Class |
Position: | Named |
valor predefinido: | None |
Necessário: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Defines
Especifica os valores de configuração do Hadoop a serem definidos quando o trabalho é executado.
Tipo: | Hashtable |
Aliases: | Params |
Position: | Named |
valor predefinido: | None |
Necessário: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Files
Especifica uma matriz de arquivos WASB que são necessários para um trabalho.
Tipo: | String[] |
Position: | Named |
valor predefinido: | None |
Necessário: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-JarFile
Especifica o nome totalmente qualificado de um arquivo JAR que contém o código e as dependências de um trabalho MapReduce.
Tipo: | String |
Aliases: | Jar |
Position: | Named |
valor predefinido: | None |
Necessário: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-JobName
Especifica o nome de um trabalho MapReduce. Este parâmetro é opcional. Se você não especificar esse parâmetro, o valor do parâmetro ClassName será usado.
Tipo: | String |
Aliases: | Name |
Position: | Named |
valor predefinido: | None |
Necessário: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-LibJars
Especifica uma matriz de referências LibJar do trabalho.
Tipo: | String[] |
Position: | Named |
valor predefinido: | None |
Necessário: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Profile
Especifica o perfil do Azure a partir do qual este cmdlet é lido. Se você não especificar um perfil, esse cmdlet será lido a partir do perfil padrão local.
Tipo: | AzureSMProfile |
Position: | Named |
valor predefinido: | None |
Necessário: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-StatusFolder
Especifica o local da pasta que contém saídas padrão e saídas de erro para um trabalho, incluindo seu código de saída e logs de tarefas.
Tipo: | String |
Position: | Named |
valor predefinido: | None |
Necessário: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |