New-AzureHDInsightMapReduceJobDefinition
Define um novo trabalho MapReduce.
Observação
Os cmdlets mostrados nesta documentação são usados para gerenciar recursos herdados do Azure que usam APIs de Gerenciamento de Serviços. Confira o módulo Az PowerShell para usar cmdlets a fim de gerenciar recursos do Azure Resource Manager.
Syntax
New-AzureHDInsightMapReduceJobDefinition
[-Arguments <String[]>]
-ClassName <String>
[-Defines <Hashtable>]
[-Files <String[]>]
-JarFile <String>
[-JobName <String>]
[-LibJars <String[]>]
[-StatusFolder <String>]
[-Profile <AzureSMProfile>]
[<CommonParameters>] Description
Esta versão do Azure PowerShell HDInsight foi preterida. Esses cmdlets serão removidos até 1º de janeiro de 2017. Use a versão mais recente do Azure PowerShell HDInsight.
Para obter informações sobre como usar o novo HDInsight para criar um cluster, consulte Criar clusters baseados em Linux no HDInsight usando o Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Para obter informações sobre como enviar trabalhos usando o Azure PowerShell e outras abordagens, consulte Enviar trabalhos do Hadoop no HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Para obter informações de referência sobre o Azure PowerShell HDInsight, consulte Cmdlets do Azure HDInsight.
O cmdlet New-AzureHDInsightMapReduceJobDefinition define um novo trabalho MapReduce a ser executado em um cluster do Azure HDInsight.
Exemplos
Exemplo 1: Definir um trabalho MapReduce, executar o trabalho e obter a saída
PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
| Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
| Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardErrorO primeiro comando obtém a ID da assinatura atual e a armazena na variável $SubId.
O segundo comando atribui o nome MyCluster à variável $Clustername.
O terceiro comando usa o cmdlet New-AzureHDInsightMapReduceJobDefinition para criar uma definição de trabalho MapReduce e armazená-la na variável $WordCountJob.
O quarto comando executa uma sequência de operações usando estes cmdlets:
- Start-AzureHDInsightJob para iniciar o trabalho em $ClusterName.
- Aguarde-AzureHDInsightJob para aguardar a conclusão do trabalho e exibir o progresso em direção à conclusão.
- Get-AzureHDInsightJobOutput para obter a saída do trabalho.
Parâmetros
-Arguments
Especifica uma matriz de argumentos para um trabalho do Hadoop. Os argumentos são passados como argumentos de linha de comando para cada tarefa.
| Type: | String[] |
| Aliases: | Args |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-ClassName
Especifica o nome da classe de trabalho no arquivo Java Archive (JAR).
| Type: | String |
| Aliases: | Class |
| Position: | Named |
| Default value: | None |
| Required: | True |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Defines
Especifica os valores de configuração do Hadoop a serem definidos quando o trabalho é executado.
| Type: | Hashtable |
| Aliases: | Params |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Files
Especifica uma matriz de arquivos WASB que são necessários para um trabalho.
| Type: | String[] |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-JarFile
Especifica o nome totalmente qualificado de um arquivo JAR que contém o código e as dependências de um trabalho MapReduce.
| Type: | String |
| Aliases: | Jar |
| Position: | Named |
| Default value: | None |
| Required: | True |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-JobName
Especifica o nome de um trabalho MapReduce. Esse parâmetro é opcional. Se você não especificar esse parâmetro, o valor do parâmetro ClassName será usado.
| Type: | String |
| Aliases: | Name |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-LibJars
Especifica uma matriz de referências LibJar do trabalho.
| Type: | String[] |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Profile
Especifica o perfil do Azure a partir do qual este cmdlet lê. Se você não especificar um perfil, esse cmdlet será lido a partir do perfil padrão local.
| Type: | AzureSMProfile |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-StatusFolder
Especifica o local da pasta que contém saídas padrão e saídas de erro para um trabalho, incluindo seu código de saída e logs de tarefas.
| Type: | String |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |