New-AzureHDInsightMapReduceJobDefinition
Definiert einen neuen MapReduce-Auftrag.
Hinweis
Die Cmdlets, auf die in dieser Dokumentation verwiesen wird, dienen zum Verwalten von Azure-Legacyressourcen, die Dienstverwaltungs-APIs verwenden. Cmdlets zum Verwalten von Azure Ressource Manager-Ressourcen finden Sie im Az PowerShell-Modul.
Syntax
New-AzureHDInsightMapReduceJobDefinition
[-Arguments <String[]>]
-ClassName <String>
[-Defines <Hashtable>]
[-Files <String[]>]
-JarFile <String>
[-JobName <String>]
[-LibJars <String[]>]
[-StatusFolder <String>]
[-Profile <AzureSMProfile>]
[<CommonParameters>] Beschreibung
Diese Version von Azure PowerShell HDInsight ist veraltet. Diese Cmdlets werden bis zum 1. Januar 2017 entfernt. Verwenden Sie die neuere Version von Azure PowerShell HDInsight.
Informationen zur Verwendung des neuen HDInsight zum Erstellen eines Clusters finden Sie unter Erstellen linuxbasierter Cluster in HDInsight mithilfe von Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Informationen zum Übermitteln von Aufträgen mithilfe von Azure PowerShell und anderen Ansätzen finden Sie unter Submit Hadoop jobs in HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Referenzinformationen zu Azure PowerShell HDInsight finden Sie unter Azure HDInsight-Cmdlets.
Das Cmdlet New-AzureHDInsightMapReduceJobDefinition definiert einen neuen MapReduce-Auftrag, der auf einem Azure HDInsight-Cluster ausgeführt werden soll.
Beispiele
Beispiel 1: Definieren eines MapReduce-Auftrags, Ausführen des Auftrags und Abrufen der Ausgabe
PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
| Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
| Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardErrorDer erste Befehl ruft die ID des aktuellen Abonnements ab und speichert sie dann in der variablen $SubId.
Der zweite Befehl weist der variablen $Clustername den Namen MyCluster zu.
Der dritte Befehl verwendet das Cmdlet New-AzureHDInsightMapReduceJobDefinition , um eine MapReduce-Auftragsdefinition zu erstellen und dann in der $WordCountJob Variablen zu speichern.
Der vierte Befehl führt eine Abfolge von Vorgängen mithilfe der folgenden Cmdlets aus:
- Start-AzureHDInsightJob , um den Auftrag auf $ClusterName zu starten.
- Wait-AzureHDInsightJob wartet auf den Abschluss des Auftrags und zeigt den Fortschritt zum Abschluss an.
- Get-AzureHDInsightJobOutput zum Abrufen der Auftragsausgabe.
Parameter
-Arguments
Gibt ein Array von Argumenten für einen Hadoop-Auftrag an. Die Argumente werden als Befehlszeilenargumente an jeden Vorgang übergeben.
| Type: | String[] |
| Aliases: | Args |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-ClassName
Gibt den Namen der Auftragsklasse in der Java-Archivdatei (JAR) an.
| Type: | String |
| Aliases: | Class |
| Position: | Named |
| Default value: | None |
| Required: | True |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Defines
Gibt Hadoop-Konfigurationswerte an, die beim Ausführen des Auftrags festgelegt werden sollen.
| Type: | Hashtable |
| Aliases: | Params |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Files
Gibt ein Array von WASB-Dateien an, die für einen Auftrag erforderlich sind.
| Type: | String[] |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-JarFile
Gibt den vollqualifizierten Namen einer JAR-Datei an, die den Code und die Abhängigkeiten eines MapReduce-Auftrags enthält.
| Type: | String |
| Aliases: | Jar |
| Position: | Named |
| Default value: | None |
| Required: | True |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-JobName
Gibt den Namen eines MapReduce-Auftrags an. Dieser Parameter ist optional. Wenn Sie diesen Parameter nicht angeben, wird der Wert des ClassName-Parameters verwendet.
| Type: | String |
| Aliases: | Name |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-LibJars
Gibt ein Array von LibJar-Verweisen des Auftrags an.
| Type: | String[] |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Profile
Gibt das Azure-Profil an, aus dem dieses Cmdlet liest. Wenn Sie kein Profil angeben, liest dieses Cmdlet aus dem lokalen Standardprofil.
| Type: | AzureSMProfile |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-StatusFolder
Gibt den Speicherort des Ordners an, der Standardausgaben und Fehlerausgaben für einen Auftrag enthält, einschließlich des Ausgangscodes und der Aufgabenprotokolle.
| Type: | String |
| Position: | Named |
| Default value: | None |
| Required: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |