Udostępnij za pośrednictwem

New-AzureHDInsightMapReduceJobDefinition

  • Odwołanie
Moduł:
Azure

Definiuje nowe zadanie MapReduce.

Uwaga

Polecenia cmdlet, do których odwołuje się ta dokumentacja, służą do zarządzania starszymi zasobami platformy Azure korzystającymi z interfejsów API programu Azure Service Manager (ASM). Ten starszy moduł programu PowerShell nie jest zalecany podczas tworzenia nowych zasobów, ponieważ usługa ASM ma zostać wycofana. Aby uzyskać więcej informacji, zobacz Wycofywanie programu Azure Service Manager.

Moduł Az programu PowerShell jest zalecanym modułem programu PowerShell do zarządzania zasobami usługi Azure Resource Manager (ARM) przy użyciu programu PowerShell.

Składnia

New-AzureHDInsightMapReduceJobDefinition
   [-Arguments <String[]>]
   -ClassName <String>
   [-Defines <Hashtable>]
   [-Files <String[]>]
   -JarFile <String>
   [-JobName <String>]
   [-LibJars <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Opis

Ta wersja usługi Azure PowerShell HDInsight jest przestarzała. Te polecenia cmdlet zostaną usunięte do 1 stycznia 2017 r. Użyj nowszej wersji usługi Azure PowerShell HDInsight.

Aby uzyskać informacje na temat używania nowej usługi HDInsight do tworzenia klastra, zobacz Tworzenie klastrów opartych na systemie Linux w usłudze HDInsight przy użyciu programu Azure PowerShell (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Aby uzyskać informacje na temat przesyłania zadań przy użyciu programu Azure PowerShell i innych podejść, zobacz Przesyłanie zadań hadoop w usłudze HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Aby uzyskać informacje referencyjne dotyczące usługi Azure PowerShell HDInsight, zobacz Azure HDInsight Cmdlets (Polecenia cmdlet usługi Azure HDInsight).

Polecenie cmdlet New-AzureHDInsightMapReduceJobDefinition definiuje nowe zadanie MapReduce do uruchomienia w klastrze usługi Azure HDInsight.

Przykłady

Przykład 1: Definiowanie zadania MapReduce, uruchamianie zadania i pobieranie danych wyjściowych

PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
    | Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
    | Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardError

Pierwsze polecenie pobiera identyfikator bieżącej subskrypcji, a następnie zapisuje je w zmiennej $SubId.

Drugie polecenie przypisuje nazwę MyCluster do zmiennej $Clustername.

Trzecie polecenie używa polecenia cmdlet New-AzureHDInsightMapReduceJobDefinition w celu utworzenia definicji zadania MapReduce, a następnie zapisze je w zmiennej $WordCountJob.

Czwarte polecenie wykonuje sekwencję operacji przy użyciu następujących poleceń cmdlet:

  • Start-AzureHDInsightJob , aby uruchomić zadanie w $ClusterName.
  • Wait-AzureHDInsightJob czekać na zakończenie zadania i wyświetlić postęp w kierunku ukończenia.
  • Get-AzureHDInsightJobOutput , aby uzyskać dane wyjściowe zadania.

Parametry

-Arguments

Określa tablicę argumentów dla zadania hadoop. Argumenty są przekazywane jako argumenty wiersza polecenia do każdego zadania.

Typ:String[]
Aliases:Args
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-ClassName

Określa nazwę klasy zadań w pliku Jar (Java Archive).

Typ:String
Aliases:Class
Position:Named
wartość domyślna:None
Wymagane:True
Accept pipeline input:False
Accept wildcard characters:False

-Defines

Określa wartości konfiguracji usługi Hadoop, które mają być ustawiane podczas uruchamiania zadania.

Typ:Hashtable
Aliases:Params
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-Files

Określa tablicę plików WASB, które są wymagane dla zadania.

Typ:String[]
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-JarFile

Określa w pełni kwalifikowaną nazwę pliku JAR, który zawiera kod i zależności zadania MapReduce.

Typ:String
Aliases:Jar
Position:Named
wartość domyślna:None
Wymagane:True
Accept pipeline input:False
Accept wildcard characters:False

-JobName

Określa nazwę zadania MapReduce. Ten parametr jest opcjonalny. Jeśli nie określisz tego parametru, zostanie użyta wartość parametru ClassName .

Typ:String
Aliases:Name
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-LibJars

Określa tablicę odwołań libjar zadania.

Typ:String[]
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-Profile

Określa profil platformy Azure, z którego to polecenie cmdlet odczytuje. Jeśli nie określisz profilu, to polecenie cmdlet odczytuje z lokalnego profilu domyślnego.

Typ:AzureSMProfile
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-StatusFolder

Określa lokalizację folderu, który zawiera standardowe dane wyjściowe i dane wyjściowe błędów dla zadania, w tym jego kod zakończenia i dzienniki zadań.

Typ:String
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False