Sdílet prostřednictvím

New-AzureHDInsightMapReduceJobDefinition

  • Reference
Modul:
Azure

Definuje novou úlohu MapReduce.

Poznámka:

Rutiny, na které odkazuje tato dokumentace, slouží ke správě starších prostředků Azure, které používají rozhraní API Azure Service Manageru (ASM). Tento starší modul PowerShellu se nedoporučuje při vytváření nových prostředků, protože ASM je naplánované pro vyřazení z provozu. Další informace najdete v části Vyřazení Azure Service Manageru.

Modul Az PowerShell je doporučený modul PowerShellu pro správu prostředků Azure Resource Manageru (ARM) pomocí PowerShellu.

Syntaxe

New-AzureHDInsightMapReduceJobDefinition
   [-Arguments <String[]>]
   -ClassName <String>
   [-Defines <Hashtable>]
   [-Files <String[]>]
   -JarFile <String>
   [-JobName <String>]
   [-LibJars <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

Description

Tato verze Azure PowerShell HDInsight je zastaralá. Tyto rutiny budou odebrány do 1. ledna 2017. Použijte novější verzi služby Azure PowerShell HDInsight.

Informace o tom, jak pomocí nové služby HDInsight vytvořit cluster, najdete v tématu Vytváření clusterů založených na Linuxu ve službě HDInsight pomocí Azure PowerShellu (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/). Informace o odesílání úloh pomocí Azure PowerShellu a dalších přístupů najdete v tématu Odesílání úloh Hadoop ve službě HDInsight (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/). Referenční informace o službě Azure PowerShell HDInsight najdete v tématu Rutiny Azure HDInsight.

Rutina New-AzureHDInsightMapReduceJobDefinition definuje novou úlohu MapReduce, která se má spustit v clusteru Azure HDInsight.

Příklady

Příklad 1: Definování úlohy MapReduce, spuštění úlohy a získání výstupu

PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
    | Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
    | Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardError

První příkaz získá ID aktuálního předplatného a pak ho uloží do proměnné $SubId.

Druhý příkaz přiřadí název MyCluster proměnné $Clustername.

Třetí příkaz pomocí rutiny New-AzureHDInsightMapReduceJobDefinition vytvoří definici úlohy MapReduce a pak ji uloží do proměnné $WordCountJob.

Čtvrtý příkaz provede posloupnost operací pomocí těchto rutin:

  • Spuštěním úlohy AzureHDInsightJob spustíte úlohu na $ClusterName.
  • Wait-AzureHDInsightJob čeká na dokončení úlohy a zobrazí průběh dokončení.
  • Získání výstupu úlohy get-AzureHDInsightJobOutput

Parametry

-Arguments

Určuje pole argumentů pro úlohu Hadoop. Argumenty se předávají každému úkolu jako argumenty příkazového řádku.

Typ:String[]
Aliasy:Args
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-ClassName

Určuje název třídy úlohy v souboru Java Archive (JAR).

Typ:String
Aliasy:Class
Position:Named
Default value:None
Vyžadováno:True
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-Defines

Určuje hodnoty konfigurace Systému Hadoop, které se mají nastavit při spuštění úlohy.

Typ:Hashtable
Aliasy:Params
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-Files

Určuje pole souborů WASB, které jsou požadovány pro úlohu.

Typ:String[]
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-JarFile

Určuje plně kvalifikovaný název souboru JAR, který obsahuje kód a závislosti úlohy MapReduce.

Typ:String
Aliasy:Jar
Position:Named
Default value:None
Vyžadováno:True
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-JobName

Určuje název úlohy MapReduce. Tento parametr je volitelný. Pokud tento parametr nezadáte, použije se hodnota parametru ClassName .

Typ:String
Aliasy:Name
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-LibJars

Určuje pole odkazů libjar úlohy.

Typ:String[]
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-Profile

Určuje profil Azure, ze kterého se tato rutina čte. Pokud nezadáte profil, tato rutina načte z místního výchozího profilu.

Typ:AzureSMProfile
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-StatusFolder

Určuje umístění složky, která obsahuje standardní výstupy a výstupy chyb pro úlohu, včetně ukončovacího kódu a protokolů úkolů.

Typ:String
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False