New-AzureHDInsightMapReduceJobDefinition

モジュール:: Azure

新しい MapReduce ジョブを定義します。

注

このドキュメントで参照されているコマンドレットは、Azure Service Manager (ASM) API を使用するレガシ Azure リソースを管理するためのものです。 ASM の廃止が予定されているため、新しいリソースを作成する場合、このレガシ PowerShell モジュールは推奨されません。詳細については、「Azure Service Manager の廃止」を参照してください。

Az PowerShell モジュールは、PowerShell を使用して Azure Resource Manager (ARM) リソースを管理するための推奨される PowerShell モジュールです。

構文

New-AzureHDInsightMapReduceJobDefinition
   [-Arguments <String[]>]
   -ClassName <String>
   [-Defines <Hashtable>]
   [-Files <String[]>]
   -JarFile <String>
   [-JobName <String>]
   [-LibJars <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

説明

このバージョンの Azure PowerShell HDInsight は非推奨です。これらのコマンドレットは、2017 年 1 月 1 日までに削除されます。新しいバージョンの Azure PowerShell HDInsight を使用してください。

新しい HDInsight を使用してクラスターを作成する方法については、「 Azure PowerShell を使用して HDInsight で Linux ベースのクラスターを作成する (/azure/hdinsight/hdinsight-hadoop-create-linux-clusters-azure-powershell)」を参照してください。 Azure PowerShell やその他の方法を使用してジョブを送信する方法については、 HDInsight での Hadoop ジョブの送信 (/azure/hdinsight/hadoop/submit-apache-hadoop-jobs-programmatically) を参照してください。 Azure PowerShell HDInsight のリファレンス情報については、「Azure HDInsight コマンドレット」を参照してください。

New-AzureHDInsightMapReduceJobDefinition コマンドレットは、Azure HDInsight クラスターで実行する新しい MapReduce ジョブを定義します。

例

例 1: MapReduce ジョブの定義、ジョブの実行、出力の取得

PS C:\>$SubId = (Get-AzureSubscription -Current).SubscriptionId
PS C:\> $ClusterName = "MyCluster"
PS C:\> $WordCountJob = New-AzureHDInsightMapReduceJobDefinition -JarFile "/Example/Apps/Hadoop-examples.jar" -ClassName "WordCount" -Defines @{ "mapred.map.tasks" = "3" } -Arguments "/Example/Data/Gutenberg/Davinci.txt", "/Example/Output/WordCount"
PS C:\> $WordCountJob | Start-AzureHDInsightJob -Cluster $ClusterName
    | Wait-AzureHDInsightJob -Subscription $SubId -WaitTimeoutInSeconds 3600
    | Get-AzureHDInsightJobOutput -Cluster $ClusterName -Subscription $SubId -StandardError

最初のコマンドは、現在のサブスクリプションの ID を取得し、$SubId変数に格納します。

2 番目のコマンドは、myCluster という名前を $Clustername 変数に割り当てます。

3 番目の コマンドでは、New-AzureHDInsightMapReduceJobDefinition コマンドレットを使用して MapReduce ジョブ定義を作成し、$WordCountJob変数に格納します。

4 番目のコマンドは、次のコマンドレットを使用して一連の操作を実行します。

Start-AzureHDInsightJob を使用して、$ClusterNameでジョブを開始します。
Wait-AzureHDInsightJob は、 ジョブが完了するまで待機し、完了までの進行状況を表示します。
ジョブ出力を取得するための Get-AzureHDInsightJobOutput 。

パラメーター

-Arguments

Hadoop ジョブの引数の配列を指定します。引数はコマンドライン引数として各タスクに渡されます。

型:	String[]
Aliases:	Args
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-ClassName

Java アーカイブ (JAR) ファイル内のジョブ・クラスの名前を指定します。

型:	String
Aliases:	Class
配置:	Named
規定値:	None
必須:	True
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-Defines

ジョブの実行時に設定する Hadoop 構成値を指定します。

型:	Hashtable
Aliases:	Params
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-Files

ジョブに必要な WASB ファイルの配列を指定します。

型:	String[]
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-JarFile

MapReduce ジョブのコードと依存関係を含む JAR ファイルの完全修飾名を指定します。

型:	String
Aliases:	Jar
配置:	Named
規定値:	None
必須:	True
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-JobName

MapReduce ジョブの名前を指定します。このパラメーターは省略可能です。このパラメーターを指定しない場合は、ClassName パラメーターの値が使用されます。

型:	String
Aliases:	Name
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-LibJars

ジョブの LibJar 参照の配列を指定します。

型:	String[]
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-Profile

このコマンドレットが読み取る Azure プロファイルを指定します。プロファイルを指定しない場合、このコマンドレットはローカルの既定のプロファイルから読み取ります。

型:	AzureSMProfile
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-StatusFolder

ジョブの標準出力とエラー出力を含むフォルダーの場所 (終了コードやタスクログを含む) を指定します。

型:	String
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False