Share via

New-AzureHDInsightSqoopJobDefinition

  • リファレンス
モジュール:
Azure

新しい Sqoop ジョブを定義します。

注意

このドキュメントで参照されているコマンドレットは、Service Management API を使用するレガシ Azure リソースを管理するためのものです。 Azure Resource Manager リソースを管理するためのコマンドレットについては、Az PowerShell モジュールを参照してください。

構文

New-AzureHDInsightSqoopJobDefinition
   [-Command <String>]
   [-File <String>]
   [-Files <String[]>]
   [-StatusFolder <String>]
   [-Profile <AzureSMProfile>]
   [<CommonParameters>]

説明

このバージョンの Azure PowerShell HDInsight は非推奨です。 これらのコマンドレットは、2017 年 1 月 1 日までに削除されます。 新しいバージョンの Azure PowerShell HDInsight を使用してください。

新しい HDInsight を使用してクラスターを作成する方法については、「Azure PowerShell () を使用して HDInsight で Linux ベースのクラスターを作成する」https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-azure-powershell/を参照してください。 Azure PowerShell やその他の方法を使用してジョブを送信する方法については、HDInsight での Hadoop ジョブの送信 (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/) に関するページを参照してください。 Azure PowerShell HDInsight のリファレンス情報については、「Azure HDInsight コマンドレット」を参照してください。

New-AzureHDInsightSqoopJobDefinition コマンドレットは、Azure HDInsight クラスターで実行する Sqoop ジョブを作成します。

Sqoop は、Hadoop クラスターとリレーショナル データベースの間でデータを転送するためのツールです。 Sqoop を使用すると、SQL Server データベースから Hadoop 分散ファイル システム (HDFS) にデータをインポートし、Hadoop MapReduce を使用してデータを変換してから、HDFS から SQL Server データベースにデータをエクスポートできます。

例

例 1: データをインポートする

PS C:\>$SqoopJobDef = New-AzureHDInsightSqoopJobDefinition -Command "import --connect jdbc:sqlserver://<SQLDatabaseServerName>.database.windows.net:1433;username=<SQLDatabasUsername>@<SQLDatabaseServerName>; password=<SQLDatabasePassword>; database=<SQLDatabaseDatabaseName> --table <TableName> --target-dir wasb://<ContainerName>@<WindowsAzureStorageAccountName>.blob.core.windows.net/<Path>"

このコマンドは、テーブル内のすべての行を AzureSQL Server データベースから HDInsight クラスターにインポートし、ジョブ定義を $SqoopJobDef 変数に格納する Sqoop ジョブを定義します。

パラメーター

-Command

Sqoop コマンドとその引数を指定します。

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-File

実行するコマンドを含むスクリプト ファイルへのパスを指定します。 スクリプト ファイルは WASB に配置する必要があります。

Type:String
Aliases:QueryFile
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Files

ジョブに必要な WASB ファイルのコレクションを指定します。

Type:String[]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Profile

このコマンドレットが読み取る Azure プロファイルを指定します。 プロファイルを指定しない場合、このコマンドレットはローカルの既定のプロファイルから読み取ります。

Type:AzureSMProfile
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-StatusFolder

ジョブの標準出力とエラー出力を含むフォルダーの場所 (終了コードやタスク ログを含む) を指定します。

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False