HDInsight 上の Apache Pig で Apache Pig を使用する
HDInsight で Apache Pig を使用する方法について説明します。
Apache Pig は、Pig Latin として知られている手続き型言語を使用して Apache Hadoop 用のプログラムを作成するためのプラットフォームです。 Pig は、 MapReduce ソリューションを作成するために Java の代わりに使用され、Azure HDInsight に含まれています。 HDInsight で Pig を使用するさまざまな方法を次の表に示します。
Apache Pig を使用する理由
Hadoop での MapReduce を使用したデータ処理における課題の 1 つは、map と reduce 関数のみを使用する処理ロジックの実装です。 複雑な処理では、多くの場合、望ましい結果を得るために、一緒にチェーンされている複数の MapReduce 操作に処理を分割する必要があります。
Pig では、データ フローに使用される一連の変換として処理を定義し、目的の出力を生成することができます。
Pig Latin 言語では、生の入力から 1 つ以上の変換を介して目的の出力を生成するデータ フローを記述できます。 Pig Latin プログラムはこの一般的なパターンに従います。
Load: 操作対象のデータをファイル システムから読み取ります。
Transform: データを操作します。
Dump または store: データを画面に出力します。または、処理できるように保存します。
ユーザー定義関数
Pig Latin ではユーザー定義関数 (UDF) もサポートされています。これを使用して、Pig Latin でのモデル化が困難なロジックを実装する外部コンポーネントを呼び出すことができます。
Pig Latin の詳細については、「Pig Latin Reference Manual 1」および「Pig Latin Reference Manual 2」を参照してください。
サンプル データ
HDInsight にはさまざまなサンプル データ セットが用意されていて、/example/data および /HdiSamples ディレクトリに格納されています。 これらのディレクトリは、クラスターの既定のストレージ内にあります。 このドキュメントでの Pig の例では、/example/data/sample.log の log4j ファイルを使用します。
ファイル内の各ログは、タイプと重要度を表す [LOG LEVEL] フィールドを含むフィールド行で構成されています。以下に例を示します。
2012-02-03 20:26:41 SampleClass3 [ERROR] verbose detail for id 1527353937
前の例では、ログ レベルは ERROR です。
Note
また、 Apache Log4j ログ ツールを使用して log4j ファイルを生成し、そのファイルを BLOB にアップロードすることもできます。 手順については、「データを HDInsight にアップロードする方法」を参照してください。 HDInsight と共に Azure ストレージの BLOB を使用する方法の詳細については、「HDInsight での Azure BLOB ストレージの使用」を参照してください。
サンプル ジョブ
次の Pig Latin ジョブでは、HDInsight クラスターの既定のストレージから sample.log ファイルを読み込みます。 次に、一連の変換を実行します。その結果、入力データの各ログ レベルの出現回数がカウントされます。 結果は STDOUT に書き込まれます。
LOGS = LOAD 'wasb:///example/data/sample.log';
LEVELS = foreach LOGS generate REGEX_EXTRACT($0, '(TRACE|DEBUG|INFO|WARN|ERROR|FATAL)', 1) as LOGLEVEL;
FILTEREDLEVELS = FILTER LEVELS by LOGLEVEL is not null;
GROUPEDLEVELS = GROUP FILTEREDLEVELS by LOGLEVEL;
FREQUENCIES = foreach GROUPEDLEVELS generate group as LOGLEVEL, COUNT(FILTEREDLEVELS.LOGLEVEL) as COUNT;
RESULT = order FREQUENCIES by COUNT desc;
DUMP RESULT;
次の図は、データへの各変換の要約を示しています。
Pig Latin ジョブを実行する
HDInsight では、さまざまな方法を使用して Pig Latin ジョブを実行できます。 次の表を使用して、適切な方法を判別してから、該当するチュートリアルのリンクをクリックしてください。
Pig および SQL Server Integration Services
SQL Server Integration Services (SSIS) を使用して Pig ジョブを実行することができます。 Azure Feature Pack for SSIS には、HDInsight の Pig ジョブと連動する次のコンポーネントがあります。
Azure Feature Pack for SSIS の詳細については、こちらを参照してください。
次のステップ
これで、HDInsight で Pig を使用する方法に関する説明は終わりです。次のリンクを使用して、Azure HDInsight を操作するその他の方法について調べることもできます。