データパイプラインを使用してウェアハウスにデータを取り込む

[アーティクル]
04/24/2024

適用対象:✅ Microsoft Fabric のウェアハウス

データパイプラインは、グラフィカルユーザーインターフェイスを通した COPY コマンドの使用に代わる手段を提供します。データパイプラインは、合わさってデータインジェストタスクを実行する複数のアクティビティの論理的なグループです。パイプラインを使用すると、各アクティビティを個別に管理することなく、抽出、変換、読み込み (ETL) アクティビティを管理できます。

このチュートリアルでは、Microsoft Fabric のウェアハウスにサンプルデータを読み込む新しいパイプラインを作成します。

Note

Azure Data Factory の一部の機能は Microsoft Fabric では使用できませんが、概念は置き換え可能です。 Azure Data Factory と Pipelines の詳細については、「Azure Data Factory と Azure Synapse Analytics におけるパイプラインとアクティビティ」で確認できます。クイックスタートについては、「クイックスタート: 初めてのパイプラインを作成してデータをコピーする」にアクセスしてください。

データパイプラインを作成する

新しいパイプラインを作成するには、ワークスペースに移動し、[+新規] ボタンを選択し、[データパイプライン] を選択します。
[新しいパイプライン] ダイアログで、新しいパイプラインの名前を指定し、[作成] を選択します。
パイプラインキャンバス領域に移動し、ここでは開始するための 3 つのオプション (パイプラインアクティビティの追加、データのコピー、開始するタスクの選択) が表示されます。

これらの各オプションは、次に示すようにパイプラインを作成するためのさまざまな選択肢を提供します。
- パイプラインアクティビティの追加: このオプションはパイプラインエディターを起動し、そこではパイプラインアクティビティを使用することで新しいパイプラインを最初から作成できます。
- データのコピー: このオプションでは、データソース、コピー先を選択し、列マッピングなどのデータ読み込みオプションを構成するのに役立つ、ステップバイステップのアシスタントが起動されます。完了すると、データのコピー タスクが既に構成された新しいパイプラインアクティビティが作成されます。
- 開始するタスクの選択: このオプションでは、さまざまなシナリオに基づいてパイプラインの使用を開始するのに役立つ定義済みのテンプレートのセットが起動されます。
[データのコピー] オプションを選択して、[コピーアシスタント] を起動します。
[データのコピー] アシスタントの最初のページでは、さまざまなデータソースから独自のデータを選択したり、提供されているサンプルのいずれかを選択して作業を開始したりできます。このチュートリアルでは、COVID-19 データレイク サンプルを使用します。このオプションを選択し、[次へ] を選択します。
次のページでは、データセット、ソースファイル形式を選択し、選択したデータセットをプレビューできます。 Bing COVID-19、CSV 形式を選択し、[次へ] を選択します。
次のページの [データのコピー先] では、コピー先ワークスペースの種類を構成できます。ワークスペース内のウェアハウスにデータを読み込むため、[ウェアハウス] タブと [データウェアハウス] オプションを選択します。 [次へ] を選択します。
次は、データを読み込むウェアハウスを選択します。ドロップダウンリストで目的のウェアハウスを選択し、[次へ] を選択します。
コピー先を構成する最後の手順は、コピー先テーブルに名前を指定し、列マッピングを構成することです。ここでは、新しいテーブルまたは既存のテーブルにデータを読み込む、スキーマとテーブルの名前を指定する、列名を変更する、列を削除する、またはマッピングを変更することを選択できます。既定値をそのまま使用することも、設定を自分の好みに合わせて調整することもできます。

オプションの確認が完了したら、[次へ] を選択します。
次のページでは、ステージングを使用するオプションか、データコピー操作のための高度なオプション (T-SQL COPY コマンドを使用) が提供されます。オプションを変更せずに確認し、[次へ] を選択します。
アシスタントの最後のページには、コピーアクティビティの概要が表示されます。 [データ転送をすぐに開始] オプションを選択し、[保存と実行] を選択します。
新しいデータのコピーアクティビティが既に構成されているパイプラインキャンバス領域に移動します。パイプラインの実行が自動的に開始されます。パイプラインの状態は、次のように [出力] ペインで監視できます。
数秒後、パイプラインは正常に終了します。ウェアハウスに戻ると、テーブルを選択してデータをプレビューし、コピー操作が終了したことを確認できます。