Dataflow Gen2 を使用してデータを読み込んで変換する
データフロー Gen2 は、新しい世代のデータフローです。 包括的な Power Query エクスペリエンスを提供し、データフローにデータをインポートする各手順を案内します。 データフローを作成するプロセスが簡略化され、必要な手順の数が減りました。
データ パイプラインのデータフローを使用して、レイクハウスまたはウェアハウスにデータを取り込んだり、Power BI レポートのデータセットを定義したりできます。
データフローを作成する
新しいデータフローを作成するには、ワークスペースに移動し、[ + 新規] を選択します。 データフロー Gen2 が一覧に表示されない場合は、[その他のオプション] を選択し、[Data Factory] セクションで [Dataflow Gen2] を見つけます。
データのインポート
Dataflow Gen2 が起動すると、使用可能なデータを読み込むための多くのオプションがあります。
いくつかの手順でさまざまな種類のファイルを読み込むことができます。 たとえば、ローカル コンピューターからテキストまたは CSV ファイルを読み込む場合などです。
データがインポートされたら、データフローの作成を開始できます。データのクリーンアップ、整形、列の削除、新しい列の作成を行うことができます。 実行したすべての手順が保存されます。
Copilot を使用してデータを変換する
Copilot は、データフロー変換を支援するための貴重なツールです。 "Male" と "Female" を含む Gender 列があり、変換するとします。
最初の手順は、データフロー内で Copilot をアクティブ化することです。 完了したら、実行する変換に関する具体的な手順を指定できます。
たとえば、"Gender 列の変換" コマンドを入力できます 。男性 0 の場合、女性 1 の場合。次に、整数に変換します。
Copilot は新しいステップを自動的に追加します。必要に応じていつでも元に戻すか、さらに変換するためにそのステップを構築し続けることができます。
データの読み込み先を追加する
[データ変換先の追加] 機能を使用すると、ETL ロジックと宛先ストレージを分離できます。 この分離により、コードがよりクリーンで保守性が高く、ETL プロセスまたはストレージ構成を他のプロセスに影響を与えずに簡単に変更できるようになります。
データが変換されたら、次の手順では、変換先のステップを追加します。 [ クエリ設定 ] タブで、 + を選択して、データフローに宛先ステップを追加します。
次の読み込み先オプションを使用できます。
- Azure SQL Database
- レイクハウス
- Azure Data Explorer (Kusto)
- Azure Synapse Analytics (SQL DW)
- 倉庫
倉庫などの宛先に読み込まれたデータには、さまざまなツールを使用して簡単にアクセスして分析できます。 これにより、データのアクセシビリティが向上し、より柔軟で包括的なデータ分析が可能になります。
宛先として倉庫を選択すると、次の更新方法を選択できます。
- 追加： 既存のテーブルに新しい行を追加します。
- 取り替える： テーブルの内容全体を新しいデータ セットに置き換えます。
データフローを発行する
更新方法を選択したら、最後にデータフローを発行します。
発行すると、変換とデータ読み込み操作がライブになり、データフローを手動またはスケジュールに従って実行できます。 このプロセスにより、ETL 操作が 1 つの再利用可能な単位にカプセル化され、データ管理ワークフローが合理化されます。
データフローで行われた変更は、公開時に有効になります。 そのため、関連する変更を行った後は、必ずデータフローを公開してください。