データフロー gen2 でのデータフロー変換のマッピング (プレビュー)

Important

データフロー gen2 のマッピングデータフロー変換は現在パブリックプレビュー段階であり、変更される可能性があります。

データフロー gen2 のマッピングデータフロー (MDF) 変換を使用すると、Microsoft Fabricの Data Factory 内で Spark ベースのデータ変換を直接作成、実行、監視できます。

MDF 変換では、データフロー gen2 と統合された使い慣れた低コードのビジュアル作成エクスペリエンスを通じて、Azure Data FactoryとAzure Synapse Analyticsマッピングデータフローの機能をMicrosoft Fabricに取り込みます。

MDF 変換を使用すると、次のことができます。

既存の Azure Data Factory および Azure Synapse Analytics Mapping Data Flows パイプラインをFabricに移行します。
Fabricで新しい Spark ベースの変換を直接作成します。
Fabric データパイプラインを使用して MDF 変換を実行します。
統合された監視エクスペリエンスを使用して、変換の実行を監視します。
Fabric内で使い慣れたマッピングData Flow変換パターンを引き続き使用します。

マッピングデータフローの変換とは何ですか?

MDF 変換は、大規模なデータ準備および変換ワークロード用の Spark を利用した変換機能を使用してデータフロー gen2 を拡張します。

MDF 変換では、以下が提供されます。

低コードのビジュアル作成エクスペリエンス
Spark ベースの実行
Fabric パイプラインによる統合オーケストレーション
Fabricで直接分析情報を監視および実行する

MDF 変換を使用して以下を行います。

既存のAzure Data FactoryまたはAzure Synapse AnalyticsマッピングデータフローパイプラインをFabricに移行します。
Fabricで新しい Spark ベースの変換パイプラインをネイティブに構築します。

MDF 変換はデータフロー gen2 と完全に統合され、Azure Data Factoryやマッピングデータフロー Azure Synapse Analyticsのような使い慣れた作成エクスペリエンスを提供します。

サポートされているシナリオ

MDF 変換は現在、次のシナリオをサポートしています。

既存のマッピングデータフローを移行する

Azure Data Factory/Synapse Analytics の組み込み移行エクスペリエンスを使用して、既存のAzure Data FactoryとAzure Synapse AnalyticsマッピングデータフローをFabricに移行できます。

移行中:

マッピングデータフローは、データフロー gen2 で MDF 変換に変換されます。
パイプラインと変換ロジックは一緒に移行されます。
MDF 変換は、データフロー gen2 の埋め込み変換キャンバス内で開きます。
既存の変換ロジックは、引き続きFabricで作成、検証、実行、監視できます。

Fabricで新しいマッピングデータフロー変換を作成する

データフロー gen2 で新しい MDF 変換を直接作成することもできます。このエクスペリエンスを使用すると、次のことが可能になります。

ビジュアルインターフェイスを使用して Spark ベースの変換を構築します。
使い慣れた Mapping Data Flow の変換機能を活用できます。
Fabric データパイプラインを使用して変換を実行します。
統合された監視エクスペリエンスを使用して実行を監視します。

前提条件

データフロー gen2 で MDF 変換を使用する前に、次の前提条件が満たされていることを確認します。

Fabric の容量。
Fabric ワークスペースに対する共同作成者以上のアクセス許可。
サポート対象のデータソースの既存の Fabric 接続。
(省略可能)移行シナリオを使用している場合は、既存のAzure Data FactoryまたはAzure Synapse Analyticsワークスペース。

制限事項

パブリックプレビューでは、次の機能は現在サポートされていません。

面積	Limitation
Flowlets	サポートされていません。
Data Flow ライブラリ	サポートされていません。
ユーザー定義関数 (UDF)	サポートされていません。
データフローの実行	MDF 変換は、パイプラインデータフローアクティビティを介してのみ実行できます。データフロー gen2 からの直接実行は現在サポートされていません。 [保存して実行] メニューから使用できるのは [保存] アクションのみです。
マネージド仮想ネットワーク	マネージド Virtual Network (Managed VNet) のサポートは、このプレビューでは使用できません。
ランタイムの実行	MDF 変換の実行では、現在、基になる Synapse Spark ランタイムが使用されます。これは、Azure Data FactoryとAzure Synapse Analytics マッピングデータフローと同様です。
機能パリティ	このプレビューでは、すべてのマッピング Data Flow機能を使用できるわけではありません。

サポートされているコネクタ

MDF 変換では、Azure Data Factory および Azure Synapse Analytics Mapping Data Flows で使用できる最も一般的に使用されるソースコネクタとシンクコネクタがサポートされます。

現在、次のコネクタがサポートされています。

カテゴリ	データストア	データフロー Gen2 における MDF 変換（ソース/シンク）	サポートされている認証の種類
Azure	Azure Blob Storage	✓/✓	Basic、Managed Identity、Workspace Identity、Service Principal
	Azure Cosmos DB for NoSQL	✓/✓	Basic
	Azure Data Explorer	✓/✓	マネージド ID/ワークスペース ID
	Azure Data Lake Storage Gen1	✓/✓	Basic、Managed Identity、Workspace Identity、Service Principal
	Azure Data Lake Storage Gen2	✓/✓	Basic、Managed Identity、Workspace Identity、Service Principal
	Azure Database for MySQL	✓/✓	Basic
	Azure Database for PostgreSQL	✓/✓	Basic
	Azure Databricks デルタレイク	✓/✓ 差分形式を使用する	Basic
	Azure SQL Database	✓/✓	Basic、Managed Identity、Workspace Identity、Service Principal
	Azure SQL Managed Instance	✓/✓	Basic、Managed Identity、Workspace Identity、Service Principal
	Azure Synapse Analytics	✓/✓	Basic
データベース	Snowflake	✓/✓	Basic
ファイル	アマゾンS3	✓/✓	Basic
	SFTP	✓/✓	Basic
	汎用 REST	✓/✓	基本、サービスプリンシパル

作成時:

既存のFabric接続を再利用できます。
新しい接続は、 データの取得 エクスペリエンスを使用して作成エクスペリエンスから直接作成できます。
ソースとシンクの構成は、使い慣れたマッピング Data Flow パターンに従います。

サポートされている変換

MDF 変換は、Fabricでスケーラブルな Spark ベースのデータ変換パイプラインを構築するための、使い慣れた低コードのビジュアル変換エクスペリエンスを提供します。

現在、次の変換がサポートされています。

Name	カテゴリ	Description
Aggregate	スキーマ修飾子	既存の列または計算列でグループ化された SUM、MIN、MAX、COUNT などの集計を定義します。
行を変更する	行のモディファイアー	行に対して、挿入、削除、更新および upsert の各ポリシーを設定します。
Assert	行のモディファイアー	データストリーム内の行のアサート規則を定義します。
Cast	スキーマ修飾子	型チェックを使用して列データ型を変更します。
条件分割	複数の入力/出力	一致する条件に基づいて、行を異なるストリームにルーティングします。
派生列	スキーマ修飾子	式を使用して新しい列を生成するか、既存のフィールドを変更します。
外部呼び出し	スキーマ修飾子	行ごとに外部エンドポイントをインラインで呼び出します。
Exists	複数の入力/出力	データが別のソースまたはストリームに存在するかどうかを確認します。
Filter	行のモディファイアー	条件に基づいて行をフィルター処理します。
フラット化	フォーマッタ	JSON 配列などの階層構造を行にフラット化します。
Join	複数の入力/出力	2 つのソースまたはストリームのデータを結合します。
検索	複数の入力/出力	別のソースまたはストリームからのデータを参照します。
新しいブランチ	複数の入力/出力	同じストリームに複数の変換パスを適用します。
Parse	フォーマッタ	JSON、区切りテキスト、または XML 形式の文字列を解析します。
ピボット	スキーマ修飾子	個別の行値を列に変換します。
順位	スキーマ修飾子	並べ替え条件に基づいて順序付けされたランク付けを生成します。
Select	スキーマ修飾子	列の名前変更、並べ替え、または削除を行います。
シンク	-	変換されたデータの変換先を定義します。
並べ替え	行のモディファイアー	現在のデータストリーム内の行を並べ替えます。
Source	-	データフローのソースを定義します。
Stringify	フォーマッタ	複合型を文字列値に変換します。
代理キー	スキーマ修飾子	増分サロゲートキー値を生成します。
Union	複数の入力/出力	複数のデータストリームを垂直方向に結合します。
ピボット解除	スキーマ修飾子	列を行の値に変換します。
ウィンドウ	スキーマ修飾子	データストリームに対するウィンドウベースの集計を定義します。

データフロー gen2 でマッピングデータフロー変換を作成する

Fabricで新しい MDF 変換を作成するには:

Fabric ワークスペースを開きます。
[ 新しい項目] を選択します。
[データフロー Gen2] を選択します。
データフロー gen2 項目の名前を指定し、[ 作成] を選択します。
データフロー gen2 キャンバスで、次のいずれかのオプションを使用します。
- データフロー gen2 ホームリボンの [新しいアクション] グループから [マッピングデータフロー変換の実行] を選択します。
- キャンバスから [ マッピングデータフロー変換の実行 (ADF マッピングデータフロー)] タイルを選択します。