この記事は、Azure Synapse Spark ワークロードをMicrosoft Fabricに移行するための開始点として使用します。 使用するガイダンス、直接移行できる内容、手動によるリファクタリングまたは検証が必要な場所を決定するのに役立ちます。
Fabric Data Engineering では、lakehouse をサポートしています。 notebook、environment、Spark ジョブ定義、および pipeline 項目。 ほとんどの Synapse Spark 移行には、項目の移行、データ アクセスの変更、メタデータの移行、コードのリファクタリング、移行後の検証の組み合わせが含まれます。
移行の前に
開始する前に、Fabric Data Engineering がワークロードの適切な宛先であることを確認します。 現在の Synapse 実装が依存している Spark ランタイム、セキュリティ モデル、プール モデル、環境モデル、およびデータ アクセス パターンを確認します。
次の記事から始めます。
既存の Synapse ワークスペースを移行する場合は、移行ターゲットとして既存の Fabric ワークスペースを作成または使用することを計画します。 この記事では、ワークスペースの完全なプロビジョニングや Spark 以外のワークロードの移行については説明しません。
何を移行できますか？
Synapse から Fabric への移行は、通常、複数のワークストリームにまたがっています。
| 移行領域 | 一般的なスコープ | 主要なガイダンス |
|---|---|---|
| 計画と評価 | Spark プール、ノートブック、Spark ジョブ 定義、レイク データベース、リンクサービス、ブロッカーのインベントリ | フェーズ 1: 移行戦略と計画 |
| 項目、コード リファクタリング、プール、設定、およびライブラリ | ノートブック、Spark ジョブ定義、Spark プール、レイク データベース マッピング、 mssparkutils、リンクされたサービス、ファイル パス、カタログ API、コネクタ認証、環境、カスタム プール、Spark プロパティ、ライブラリの互換性 |
フェーズ 2: Spark ワークロードの移行 |
| Hive メタストアとレイクのメタデータ | データベース、テーブル、パーティション、マネージド テーブルと外部テーブル | フェーズ 3: Hive メタストアとデータ移行 |
| データ アクセスとパイプライン | OneLake ショートカット、ADLS Gen2 アクセス、コピーアクティビティ、パイプラインの移行 | データとパイプラインを移行する |
| セキュリティ、検証、およびカットオーバー | ロール、接続、ガバナンス、検証、カットオーバー計画 | フェーズ 4: セキュリティとガバナンスの移行 |
移行パスを選択する
目標に合った経路を選びます。
- エンドツーエンドの移行計画が必要です。 4 フェーズのベスト プラクティス シリーズから始めます。 これは、ほとんどの運用環境の移行に最適なエントリ ポイントです。
- サポートされている Spark 項目をすばやく移動する必要があります。
Spark Migration Assistant リファクタリングと検証の記事を使用してギャップを埋めます。 - 1 つの領域に関するヘルプのみが必要です。 ノートブック、Spark ジョブ定義、プール、ライブラリ、Hive メタストア メタデータ、またはデータ/パイプラインの移行に関するタスク固有の記事を使用します。
推奨される読み取り順序
ほとんどのチームにとって、Synapse Spark の移行に最も近い方法は次のとおりです。
- FabricとAzure Synapse Spark: 主な違いを確認します。
- フェーズ 1: 移行戦略と計画に関する記事を参照してください。
- Spark Synapse をFabric Spark Migration Assistantで実行してください。適用可能な場合。
- フェーズ 2: Spark ワークロードの移行を使用して、ノートブック、Spark ジョブ、プール、およびライブラリをリファクタリングします。
- 残りのベスト プラクティスに関する記事を使用して、データ アクセス、メタデータ、セキュリティ、およびカットオーバーの準備状況を検証します。
Synapse Spark から Fabric への移行は、通常、直接インプレース移動ではなく、コピーと適応のプロセスです。 多くの資産をすばやく移行できますが、実行時の動作を検証し、Synapse 固有の統合を置き換え、セキュリティ、メタデータ、運用パターンをFabricに合わせることを期待する必要があります。
ベスト プラクティス シリーズ
構造化されたエンドツーエンドの移行パスのベスト プラクティス シリーズを使用します。
タスク固有の移行に関する記事
特定の移行タスクの対象となるガイダンスが必要な場合は、次の記事を使用します。
- Spark Synapse から Fabric Spark Migration Assistant への移行
- Azure Synapse ノートブックを Fabric に移行する
Spark ジョブ定義を Azure Synapse から Fabric Spark プールを Azure Synapse から Fabric Azure Synapse から Fabric - Azure Synapse から Fabric に Spark ライブラリを移行します
- Hive メタストア メタデータの移行
- データとパイプラインを移行する
関連するコンテンツ
- FabricとAzure Synapse Spark: 主な違い
- フェーズ 1: 移行戦略と計画
Spark Synapse から Fabric Spark への移行アシスタント - Spark プール、構成、ライブラリ、ノートブック、および Spark ジョブ定義の移行オプションの詳細を確認する
- データとパイプラインを移行する
- Hive メタストア メタデータの移行