データ ファクトリのインジェスト メソッドの一覧
Azure Data Factory では、さまざまな出発点からデータ統合プロジェクトに着手している組織に対応できます。 データ移行プロジェクトがグリーン フィールド プロジェクトであることはめったにありません。 通常、多くのデータ統合ワークフローでは、依存関係が異なり、さまざまなテクノロジが使用されている以前のプロジェクトで作成された既存のパイプラインを考慮する必要があります。 そのため、さまざまなソースからデータを抽出するために使用できる各種のインジェスト方法があります。
コピー アクティビティを使用したデータの取り込み
データの抽出中に変換を必要とせず、コードを必要としないデータ インジェスト パイプラインを作成するには、この方法を使用します。 コピー アクティビティでは、100 個を超えるネイティブ コネクタがサポートされます。 この方法は、中間データ ストアへの単純な抽出方法を持つ、グリーン フィールド プロジェクトに適している場合があります。 コピー アクティビティを使用したデータの取り込みの例としては、複数のソース データベース システムからデータを抽出して、Data Lake Store 内のファイルにデータを出力することが挙げられます。 このインジェスト方法の利点は、簡単に作成できることですが、高度な変換やビジネス ロジックを処理することはできません。
コンピューティング リソースを使用したデータの取り込み
コンピューティング リソースで Azure Data Factory を呼び出して、ジョブにより適している可能性があるデータ プラットフォーム サービスによってデータを処理することができます。 この良い例として、Azure Data Factory では、Azure Synapse Analytics インスタンスに Spark プールなどの分析データ プラットフォームへのパイプラインを作成して、新しいデータを生成する複雑な計算を実行できます。 このデータは、さらに下流の処理のためにパイプラインに戻されます。 次の表に示すように、幅広いコンピューティング リソースと実行可能な関連するアクティビティがあります。
| Compute 環境 | activities |
|---|---|
| On-demand HDInsight クラスターまたは独自の HDInsight クラスター | Hive、Pig、Spark、MapReduce、Hadoop Streaming |
| Azure Batch | カスタム アクティビティ |
| Azure Machine Learning スタジオ マシン | 学習アクティビティ: バッチ実行とリソース更新 |
| Azure Machine Learning | Azure Machine Learning 実行パイプライン |
| Azure Data Lake Analytics | Data Lake Analytics U-SQL |
| Azure SQL、Azure SQL Data Warehouse、SQL Server | ストアド プロシージャ |
| Azure Databricks | Notebook、Jar、Python |
| Azure 関数 | Azure Functions アクティビティ |
SSIS パッケージを使用したデータの取り込み
多くの組織は、SQL Server Integration Services (SSIS) パッケージに数十年にわたり開発投資を行っています。SSIS パッケージには、オンプレミスとクラウドのデータ ストアからのインジェストと変換を行うための両方のロジックが含まれています。 Azure Data Factory では、Azure-SSIS Integration Runtime を作成して SSIS パッケージをネイティブに実行することによって、既存の SSIS ワークロードをリフトアンドシフトする機能を提供します。また、オンプレミスの SSIS を使用する場合と同様に、SQL Server Data Tools (SSDT) や SQL Server Management Studio (SSMS) などの使い慣れたツールを使用して変更をほとんど行わずに、既存の SSIS パッケージをデプロイおよび管理できます。