次の方法で共有


価格の例: Azure Databricks を使用して 1 時間ごとにデータをコピーして変換する

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータ サイエンス、リアルタイム分析、ビジネス インテリジェンス、レポートまで、あらゆるものをカバーしています。 無料で新しい試用版を開始する方法について説明します。

このシナリオでは、AWS S3 から Azure Blob ストレージにデータをコピーし、Azure Databricks で 30 日間、1 日 8 時間、 時間単位のスケジュールでデータを変換します。

以下の例で使用されている価格は架空なものであり、実際の価格を暗に示すものではありません。 読み取り/書き込みおよび監視のコストは、通常はごくわずかであり、全体的なコストに大きな影響を与えないため、表示されません。 アクティビティの実行も、料金計算ツールの見積もりで最も近い 1,000 に丸められます。

より具体的なシナリオが必要な場合や、将来、サービスを使用する際のコストを見積もる場合は、Azure 料金計算ツールを参照してください。

構成

シナリオを実現させるには、次の項目を含むパイプラインを作成する必要があります:

  • AWS S3 からコピーされるデータの入力データセットと、Azure Storage のデータの出力データセットを含む 1 つのコピーアクティビティです。
  • データ変換のための1つの Azure Databricks アクティビティ。
  • パイプラインを 1 時間ごとに実行する 1 つのスケジュールトリガー。 パイプラインを実行する場合は、すぐにトリガーするか、スケジュールを設定することができます。 パイプライン自体に加え、各トリガー インスタンスは 1 つのアクティビティの実行としてカウントされます。

Diagram shows a pipeline with a schedule trigger. In the pipeline, copy activity flows to an input dataset, an output dataset, and a DataBricks activity, which runs on Azure Databricks. The input dataset flows to an AWS S3 linked service. The output dataset flows to an Azure Storage linked service.

コスト見積もり

操作 タイプとユニット
パイプラインを実行する 実行ごとに 3 つのアクティビティ実行 (トリガー実行の場合は 1、アクティビティ実行の場合は 2) = 720 アクティビティの実行。計算ツールでは 1000 の増分のみが許可されるため、切り上げられます。
データコピーの前提条件: 各実行ごとの DIU 時間 = 10 分 10 分 \ 60 分 * 4 つの Azure Integration Runtime (既定の DIU 設定 = 4) データ統合ユニットとコピー パフォーマンスの最適化についての詳細は、こちらの記事を参照してください
Databricks アクティビティの実行の前提条件: 実行ごとの外部実行時間 = 10 分 10 分 \ 60 分外部パイプライン アクティビティの実行

料金計算ツールの例

30 日間のシナリオの合計価格: $41.01

Screenshot of the pricing calculator configured for a copy data and transform with Azure Databricks scenario.