Azure Databricks アーキテクチャの概要

この記事では、Azure と組み合わせたエンタープライズ アーキテクチャなど、Azure Databricks アーキテクチャの概要について説明します。

大まかなアーキテクチャ

Azure Databricks は、"コントロール プレーン" と "コンピューティング プレーン" により動作します。

• コントロール プレーンには、Azure Databricks によって Azure Databricks アカウントで管理されるバックエンド サービスが含まれています。 Web アプリケーションは、コントロール プレーン内にあります。
• コンピューティング プレーンは、データが処理される場所です。 コンピューティング プレーンには、使用するコンピューティングに応じて次の 2 つの種類があります。
  • サーバーレス コンピューティングの場合、サーバーレス コンピューティング リソースは、Azure Databricks アカウント内の "サーバーレス コンピューティング プレーン" 内で実行されます。
  • 従来の Azure Databricks コンピューティングの場合、コンピューティング リソースは、Azure サブスクリプション内にあり、"クラシック コンピューティング プレーン" と呼ばれます。 これは、Azure サブスクリプション内のネットワークとそのリソースを指します。

次の図は、全体的な Azure Databricks アーキテクチャについて説明しています。

サーバーレス コンピューティング プレーン

サーバーレス コンピューティング プレーンでは、Azure Databricks コンピューティング リソースは、Azure Databricks アカウント内のコンピューティング レイヤーで実行されます。 Azure Databricks では、ワークスペースのクラシック コンピューティング プレーンと同じ Azure リージョンに、サーバーレス コンピューティング プレーンが作成されます。

サーバーレス コンピューティング プレーン内の顧客データを保護するために、サーバーレス コンピューティングはワークスペースのネットワーク境界内で実行され、Azure Databricks の異なる顧客のワークスペースを隔離するさまざまなセキュリティ レイヤーと、同じ顧客のクラスター間の追加のネットワーク制御を備えています。

サーバーレス コンピューティング プレーン内のネットワークの詳細については、「サーバーレス コンピューティング プレーン ネットワーク」を参照してください。

クラシック コンピューティング プレーン

クラシック コンピューティング プレーンでは、Azure Databricks コンピューティング リソースは Azure サブスクリプションで実行されます。 新しいコンピューティング リソースは、顧客の Azure サブスクリプションの各ワークスペースの仮想ネットワーク内に作成されます。

クラシック コンピューティング プレーンは、各顧客の独自の Azure サブスクリプションで実行されるため、自然に分離されます。 クラシック コンピューティング プレーン内のネットワークの詳細については、「クラシック コンピューティング プレーン ネットワーク」を参照してください。

リージョンのサポートについては、「Azure Databricks のリージョン」を参照してください。