この記事では、Azure Databricks アカウントおよびワークスペースのデプロイと管理のためのネットワーク構成について説明します。
重要
2024 年 12 月 4 日より、Azure Databricks は、お客様のリソースに接続するサーバーレス ワークロードに関連するネットワーク コストの課金を開始しました。 現在、リソースに対する 1 時間あたりのプライベート エンドポイント料金が課金されます。 Private Link 接続のデータ処理料金は無期限に免除されます。 その他のネットワーク コストに対する課金は、次を含め、段階的にロールアウトされます。
- NAT ゲートウェイ経由など、リソースへのパブリック接続。
- サーバーレス コンピューティングとターゲット リソースが異なるリージョンに存在する場合など、データ転送料金。
料金はさかのぼって適用されません。
Databricks のサーバーレス ネットワーク コストの概要を参照してください。
Azure Databricks アーキテクチャの概要
Azure Databricks は、"コントロール プレーン" と "コンピューティング プレーン" により動作します。
- コントロール プレーンには、Azure Databricks によって Azure Databricks アカウントで管理されるバックエンド サービスが含まれています。 Web アプリケーションは、コントロール プレーン内にあります。
- コンピューティング プレーンは、データが処理される場所です。 コンピューティング プレーンには、使用するコンピューティングに応じて次の 2 つの種類があります。
- 従来の Azure Databricks コンピューティングの場合、コンピューティング リソースは、Azure サブスクリプション内にあり、"クラシック コンピューティング プレーン" と呼ばれます。 これは、Azure サブスクリプション内のネットワークとそのリソースを指します。 クラシック コンピューティング プレーン リソースは、ワークスペースが存在するリージョンにあります。
- サーバーレス コンピューティングの場合、サーバーレス コンピューティング リソースは、Azure Databricks アカウント内の "サーバーレス コンピューティング プレーン" 内で実行されます。 サーバーレス コンピューティング プレーン リソースは、ワークスペースのクラシック コンピューティング プレーンと同じクラウド リージョンにあります。 ワークスペースを作成する場合は、このリージョンを選択します。
クラシック コンピューティングとサーバーレス コンピューティングの詳細については、「コンピューティングの種類」を参照してください。 アーキテクチャの追加情報については、「Azure Databricks アーキテクチャの概要」を参照してください。
セキュリティで保護されたネットワーク接続
Azure Databricks は既定で、セキュリティで保護されたネットワーク環境を提供しますが、組織に追加のニーズがある場合は、次の図に示すさまざまなネットワーク接続間でネットワーク接続機能を構成できます。
- ユーザーおよびアプリケーションから Azure Databricks: アクセスを制御し、ユーザーとその Azure Databricks ワークスペース間のプライベート接続を提供する機能を構成できます。 「Azure Databricks ネットワークに関するユーザー」を参照してください。
- コントロール プレーンとクラシック コンピューティング プレーン: クラスターなどのクラシック コンピューティング プレーンは、Azure サブスクリプション内にデプロイされ、コントロール プレーンに接続されます。 従来のネットワーク接続機能を使用して、クラシック コンピューティング プレーン リソースを独自の仮想ネットワークにデプロイし、クラスターからコントロール プレーンへのプライベート接続を有効にすることができます。 ｢クラシック コンピューティング プレーン ネットワーク」を参照してください。
- サーバーレス コンピューティング プレーンとストレージ: サーバーレス コンピューティングからストレージへのプライベート接続と専用接続を構成できます。 「サーバーレス コンピューティング プレーン ネットワーク」を参照してください。
プライベート エンドポイントなどの Azure ストレージ ネットワーク機能を構成して、クラシック コンピューティング プレーンと Azure リソース間の接続をセキュリティで保護できます。 「Azure Databricks ワークスペースに Azure Data Lake Storage へのアクセス権を付与する」および「Lakehouse Federation のネットワークに関する推奨事項」を参照してください。
ワークスペース ストレージ アカウントに対するファイアウォールのサポートを有効にして、許可されているネットワークと接続からのアカウントへのアクセスを制限することもできます。 「ワークスペース ストレージ アカウントのファイアウォール サポートを有効にする」を参照してください。
コントロール プレーンとサーバーレス コンピューティング プレーンの間は常に、パブリック インターネットではなく Azure ネットワーク バックボーン経由で接続されます。