組織によって、ネットワーク分離の要件が異なります。 このページでは、一般的な要件に関する 3 つの参照アーキテクチャの概要を示します。 ネットワーク トポロジ、データ ガバナンスのニーズ、エグレス制御ポリシーに最適なアーキテクチャを特定します。
Databricks アーキテクチャ
Azure Databricks は、"コントロール プレーン" と "コンピューティング プレーン" により動作します。
- コントロール プレーンには、Azure Databricks によって Azure Databricks アカウントで管理されるバックエンド サービスが含まれています。 Web アプリケーションは、コントロール プレーン内にあります。
-
コンピューティング プレーンは、データが処理される場所です。 コンピューティング プレーンには、使用するコンピューティングに応じて次の 2 つの種類があります。
- 従来の Azure Databricks コンピューティングの場合、コンピューティング リソースは、Azure サブスクリプション内にあり、"クラシック コンピューティング プレーン" と呼ばれます。 これは、Azure サブスクリプション内のネットワークとそのリソースを指します。 クラシック コンピューティング プレーン リソースは、ワークスペースと同じリージョンにあります。
- サーバーレス コンピューティングの場合、サーバーレス コンピューティング リソースは、Azure Databricks アカウント内の "サーバーレス コンピューティング プレーン" 内で実行されます。 サーバーレス コンピューティング プレーン リソースは、ワークスペースのクラシック コンピューティング プレーンと同じクラウド リージョンにあります。 ワークスペースを作成する場合は、このリージョンを選択します。
クラシック コンピューティングとサーバーレス コンピューティングの詳細については、「 コンピューティング」を参照してください。 アーキテクチャの詳細については、「 アーキテクチャの概要」を参照してください。
ネットワーク接続の種類
Databricks は既定でセキュリティで保護されたネットワーク環境を提供しますが、組織に追加のニーズがある場合は、さまざまなネットワーク接続間でネットワーク接続機能を構成できます。 各アーキテクチャでは、次の 3 種類のネットワーク接続で機能が構成されます。
Inbound: Azure Databricks : アクセスを制御し、ユーザーとそのAzure Databricksワークスペース間のプライベート接続を提供する機能を構成できます。 「Azure Databricks ネットワークに関するユーザー」を参照してください。- Classic: コントロール プレーンとクラシック コンピューティング プレーン: クラスターなどのクラシック コンピューティング リソースが、Azure サブスクリプションにデプロイされ、コントロール プレーンに接続されます。 クラシック ネットワーク接続機能を使用して、独自の仮想ネットワークにクラシック コンピューティング プレーン リソースをデプロイし、クラスターからコントロール プレーンへのプライベート接続を有効にすることができます。 ｢クラシック コンピューティング プレーン ネットワーク」を参照してください。
- 送信: サーバーレス コンピューティング プレーンとストレージ: Azure Databricksのサーバーレス コンピューティング プレーンからのアクセスを許可するように、リソースにファイアウォールを構成できます。 「サーバーレス コンピューティング プレーン ネットワーク」を参照してください。
データが Databricks を通過する方法を視覚化するには、次の図を使用します。
ネットワーク アーキテクチャを選択する
これらのアーキテクチャは、進行する接続の種類ごとにネットワーク セキュリティを提供します。 要件の増加に合わせて、ベースラインとコントロールのレイヤーとしてマネージド セキュリティから始めます。 ほとんどの組織は、完全なプライベート接続に移行する前に、イングレスとエグレスを強化します。
| アーキテクチャ | Description |
|---|---|
| マネージド セキュリティ | あなたの出発点。 セキュリティで保護された既定値を持つAzure Databricksマネージド インフラストラクチャ。 データ ガバナンスのために、このベースラインの上に Unity カタログ コントロールを適用します。 |
| 強化された接続 | Managed Security に加えて、受信および送信トラフィックの保護を強化します。 パブリック エンドポイントを排除することなく、監査可能性とアクセス制御が必要な組織に最適です。 |
| 分離環境 | セキュリティ強化された接続に基づいて、すべてのアクセスをプライベートにします。 厳格なデータ流出要件を持つ規制対象の業界 (金融サービス、医療、政府) の場合。 |
特徴マトリックス
次の表は、各アーキテクチャに適用されるネットワーク セキュリティ機能を示しています。
| Connectivity | 特徴 | マネージド セキュリティ | 強化された接続 | 分離環境 |
|---|---|---|---|---|
| クラシック コンピューティング | セキュリティで保護されたクラスター接続 (SCC) | はい | はい | はい |
| クラシック コンピューティング | VNet インジェクション | はい | はい | はい |
| クラシック コンピューティング | クラシック コンピュート プレーンのプライベート リンク | Optional | はい | はい |
| Inbound | ワークスペースのインバウンド Private Link | いいえ | いいえ | はい |
| Inbound | パフォーマンス重視サービス向けのインバウンドプライベートリンク | いいえ | いいえ | はい |
| Inbound | ワークスペースの IP アクセス リスト | いいえ | はい | はい |
| Inbound | アカウント レベルの IP アクセス リスト | いいえ | はい | はい |
| Inbound | Delta Sharing IPアクセスリスト | いいえ | はい | はい |
| 送信 | サーバーレス エグレス制御 | いいえ | はい | はい |
| 送信 | サーバーレス Private Link (NCC プライベート エンドポイント) | いいえ | はい | はい |
| 送信 | サーバーレス安定 IP | はい | はい | はい |
| 送信 | 外部ファイアウォール | Optional | Optional | はい |
その他のリソース
| 資源 | Description |
|---|---|
| Databricks のセキュリティのベスト プラクティス | セキュリティリファレンスアーキテクチャ、Security Analysis Tool (SAT)、AWS セキュリティホワイト ペーパー。 |
| ネットワーク コスト | Azure Databricksデプロイ全体のネットワーク コストを計画および管理します。 |