Azure 用に最適化された Apache Spark ベースの分析プラットフォーム。
こんにちは。
Databricks のネットワーク制御については、「クラスター ノードの公開有無」と「ワークスペース UI/API へのアクセス制御」を分けて整理すると分かりやすいです。
① クラスターのパブリックアクセス設定の確認方法 Azure ポータルで対象の Azure Databricks ワークスペースを開き、「ネットワーク」設定内の「セキュリティで保護されたクラスター接続 (No Public IP)」を確認します。
- 有効 (Yes) クラスター VM にパブリック IP は割り当てられません。ただし、通信経路を完全にプライベート化するには、Private Link、UDR、Firewall など追加のネットワーク構成が必要です。
- 無効 (No) クラスター ノードに Public IP が割り当てられる可能性があります。
また、Private Endpoint を構成している場合、Private Link 用に名前解決された FQDN への通信はプライベート経路を使用します。一方で、Private Endpoint 未構成のエンドポイントや通常のパブリック DNS 解決となる通信は、引き続きパブリック経路を利用する可能性があります。
そのため、完全閉域化を行う場合は、Private DNS ゾーン、NSG、UDR、Firewall を含めた全体設計が重要になります。
② ワークスペース UI/API のアクセス制御 (IP Access List) Databricks Account Console の Security → Networking → IP Access List で設定を確認できます。
- Disabled IP ベースのアクセス制御は行われません。
- Enabled Allow / Block ルールに基づいてアクセス制御が行われます。 なお、機能を有効化していても、Allow / Block ルールが構成されていない場合、実質的にアクセス制限は適用されません。
また、IP Access List は Databricks ワークスペース UI/API へのアクセス制御機能であり、クラスター VM のネットワーク通信制御とは別機能になります。
References: https://learn.microsoft.com/azure/databricks/security/network/classic/secure-cluster-connectivity https://learn.microsoft.com/azure/databricks/security/network/concepts/private-link https://learn.microsoft.com/azure/databricks/security/network/front-end/ip-access-list