このページでは、Azure Databricks コントロール プレーンとクラシック コンピューティング プレーンの間のネットワーク アクセスをカスタマイズする機能について説明します。 コントロール プレーンとクラシック コンピューティング プレーンの間の接続は、パブリック インターネットではなく、常にクラウド ネットワーク バックボーン経由で行われます。
コントロール プレーンとコンピューティング プレーンについて詳しくは、「Azure Databricks アーキテクチャの概要」をご覧ください。
クラシック コンピューティングとサーバーレス コンピューティングの詳細については、「 コンピューティング」を参照してください。
このセクションの機能の目的は、Azure Databricks コントロール プレーンとクラシック コンピューティング プレーンの間の接続を確立してセキュリティで保護することです。 次の図で、この接続は 2 というラベルで示されています。
Azure Databricks と Azure Storage の間で Azure ネットワーク機能を構成する方法の詳細については、「 Azure Databricks ワークスペースに Azure Data Lake Storage へのアクセスを許可する」を参照してください。
セキュリティで保護されたクラスター接続を有効にする
Databricks では、Azure Databricks ワークスペースでセキュリティ保護されたクラスター接続を有効にすることが推奨されています。 セキュリティ保護されたクラスター接続を有効にすると、クラシック コンピューティング プレーン内のコンピューティング リソースは、リレーを介してコントロール プレーンに接続します。 つまり、顧客の仮想ネットワークには開いているポートがなく、コンピューティング プレーン リソースにはパブリック IP アドレスがありません。 これにより、セキュリティ グループまたはネットワーク ピアリングでポートを構成する必要がなくなるため、ネットワーク管理が簡素になります。 セキュリティで保護されたクラスター接続を使用したワークスペースの展開の詳細については、「セキュリティで保護されたクラスター接続を有効にする
自分の仮想ネットワーク内にワークスペースをデプロイする
既定では、すべての Azure Databricks デプロイによって、ロックされた仮想ネットワーク (VNet) が Azure サブスクリプションに作成されます。 クラシック コンピューティング リソースは、その仮想ネットワーク内に作成されます。 代わりに、独自のカスタマー マネージド仮想ネットワークに新しいワークスペースを作成すること (VNet インジェクションとも呼ばれます) を選択できます。これを使用すると、次が可能になります。
- サービス エンドポイントまたはプライベート エンドポイントを使って、Azure Databricks から Azure Storage への接続をセキュリティ保護します。 「 Azure Databricks ワークスペースに Azure Data Lake Storage へのアクセスを許可する」を参照してください。
- ネットワーク セキュリティ グループの規則を使って、仮想ネットワークからのアウトバウンド トラフィックを制限します。
- ユーザー定義ルートを利用して、Azure Databricks からオンプレミス ネットワークへの接続をセキュリティ保護します。 「Azure Databricks ワークスペースをオンプレミス ネットワークに接続する」と「Azure Databricks のためのユーザー定義のルート設定」をご覧ください。
独自の仮想ネットワークへのワークスペースのデプロイについては、「Azure 仮想ネットワーク (VNet インジェクション) で Azure Databricks をデプロイする」をご覧ください。 Azure Databricks 仮想ネットワークと別の Azure 仮想ネットワークをピアリングすることもできます。「仮想ネットワークをピアリングする」をご覧ください。
コントロール プレーンからクラシック コンピューティング プレーンへのプライベート接続を有効にする
Azure Private Link を使うと、パブリック ネットワークにトラフィックをさらすことなく、Azure VNet とオンプレミス ネットワークから Azure サービスにプライベート接続できます。 Azure Private Link を有効にすると、クラシック コンピューティング プレーンからコントロール プレーン内の Azure Databricks ワークスペースのコア サービスへのプライベート接続を有効にすることができます。
詳細については、「 Azure Private Link の概念」を参照してください。