Azure Databricks のためのユーザー定義のルート設定
Azure Databricks ワークスペースを独自の仮想ネットワーク (VNet) にデプロイする場合は、カスタム ルート (ユーザー定義ルート (UDR) とも呼ばれます) を使用して、ネットワーク トラフィックがワークスペースに正しくルーティングされるようにすることができます。 たとえば、仮想ネットワークをオンプレミス ネットワークに接続した場合、トラフィックはオンプレミス ネットワーク経由でルーティングされ、Azure Databricks コントロール プレーンにアクセスできなくなる可能性があります。 ユーザー定義ルートでこの問題を解決できます。
VNet からの送信接続の種類ごとに、UDR が必要です。 Azure サービス タグと IP アドレスの両方を使用して、ユーザー定義ルートにネットワーク アクセス制御を定義できます。 Databricks では、IP の変更によるサービスの停止を防ぐために、Azure サービス タグを使用することが推奨されます。
Azure サービス タグを使用してユーザー定義ルートを構成する
Databricks では、特定の Azure サービスの IP アドレス プレフィックスのグループを表す Azure サービス タグを使用することが推奨されます。 サービス タグに含まれるアドレス プレフィックスの管理は Microsoft が行い、アドレスが変化するとサービス タグは自動的に更新されます。 これは、IP の変更によるサービスの停止を防ぐのに役立ち、ルート テーブルでこれらの IP を定期的に検索して更新する必要がなくなります。 ただし、組織のポリシーでサービス タグが許可されていない場合は、必要に応じて ルートを IP アドレスとして指定できます。
サービス タグを使用することで、ユーザー定義のルートでは、次のルールを使用し、ルート テーブルを仮想ネットワークのパブリックおよびプライベート サブネットに関連付ける必要があります。
| source | アドレス プレフィックス | ネクストホップの種類 |
|---|---|---|
| Default | Azure Databricks サービス タグ | インターネット |
| Default | Azure SQL サービス タグ | インターネット |
| Default | Azure Storage サービス タグ | インターネット |
| Default | Azure Event Hub サービス タグ | インターネット |
Note
Azure Databricks クラスターから Azure リソースへの Microsoft Entra ID 認証を容易にするために、Microsoft Entra ID (旧称 Azure Active Directory) サービス タグの追加を選択できます。
ワークスペースで Azure Private Link が有効になっている場合、Azure Databricks サービス タグは必要ありません。
Azure Databricks サービス タグは、Azure Databricks コントロール プレーン、セキュリティで保護されたクラスター接続 (SCC)、および Azure Databricks Web アプリケーションへの必要な送信接続用の IP アドレスを表します。
Azure SQL サービス タグは、Azure Databricks メタストアへの必要な送信接続の IP アドレスを表し、Azure Storage サービス タグは成果物 BLOB ストレージとログ BLOB ストレージの IP アドレスを表します。 Azure Event Hub サービス タグは、Azure Event Hub へのログ記録に必要な送信接続を表します。
一部のサービス タグでは、IP 範囲を、指定したリージョンに制限することで、より詳細な制御が可能です。 たとえば、米国西部リージョンの Azure Databricks ワークスペースのルート テーブルは次のようになります。
| 名前 | アドレス プレフィックス | ネクストホップの種類 |
|---|---|---|
| adb-servicetag | AzureDatabricks | インターネット |
| adb-metastore | Sql.WestUS | インターネット |
| adb-storage | Storage.WestUS | インターネット |
| adb-eventhub | EventHub.WestUS | インターネット |
ユーザー定義ルートに必要なサービス タグを取得するには、仮想ネットワーク サービス タグに関するページを参照してください。
IP アドレスを使用してユーザー定義ルートを構成する
Databricks では Azure サービス タグを使用することが推奨されていますが、組織のポリシーでサービス タグが許可されていない場合は、IP アドレスを使用して、ユーザー定義ルートにネットワーク アクセス制御を定義できます。
詳細は、ワークスペースでセキュリティで保護されたクラスター (SCC) が有効になっているかどうかによって異なります。
- ワークスペースに対してセキュリティで保護されたクラスター接続が "有効" になっている場合、クラスターがコントロール プレーンのセキュリティで保護されたクラスター接続リレーに接続できるようにするには、UDR が必要です。 リージョンの "SCC リレー IP" とマークされているシステムを必ず含めてください。
- ワークスペースに対してセキュリティで保護されたクラスター接続が "無効" になっている場合、コントロール プレーン NAT からの受信接続がありますが、その接続に対する低レベルの TCP SYN-ACK は、理論的には UDR を必要とする送信データになります。 リージョンの "コントロール プレーン NAT IP" とマークされているシステムを必ず含めてください。
ユーザー定義のルートでは、次のルールを使用し、ルート テーブルを仮想ネットワークのパブリックおよびプライベート サブネットに関連付ける必要があります。
| source | アドレス プレフィックス | ネクストホップの種類 |
|---|---|---|
| Default | コントロール プレーン NAT IP (SCC が無効の場合) | インターネット |
| Default | SCC リレー IP (SCC が有効の場合) | インターネット |
| Default | Webapp IP | インターネット |
| Default | メタストア IP | インターネット |
| Default | アーティファクト BLOB ストレージ IP | インターネット |
| Default | ログ BLOB ストレージ IP | インターネット |
| Default | DBFS ルート ストレージ IP - Blob Storage エンドポイント | インターネット |
| Default | DBFS ルート ストレージ IP - ADLS gen2 (dfs) エンドポイント |
インターネット |
| Default | イベント ハブ IP | インターネット |
ワークスペースで Azure Private Link が有効になっている場合、ユーザー定義のルートは次のルールを使用し、ルート テーブルを仮想ネットワークのパブリック サブネットとプライベート サブネットに関連付ける必要があります。
| source | アドレス プレフィックス | ネクストホップの種類 |
|---|---|---|
| Default | メタストア IP | インターネット |
| Default | アーティファクト BLOB ストレージ IP | インターネット |
| Default | ログ BLOB ストレージ IP | インターネット |
| Default | イベント ハブ IP | インターネット |
ユーザー定義ルートに必要な IP アドレスを取得するには、「Azure Databricks のリージョン」のテーブルと手順を使用します。具体的には次のとおりです。