Azure Private Link のバックエンド接続とフロントエンド接続を有効にする

[アーティクル]
03/14/2024

この記事では、Azure Private Link を使用して、ユーザーとその Databricks ワークスペース間、およびクラシックコンピューティングプレーン上のクラスターと Databricks ワークスペースインフラストラクチャ内のコントロールプレーン上のコアサービス間のプライベート接続を有効にする方法についてまとめています。

この機能では、サーバーレス SQL ウェアハウスのネットワークアクセスは変更されません。ただし、SQL ウェアハウスからデータソースへのネットワークアクセスを制御するための別個の機能があります。「サーバーレスコンピューティングからのプライベート接続を構成する」を参照してください。

概要

Private Link を使用すると、パブリックネットワークにトラフィックをさらすことなく、Azure VNet とオンプレミスネットワークから Azure サービスにプライベート接続できます。 Azure Databricks では、Private Link の次の接続の種類がサポートされています。

フロントエンド Private Link (ユーザーからワークスペースへ): フロントエンド Private Link 接続を使用すると、ユーザーは VNet インターフェイスエンドポイント経由で Azure Databricks Web アプリケーション、REST API、Databricks Connect API に接続できます。フロントエンド接続は、JDBC/ODBC と Power BI 統合でも使われます。トランジット VNet とワークスペースの Azure Databricks コントロールプレーン間のフロントエンド Private Link 接続のネットワークトラフィックは、Microsoft バックボーンネットワークを経由します。
バックエンド Private Link ("コンピューティングプレーンからコントロールプレーン"): カスタマーマネージド VNet (コンピューティングプレーン) 内の Databricks Runtime クラスターから、Azure Databricks クラウドアカウント内の Azure Databricks ワークスペースのコアサービス (コントロールプレーン) に接続します。これにより、クラスターから、セキュリティで保護されたクラスター接続リレーエンドポイントと REST API エンドポイントへのプライベート接続が可能になります。
ブラウザー認証プライベートエンドポイント: パブリックインターネットに接続されていないクライアントのために Azure Databricks Web アプリケーションへのプライベートフロントエンド接続をサポートするには、Microsoft Entra ID (旧称 Azure Active Directory) から Azure Databricks Web アプリケーションへのシングルサインオン (SSO) コールバックをサポートするため、ブラウザー認証プライベートエンドポイントを追加する必要があります。お使いのネットワークからパブリックインターネットへの接続を許可する場合、ブラウザー認証プライベートエンドポイントの追加は推奨されますが、必須ではありません。ブラウザー認証プライベートエンドポイントは、サブリソースの種類が browser_authentication のプライベート接続です。

フロントエンド接続とバックエンド接続の両方に Private Link を実装する場合、必要に応じてワークスペースのプライベート接続を義務付ける、つまり、Azure Databricks でパブリックネットワーク経由のすべての接続を拒否することができます。フロントエンドとバックエンドの両方で接続の種類の実装を拒否する場合は、この要件を適用することはできません。

この記事のほとんどは、新しいワークスペースの作成に関する記事ですが、既存のワークスペースで Private Link を有効または無効にすることができます。「既存のワークスペースで Azure Private Link を有効または無効にする」を参照してください。

用語

次の表は、重要な用語についての説明です。

用語	説明
Azure Private Link	パブリックネットワークにトラフィックをさらすことなく、Azure VNet とオンプレミスネットワークから Azure サービスへのプライベート接続を提供する Azure テクノロジ。
Azure Private Link サービス	Private Link 接続の宛先に指定できるサービス。 Azure Databricks コントロールプレーンインスタンスごとに、Azure Private Link サービスを発行します。
Azure プライベートエンドポイント	Azure プライベートエンドポイントを使用すると、VNet と Private Link サービス間をプライベート接続できます。フロントエンドおよびバックエンド接続の場合、Azure プライベートエンドポイントのターゲットは Azure Databricks コントロールプレーンです。

プライベートエンドポイントの一般的な情報については、Microsoft の記事の「プライベートエンドポイントとは」を参照してください。

標準または簡略化されたデプロイを選択する

Azure Databricks でサポートされる Private Link デプロイには 2 種類があり、いずれかを選択する必要があります。

標準デプロイ (推奨): セキュリティを強化するために、Databricks では、"トランジット VNet" とは別のプライベートエンドポイントをフロントエンド接続に使うことをお勧めします。フロントエンドとバックエンドの両方の Private Link 接続を実装することも、バックエンド接続のみを実装することもできます。クラシックコンピューティングプレーンでコンピューティングリソースに使用する VNet とは別に、別の VNet を使用してユーザーアクセスをカプセル化します。バックエンドとフロントエンドのアクセス用に個別の Private Link エンドポイントを作成します。「標準デプロイとしてAzure Private Link を有効にする」の手順に従ってください。
簡略化されたデプロイ: 組織によっては、複数のプライベートエンドポイントが禁止されている、トランジット VNet を分離することが推奨されていないなど、さまざまなネットワークポリシーの理由から標準デプロイを使用できない場合があります。 Private Link の簡略化されたデプロイを代わりに使用することができます。クラシックコンピューティングプレーンでコンピューティングリソースに使う VNet とは別の VNet でユーザーアクセスが分離されることはありません。代わりに、コンピューティングプレーン VNet 内の "トランジットサブネット" がユーザーアクセスに使われます。 Private Link エンドポイントは 1 つだけです。通常、フロントエンドとバックエンドの両方の接続が構成されます。必要に応じて、バックエンド接続のみを構成することもできます。このデプロイの種類では、フロントエンド接続のみを使用するように選択することはできません。「簡略化されたデプロイとして Azure Private Link を有効にする」の手順に従ってください。

必要条件

Azure サブスクリプション

Azure Databricks ワークスペースが Premium または Enterprise レベルである必要があります。

Azure Databricks ワークスペースネットワークアーキテクチャ

Azure Databricks ワークスペースで、VNet インジェクションを使用して、(フロントエンドのみの接続であっても) Private Link 接続を追加する必要があります。
バックエンド Private Link 接続を実装する場合は、Azure Databricks ワークスペースで、セキュリティで保護されたクラスター接続 (SCC/パブリック IP なし/NPIP) を使用する必要があります。
VNet インジェクションの要件を満たす VNet が必要です。
- メインの VNet インジェクションの記事で説明されているように、2 つのサブネット (UI 用語ではパブリックサブネットとプライベートサブネット) を定義する必要があります。 Azure Databricks に使用する VNet とサブネットの IP 範囲で、一度に使用できるクラスターノードの最大数を定義します。これらの値は慎重に選択してください。
- フロントエンド Private Link、バックエンド Private Link、またはその両方を実装するには、ワークスペース VNet に、Private Link エンドポイントが含まれる 3 番目のサブネットが必要であり、その IP アドレス範囲が他のワークスペースサブネットの範囲と重複しないようにする必要があります。この記事では、この 3 番目のサブネットをプライベートエンドポイントサブネットと呼びます。例とスクリーンショットでは、サブネット名を private-link としています。これは CIDR 範囲 /27 と同じくらい小さくできます。プライベートエンドポイントが含まれるサブネットに NSG ルールを定義しないでください。
- UI を使用してオブジェクトを作成する場合は、Azure Databricks ワークスペースを作成する "前" に、ネットワークとサブネットを手動で作成する必要があります。テンプレートを使用したい場合は、Azure Databricks に用意されているテンプレートを使って、通常のサブネット 2 つとプライベートエンドポイント用のサブネット 1 つを含め、VNet と適切なサブネットを作成します。
エグレスを制御するために VNet の周りのネットワークセキュリティグループまたはファイアウォールを使用しているか、使用する予定の場合、セキュリティで保護されたクラスター接続リレーを含め、Azure Databricks コントロールプレーンへの接続のエグレス用にプライベートエンドポイントサブネット上でポート 443、6666、3306、8443 から 8451 を許可する必要があります。プライベートエンドポイントに対してネットワークセキュリティグループポリシーを有効にしている場合は、プライベートエンドポイントがデプロイされているサブネットのネットワークセキュリティグループで、イングレス用にポート 443、6666、8443 から 8451 も許可する必要があります。

フロントエンド接続ネットワークアーキテクチャ

フロントエンド Private Link の場合に限り、ユーザーがオンプレミスネットワークからワークスペースにアクセスするには、そのネットワークから Azure ネットワークへのプライベート接続を追加する必要があります。この接続は、Private Link を構成する前に追加します。詳細は、Private Link の標準デプロイを使用するか、簡略化されたデプロイを使用するかによって異なります。

標準デプロイの場合、"トランジット VNet" ("bastion VNet" または "ハブ VNet" と呼ばれることもあります) を作成するか、既存のものを使用します。この VNet は、Expressroute または VPN ゲートウェイ接続を使用して、オンプレミスのユーザー環境から到達可能である必要があります。フロントエンド Private Link の場合、Databricks では、ワークスペース VNet を共有するのではなく、コントロールプレーンへの接続用に別個の VNet を作成することが推奨されています。トランジット VNet とそのサブネットは、ワークスペース VNet とそのサブネットと同じリージョン、ゾーン、リソースグループに存在できますが、一致する必要はありません。別個のトランジット VNet 用のリソースグループを作成し、そのプライベートエンドポイントに別のプライベート DNS ゾーンを使用します。 2 つの別個のプライベートエンドポイントを使用する場合、DNS ゾーンを共有することはできません。
簡略化されたデプロイの場合は、ワークスペース VNet 内にトランジットサブネットを作成します。このデプロイでは、トランジットサブネットに個別のプライベートエンドポイントはありません。ワークスペース VNet のトランジットサブネットは、バックエンド接続とフロントエンド接続の両方に 1 つのプライベートエンドポイントを使用します。

Azure ユーザーのアクセス許可

Azure ユーザーとして、次のことを行うのに十分な読み取り/書き込みアクセス許可が必要です。

新しい Azure Databricks ワークスペースをプロビジョニングする。
Azure Private Link エンドポイントを、ワークスペース VNet 内に作成し、(フロントエンドに使用する場合は) トランジット VNet 内にも作成する。

トランジット VNet のプライベートエンドポイントを作成したユーザーにワークスペースの所有者または共同作成者アクセス許可がない場合は、ワークスペースの所有者または共同作成者アクセス許可を持つ別のユーザーが、プライベートエンドポイント作成要求を手動で承認する必要があります。

既存のワークスペースで Azure Private Link を有効または無効にする

既存のワークスペースで Private Link を有効にできます。アップグレードを行うには、ワークスペースで VNet インジェクション、セキュリティ保護されたクラスター接続、Premium 価格レベルを使う必要があります。更新の間に、セキュリティ保護されたクラスター接続と Premium 価格レベルに更新できます。

ARM テンプレートまたは azurerm Terraform プロバイダーバージョン 3.41.0 以降を使用できます。 Azure portal を使用してカスタムテンプレートを適用し、UI でパラメーターを変更できます。ただし、Azure Databricks ワークスペースインスタンス自体では、このアップグレードに対する Azure portal ユーザーインターフェイスのサポートはありません。

アップグレードに問題がある場合、ワークスペースの更新手順を繰り返すことができますが、代わりに Private Link を無効にするフィールドを設定することができます。

このセクションでは、既存のワークスペースで Private Link を有効にすることに重点を置きますが、ARM テンプレートまたは Terraform 更新プログラムで同じワークスペース更新呼び出しを使用して、既存のワークスペースでこれを無効にすることができます。詳細については、「手順 4: ワークスペースの更新を適用する」を参照してください。

手順 1: このページの要件とドキュメントを読む

Private Link へのアップグレードを試みる前に、次の重要な概念と要件を確認する必要があります。

続行する前に、概念と要件を含むこの記事をお読みください。
標準デプロイと簡略化されたデプロイのどちらを使用するかを決定します。
標準デプロイまたは簡略化されたデプロイのページで (どちらの方法を使用する場合でも)、さまざまなシナリオを含むページを慎重に確認します。ユースケースに一致するシナリオを見つけます。 publicNetworkAccess と requiredNsgRules に使用する値を書き留めます。フロントエンド接続がロックダウンされた、フロントエンドとバックエンドの両方の Private Link の推奨される構成については、publicNetworkAccess=Disabled と requiredNsgRules=NoAzureDatabricksRules の設定を使用します。

手順 2: すべてのコンピューティングリソースを停止する

このアップグレードを試みる前に、クラスター、プール、クラシック SQL ウェアハウスなどのすべてのコンピューティングリソースを停止する必要があります。ワークスペースのコンピューティングリソースを実行してはいけません。さもないと、アップグレードの試行が失敗します。 Databricks では、ダウンタイムのために、アップグレードのタイミングを計画することをお勧めします。

重要

更新中にコンピューティングリソースを開始しないでください。コンピューティングリソースが開始された (またはまだ開始中である) と Azure Databricks によって判断された場合、それらは更新後に Azure Databricks によって終了されます。

手順 3: サブネットとプライベートエンドポイントを作成する

バックエンドプライベートエンドポイント用のワークスペース VNet にサブネットを追加します。
標準デプロイまたは簡略化されたデプロイ (使用するいずれかの方法) に関する記事を開きます。

そのページの指示に従って、デプロイの種類に一致するプライベートエンドポイントを作成します。
ワークスペースの更新を行う前に、バックエンドサポート用のすべてのプライベートエンドポイントを作成します。
UI アクセスの場合は、トランジット VNet からの SSO をサポートするために、サブリソース databricks_ui_api を使用してプライベートエンドポイントを作成します。フロントエンドアクセスのためにワークスペースにアクセスする複数のトランジット VNet がある場合は、サブリソース databricks_ui_api を使用して複数のプライベートエンドポイントを作成します。

手順 4: ワークスペースの更新を適用する

新しいワークスペースを作成する代わりに、ワークスペースの更新を適用する必要があります。

publicNetworkAccess パラメーターと requiredNsgRules パラメーターは、前の手順で選択した値に更新する必要があります。

次のいずれかの方法を使用します。

テンプレートなしで Azure portal UI を使用する
Azure portal を使用して更新 ARM テンプレートを適用する
Terraform を使用して更新を適用する

 テンプレートなしで Azure portal UI を使用する
1. Azure portal で、Azure Databricks サービスインスタンスに移動します。
2. 左側のナビゲーションで、[設定] の [ネットワーク] をクリックします。
3. [公衆ネットワークアクセスを許可する] と [必要な NSG ルール] を、ユースケースに基づいて適切な値に設定します。「手順 1: このページの要件とドキュメントを読む」をご覧ください。
  
  注意
  
  Azure Private Link を有効にするには、ワークスペースでセキュリティで保護されたクラスター接続 (パブリック IP なし) を有効にする必要があります。まだ有効になっていない場合は、Private Link の更新と同時に、[パブリック IP なし] を True に設定して、セキュリティで保護されたクラスター接続を有効にできます。ただし、Azure Databricks では、Private Link を有効にする前にセキュアなクラスター接続を独立したステップとして設定することをお勧めします。これにより、成功を個々に確認できます。
4. [保存] をクリックします。
ネットワークの更新が完了するまでに 15 分以上かかる場合があります。

Azure portal を使用して更新 ARM テンプレートを適用する

注意

マネージドリソースグループにカスタム名がある場合は、それに応じてテンプレートを変更する必要があります。詳細については、Azure Databricks アカウントチームにお問い合わせください。

次のアップグレード ARM テンプレート JSON をコピーします。

{
   "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
   "contentVersion": "1.0.0.0",
   "parameters": {
       "location": {
           "defaultValue": "[resourceGroup().location]",
           "type": "String",
           "metadata": {
               "description": "Location for all resources."
           }
       },
       "workspaceName": {
           "type": "String",
           "metadata": {
               "description": "The name of the Azure Databricks workspace to create."
           }
       },
       "apiVersion": {
           "defaultValue": "2023-02-01",
           "allowedValues": [
            "2018-04-01",
               "2020-02-15",
               "2022-04-01-preview",
               "2023-02-01"
           ],
           "type": "String",
           "metadata": {
               "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
           }
       },
       "publicNetworkAccess": {
           "defaultValue": "Enabled",
           "allowedValues": [
               "Enabled",
               "Disabled"
           ],
           "type": "String",
           "metadata": {
               "description": "Whether the workspace allows access from the public Internet"
           }
       },
       "requiredNsgRules": {
           "defaultValue": "AllRules",
           "allowedValues": [
               "AllRules",
               "NoAzureDatabricksRules"
           ],
           "type": "String",
           "metadata": {
               "description": "The security rules that are applied to the security group of the Vnet"
           }
       },
       "enableNoPublicIp": {
           "defaultValue": true,
           "type": "Bool"
       },
       "pricingTier": {
           "defaultValue": "premium",
           "allowedValues": [
               "premium",
               "standard",
               "trial"
           ],
           "type": "String",
           "metadata": {
               "description": "The pricing tier of workspace."
           }
       },
       "privateSubnetName": {
           "defaultValue": "private-subnet",
           "type": "String",
           "metadata": {
               "description": "The name of the private subnet."
           }
       },
       "publicSubnetName": {
           "defaultValue": "public-subnet",
           "type": "String",
           "metadata": {
               "description": "The name of the public subnet."
           }
       },
       "vnetId": {
           "type": "String",
           "metadata": {
               "description": "The virtual network Resource ID."
           }
       }
   },
   "variables": {
       "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
       "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
    },
    "resources": [
       {
           "type": "Microsoft.Databricks/workspaces",
           "apiVersion": "[parameters('apiVersion')]",
           "name": "[parameters('workspaceName')]",
           "location": "[parameters('location')]",
           "sku": {
               "name": "[parameters('pricingTier')]"
           },
           "properties": {
               "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
               "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
               "requiredNsgRules": "[parameters('requiredNsgRules')]",
               "parameters": {
                   "enableNoPublicIp": {
                       "value": "[parameters('enableNoPublicIp')]"
                   },
                   "customVirtualNetworkId": {
                       "value": "[parameters('vnetId')]"
                   },
                   "customPublicSubnetName": {
                       "value": "[parameters('publicSubnetName')]"
                   },
                   "customPrivateSubnetName": {
                       "value": "[parameters('privateSubnetName')]"
                   }
               }
           }
       }
   ]
}

Azure portal の [カスタムデプロイ] ページに移動します。
[エディターで独自のテンプレートをビルド] をクリックします。
コピーしたテンプレートについて JSON に貼り付けます。
[保存] をクリックします。
Private Link を有効にするには、ユースケースに従って publicNetworkAccess パラメーターと requiredNsgRules パラメーターを設定します。

Private Link を無効にするには、publicNetworkAccess を true に設定し、requiredNsgRules を AllRules に設定します。
その他のフィールドについては、サブスクリプション、リージョン、ワークスペース名、サブネット名、既存の VNet のリソース ID など、ワークスペースの作成に使用したのと同じパラメーターを使用します。

重要

このコマンドが新しいワークスペースを作成するのではなく既存のワークスペースを更新するために、リソースグループ名、ワークスペース名、サブネット名が既存のワークスペースと同じである必要があります。
[Review + Create](レビュー + 作成) をクリックします。
検証の問題がない場合は、[作成] をクリックします。

ネットワークの更新が完了するまでに 15 分以上かかる場合があります。

Terraform を使用して更新を適用する

Terraform で作成されたワークスペースの場合は、Private Link を使用するようにワークスペースを更新できます。

重要

terraform-provider-azurerm バージョン 3.41.0 以降を使用する必要があるため、必要に応じて Terraform プロバイダーのバージョンをアップグレードしてください。以前のバージョンでは、これらの設定のいずれかを変更すると、ワークスペースを再作成しようとします。

大まかな手順は次のとおりです。

次のワークスペースの設定を変更します。
- public_network_access_enabled: true (有効) または false (無効) に設定します
- network_security_group_rules_required: AllRules または NoAzureDatabricksRules に設定します。
ネットワークの更新が完了するまでに 15 分以上かかる場合があります。
プライベートエンドポイントを作成します。

Private Link を有効にしてプライベートエンドポイントを作成する方法の詳細なガイドについては、以下を参照してください。

標準デプロイについては、Azure Private Link 標準デプロイのTerraform ガイドを参照してください
簡略化されたデプロイについては、Azure Private Link 簡素化されたデプロイの Terraform ガイドを参照してください

ネットワークの更新が完了するまでに 15 分以上かかる場合があります。

手順 5: ユーザー SSO 認証とバックエンド接続をテストする

次の方法の詳細については、メインのデプロイページに従ってください。

ワークスペースへのユーザー SSO 認証をテストする
バックエンド Private Link 接続をテストする (バックエンド接続に必要)

手順 6: 更新を検証する

Azure portal で、Azure Databricks サービスインスタンスに移動します。
左側のナビゲーションで、[設定] の [ネットワーク] をクリックします。
[公衆ネットワークアクセスを許可する] の値が、設定した値と一致することを確認します。
[必須の NSG ルール] の値が、設定した値と一致することを確認します。

障害復旧

ワークスペースの更新が失敗した場合、ワークスペースは失敗状態としてマークされる可能性があります。つまり、ワークスペースではコンピューティング操作を実行できません。失敗したワークスペースをアクティブ状態に戻すには、更新操作のステータスメッセージの手順を確認します。問題を解決したら、失敗したワークスペースで更新をやり直します。更新が正常に完了するまで、手順を繰り返します。質問がある場合は、Azure Databricks アカウントチームにお問い合わせください。