Azure リソースへのプライベート接続を構成する

この記事では、Azure Databricks アカウント コンソール UI を使用して、サーバーレス コンピューティングからプライベート接続を構成する方法について説明します。 ネットワーク接続構成 API を使用することもできます。

プライベート エンドポイントからの接続のみを受け入れるように Azure リソースを構成する場合は、クラシック Databricks コンピューティング リソースからリソースへの接続でもプライベート エンドポイントを使用する必要があります。

サブネットを用いたサーバーレス計算アクセス用のAzure Storageファイアウォールを設定するには、「サーバーレス計算アクセスのためのファイアウォールの設定」をご覧ください。 既存のプライベート エンドポイントルールを管理するには、「 プライベート エンドポイントルールの管理を参照してください。

Azure Databricks、サーバーレス ワークロードが顧客のリソースに接続するとき、およびパフォーマンス集中型サービスがリージョンをまたがるデータをクライアントに送信する場合のネットワーク コストに対する料金が発生します。 Databricks のネットワーク コストを理解するを参照してください。

サーバーレス コンピューティングのプライベート接続の概要

サーバーレス ネットワーク接続は、ネットワーク接続構成 (NCC) を使って管理されます。 アカウント管理者はアカウント コンソールで NCC を作成し、1 つの NCC を 1 つ以上のワークスペースにアタッチできます。

NCC にプライベート エンドポイントを追加すると、Azure Databricksは、Azure リソースへのプライベート エンドポイント要求を作成します。 リソースの所有者が要求を承認すると、Azure Databricksはそのプライベート エンドポイントを使用して、サーバーレス コンピューティング プレーンからリソースにアクセスします。 プライベート エンドポイントは、Azure Databricks アカウント専用であり、承認されたワークスペースからのみアクセスできます。

NCC プライベート エンドポイントは、SQL ウェアハウス、ジョブ、ノートブック、Lakeflow パイプライン、およびモデル サービス エンドポイントからサポートされます。

  • NCC プライベート エンドポイントは、管理するデータ ソースとワークスペース ストレージ アカウントでサポートされます。 ワークスペース ストレージ アカウントのプライベート エンドポイントの構成の詳細については、「ワークスペース ストレージ アカウントの ファイアウォールサポートを有効にする」を参照してください

  • モデル サービスでは、Azure BLOB ストレージ パスを使用してモデル成果物をダウンロードするため、サブリソース ID BLOB のプライベート エンドポイントを作成します。 サーバーレス ノートブックから Unity カタログのモデルをログに記録するには、DFS が必要です。

  • SecureConnect には、 blobdfs の両方のプライベート エンドポイントが必要です。 ストレージ アカウントのサブリソースの種類ごとにプライベート エンドポイント ルールを作成します。 詳細については、「 SecureConnect を使用してファイアウォールの背後でデータを共有する」を参照してください。

NCC の詳細については、「ネットワーク接続構成 (NCC) とは?」を参照してください。

紺碧

要件

  • アカウントとワークスペースは Premium プランに含まれている必要があります。
  • Azure Databricks アカウント管理者である必要があります。
  • 各Azure Databricks アカウントは、リージョンあたり最大 10 個の NCC を持つことができます。
  • 各リージョンには 100 個のプライベート エンドポイントを設定でき、必要に応じて 1 から 10 個の NCC に分散できます。
  • 各 NCC は、最大 50 個のワークスペースにアタッチできます。

アカウント コンソールを使用してプライベート エンドポイントを設定する

ネットワーク接続構成を作成する

Databricks では、同じ部署とリージョン内のワークスペース間で NCC を共有することをお勧めします。 たとえば、一部のワークスペースで Private Link を使用し、他のワークスペースで ファイアウォールの有効化を使用する場合は、それらのユース ケースに個別の CCC を使用します。

  1. アカウント管理者として、アカウント コンソールに移動します。
  2. サイドバーで[ セキュリティ]をクリックします。
  3. [ ネットワーク接続の構成] をクリックします。
  4. [ ネットワーク構成の追加] をクリックします。
  5. NCC の名前を入力します。
  6. リージョンを選択します。 これは、お使いのワークスペース リージョンと一致している必要があります。
  7. [追加] をクリックします。

NCC をワークスペースにアタッチする

  1. アカウント コンソールのサイドバーの [ワークスペース] をクリックします。
  2. ワークスペースの名前をクリックします。
  3. [Update workspace] (ワークスペースの更新) をクリックします。
  4. [ ネットワーク接続構成 ] フィールドで、NCC を選択します。 表示されない場合は、ワークスペースと NCC の両方に同じAzureリージョンが選択されていることを確認します。
  5. [Update] をクリックします。
  6. 変更が有効になるまで 10 分待ちます。
  7. ワークスペースで実行中のサーバーレス サービスをすべて再起動します。

プライベート エンドポイントルールを作成する

Azure リソースごとに、NCC にプライベート エンドポイント 規則を作成する必要があります。

  1. すべての宛先のAzureリソース ID の一覧を取得します。
    1. 別のブラウザー タブで、Azure ポータルを使用して、データ ソースのAzure サービスに移動します。
    2. その [概要] ページで、[Essentials] セクションを確認します。
    3. [JSON ビュー] リンクをクリックします。 サービスのリソース ID がページの上部に表示されます。
    4. そのリソース ID を別の場所にコピーします。 すべての接続先に対して繰り返します。 リソース ID の検索の詳細については、「Azure プライベート エンドポイントのプライベート DNS ゾーン値を参照してください。
  2. アカウント コンソールのブラウザー タブに戻ります。
  3. サイドバーで[ セキュリティ]をクリックします。
  4. [ ネットワーク接続の構成] をクリックします。
  5. ネットワーク接続構成の作成手順で作成した NCC を選択します。
  6. [Private endpoint rules] (プライベート エンドポイント規則) で、[Add private endpoint rule] (プライベート エンドポイント規則の追加) をクリックします。
  7. Destination Azureリソース ID フィールドに、リソースのリソース ID を貼り付けます。
  8. [Azureサブリソース ID フィールドに、宛先 ID とサブリソースの種類を指定します。 各プライベート エンドポイント規則では、異なるサブ リソース ID を使う必要があります。 サポートされているサブリソースの種類の一覧については、「 サポートされているリソース」を参照してください。
  9. [追加] をクリックします。
  10. すべてのエンドポイント規則の状態が PENDING になるまで数分待ちます。

リソースの新しいプライベート エンドポイントを承認する

エンドポイントは、管理者がリソース側で承認するまで有効になりません。 Azure ポータルを使用して承認するには:

  1. Azure ポータルで、リソースに移動します。

  2. サイドバーで [ネットワーク] をクリックします。

  3. [プライベート エンドポイント接続] をクリックします。

  4. [プライベート アクセス] タブをクリックします。

  5. [プライベート エンドポイントの接続] で、プライベート エンドポイントの一覧を確認します。

  6. 承認するものの横にある各チェックボックスをオンにして、一覧の上の [承認] ボタンをクリックします。

  7. Azure Databricksで NCC に戻り、すべてのエンドポイント ルールの状態が ESTABLISHED になるまでブラウザー ページを更新します。

    プライベート エンドポイント リスト

(省略可能)パブリック ネットワーク アクセスを禁止するようにリソースを設定する

リソースを許可リストのネットワークのみに制限していない場合は、今すぐ行うことができます。

  1. Azure ポータルに移動します。
  2. データ ソースのストレージ アカウントに移動します。
  3. サイドバーで [ネットワーク] をクリックします。
  4. [パブリック ネットワーク アクセス] フィールドで、値を確認します。 既定の値は [すべてのネットワークから有効] です。 これを [無効] に変更します

Private LinkをAzure アプリ Gateway v2リソースに設定する場合は、アカウントコンソールのUIではなくネットワーク接続設定のREST APIを使う必要があります。 Azure アプリ ゲートウェイ v2 には、リソース ID、グループ ID、ドメイン名などの追加パラメーターが必要です。

  1. 次の API 呼び出しを使用して、ドメイン名の構成を使用してプライベート エンドポイント規則を作成します。
    curl --location 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
    --header 'Content-Type: application/json' \
    --header 'Authorization: Bearer <TOKEN>' \
    --data '{
       "domain_names": [
          "<YOUR_DOMAIN_HERE>"
       ],
       "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
       "group_id": "<GROUP_ID>"
    }'
    
  2. 既存のプライベート エンドポイント規則のドメイン名を変更する必要がある場合は、次の PATCH 要求を使用します。
    curl --location --request PATCH 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
    --header 'Content-Type: application/json' \
    --header 'Authorization: Bearer <TOKEN>' \
    --data '{
       "domain_names": [
          "<YOUR_DOMAIN_HERE>"
       ]
    }'
    
  3. App Gatewayのプライベートエンドポイントルールを一覧、表示、削除するには、 ネットワーク接続構成APIに記載された標準的なネットワーク接続構成API操作を使用します。

サーバーレス コンピューティング プレーン リソースを再起動し、接続をテストする

  1. 変更が反映されるまでさらに 5 分待ちます。
  2. NCC がアタッチされているワークスペースで、実行中のサーバーレス コンピューティング プレーン リソースを再起動します。 実行中のサーバーレス コンピューティング プレーン リソースがない場合は、今すぐ開始します。
  3. すべてのリソースが正常に起動することを確認します。
  4. データ ソースに対して少なくとも 1 つのクエリを実行し、サーバーレス SQL ウェアハウスがデータ ソースに到達できることを確認します。

次のステップ

Azure China

Azure中国の要件

  • アカウントとワークスペースは Premium プランに含まれている必要があります。
  • Azure Databricks アカウント管理者である必要があります。
  • 各Azure Databricks アカウントは、リージョンあたり最大 10 個の NCC を持つことができます。
  • 各アカウントは、Azure中国で最大 20 個のプライベート エンドポイントを持つことができます。
  • 各 NCC は、最大 50 個のワークスペースにアタッチできます。

Azure中国では、NCC は中国北部 3 リージョンでのみサポートされます。 NCC は同じリージョン内のワークスペースにのみアタッチできるため、ワークスペースは中国北部 3 にも存在する必要があります。

アカウント コンソールを使用してプライベート エンドポイントを設定する (中国Azure)

ネットワーク接続構成を作成する (中国Azure)

Databricks では、同じ部署とリージョン内のワークスペース間で NCC を共有することをお勧めします。 たとえば、一部のワークスペースでPrivate Linkを使用し、他のワークスペースで異なる接続構成を使用する場合は、それらのユース ケースに個別の NCC を使用します。

ファイアウォールの有効化 (サブネットベースのアクセス) は、Azure中国では使用できません。 プライベート エンドポイントは、Azure China でサーバーレス コンピューティングでサポートされている唯一の接続方法です。

  1. アカウント管理者として、アカウント コンソールに移動します。
  2. サイドバーで[ セキュリティ]をクリックします。
  3. [ ネットワーク接続の構成] をクリックします。
  4. [ ネットワーク構成の追加] をクリックします。
  5. NCC の名前を入力します。
  6. リージョンとして 中国北部 3 を選択します。 これは、お使いのワークスペース リージョンと一致している必要があります。
  7. [追加] をクリックします。

ワークスペースに NCC をアタッチする (中国Azure)

  1. アカウント コンソールのサイドバーの [ワークスペース] をクリックします。
  2. ワークスペースの名前をクリックします。
  3. [Update workspace] (ワークスペースの更新) をクリックします。
  4. [ ネットワーク接続構成 ] フィールドで、NCC を選択します。 表示されない場合は、ワークスペースと NCC の両方のAzure リージョンとして China North 3 を選択していることを確認します。
  5. [Update] をクリックします。
  6. 変更が有効になるまで 10 分待ちます。
  7. ワークスペースで実行中のサーバーレス サービスをすべて再起動します。

プライベート エンドポイント ルールを作成する (中国Azure)

Azure リソースごとに、NCC にプライベート エンドポイント 規則を作成する必要があります。 Azure China でサポートされているリソースの一覧については、「サポートされているリソース」を参照してください。

  1. すべての宛先のAzureリソース ID の一覧を取得します。
    1. 別のブラウザー タブで、Azure ポータルを使用して、データ ソースのAzure サービスに移動します。
    2. その [概要] ページで、[Essentials] セクションを確認します。
    3. [JSON ビュー] リンクをクリックします。 サービスのリソース ID がページの上部に表示されます。
    4. そのリソース ID を別の場所にコピーします。 すべての接続先に対して繰り返します。 リソース ID の検索の詳細については、「Azure プライベート エンドポイントのプライベート DNS ゾーン値を参照してください。
  2. アカウント コンソールのブラウザー タブに戻ります。
  3. サイドバーで[ セキュリティ]をクリックします。
  4. [ ネットワーク接続の構成] をクリックします。
  5. ネットワーク接続構成の作成 (中国Azure) 手順で作成した NCC を選択します。
  6. [Private endpoint rules] (プライベート エンドポイント規則) で、[Add private endpoint rule] (プライベート エンドポイント規則の追加) をクリックします。
  7. Destination Azureリソース ID フィールドに、リソースのリソース ID を貼り付けます。
  8. [Azureサブリソース ID フィールドに、宛先 ID とサブリソースの種類を指定します。 各プライベート エンドポイント規則では、異なるサブ リソース ID を使う必要があります。
  9. [追加] をクリックします。
  10. すべてのエンドポイント規則の状態が PENDING になるまで数分待ちます。

リソースの新しいプライベート エンドポイントを承認する (中国Azure)

エンドポイントは、管理者がリソース側で承認するまで有効になりません。 Azure ポータルを使用して承認するには:

  1. Azure ポータルで、リソースに移動します。

  2. サイドバーで [ネットワーク] をクリックします。

  3. [プライベート エンドポイント接続] をクリックします。

  4. [プライベート アクセス] タブをクリックします。

  5. [プライベート エンドポイントの接続] で、プライベート エンドポイントの一覧を確認します。

  6. 承認するものの横にある各チェックボックスをオンにして、一覧の上の [承認] ボタンをクリックします。

  7. Azure Databricksで NCC に戻り、すべてのエンドポイント ルールの状態が ESTABLISHED になるまでブラウザー ページを更新します。

    プライベート エンドポイント リスト

(省略可能)パブリック ネットワーク アクセスを禁止するようにリソースを設定する (中国Azure)

リソースを許可リストのネットワークのみに制限していない場合は、今すぐ行うことができます。

  1. Azure ポータルに移動します。
  2. データ ソースのストレージ アカウントに移動します。
  3. サイドバーで [ネットワーク] をクリックします。
  4. [パブリック ネットワーク アクセス] フィールドで、値を確認します。 既定の値は [すべてのネットワークから有効] です。 これを [無効] に変更します

Azure アプリ Gateway v2 へのPrivate Linkの構成 (中国Azure)

Private LinkをAzure アプリ Gateway v2リソースに設定する場合は、アカウントコンソールのUIではなくネットワーク接続設定のREST APIを使う必要があります。 Azure アプリ ゲートウェイ v2 には、リソース ID、グループ ID、ドメイン名などの追加パラメーターが必要です。

  1. 次の API 呼び出しを使用して、ドメイン名の構成を使用してプライベート エンドポイント規則を作成します。
    curl --location 'https://accounts.databricks.azure.cn/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
    --header 'Content-Type: application/json' \
    --header 'Authorization: Bearer <TOKEN>' \
    --data '{
       "domain_names": [
          "<YOUR_DOMAIN_HERE>"
       ],
       "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
       "group_id": "<GROUP_ID>"
    }'
    
  2. 既存のプライベート エンドポイント規則のドメイン名を変更する必要がある場合は、次の PATCH 要求を使用します。
    curl --location --request PATCH 'https://accounts.databricks.azure.cn/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
    --header 'Content-Type: application/json' \
    --header 'Authorization: Bearer <TOKEN>' \
    --data '{
       "domain_names": [
          "<YOUR_DOMAIN_HERE>"
       ]
    }'
    
  3. App Gatewayのプライベートエンドポイントルールを一覧、表示、削除するには、 ネットワーク接続構成APIに記載された標準的なネットワーク接続構成API操作を使用します。

サーバーレス コンピューティング プレーン リソースを再起動し、接続をテストする (中国Azure)

  1. 変更が反映されるまでさらに 5 分待ちます。
  2. NCC がアタッチされているワークスペースで、実行中のサーバーレス コンピューティング プレーン リソースを再起動します。 実行中のサーバーレス コンピューティング プレーン リソースがない場合は、今すぐ開始します。
  3. すべてのリソースが正常に起動することを確認します。
  4. データ ソースに対して少なくとも 1 つのクエリを実行し、サーバーレス SQL ウェアハウスがデータ ソースに到達できることを確認します。

次の手順 (中国Azure)