次の方法で共有

サーバーレス コンピューティングからのプライベート接続を構成する

  • [アーティクル]

この記事では、Azure Databricks アカウント コンソール UI を使用して、サーバーレス コンピューティングからプライベート接続を構成する方法について説明します。 Network Connectivity Configurations API を使うこともできます。

プライベート エンドポイントからの接続のみを受け入れるように Azure リソースを構成する場合は、従来の Databricks コンピューティング リソースからリソースへの接続でもプライベート エンドポイントを使用する必要があります。

サブネットを使用してサーバーレス コンピューティング アクセス用に Azure Storage ファイアウォールを構成するには、「サーバーレス コンピューティング アクセス用のファイアウォールを構成する」を参照してください。 既存のプライベート エンドポイントルールを管理するには、「 プライベート エンドポイントルールの管理を参照してください。

重要

2024 年 12 月 4 日から、Databricks は、外部リソースに接続するサーバーレス ワークロードのネットワーク コストの課金を開始します。 課金は段階的に実施され、2024 年 12 月 4 日以降は課金されない場合があります。 課金が有効になる前に、使用量に対してさかのぼって課金されることはありません。 課金が有効になると、次の料金が発生する場合があります。

  • Private Link 経由でのリソースへのプライベート接続。 Private Link 経由でのリソースへのプライベート接続に対するデータ処理料金は無期限に免除されます。 時間単位の料金が適用されます。
  • NAT ゲートウェイ経由のリソースへのパブリック接続。
  • サーバーレス コンピューティングとターゲット リソースが異なるリージョンにある場合など、発生するデータ転送料金。

サーバーレス コンピューティングのプライベート接続の概要

サーバーレス ネットワーク接続は、ネットワーク接続構成 (NCC) を使って管理されます。 アカウント管理者はアカウント コンソールで NCC を作成し、NCC は 1 つ以上のワークスペースにアタッチできます

NCC 内にプライベート エンドポイントを追加すると、Azure Databricks によって Azure リソースへのプライベート エンドポイント要求が作成されます。 リソース側で要求が受け入れられると、プライベート エンドポイントは、サーバーレス コンピューティング プレーンからリソースにアクセスするために使用されます。 プライベート エンドポイントはユーザーの Azure Databricks アカウント専用であり、認可されたワークスペースからのみアクセスできます。

NCC プライベート エンドポイントは、サーバーレス SQL ウェアハウスとモデル サービス エンドポイントからサポートされます。

Note

NCC プライベート エンドポイントは、管理するデータ ソースに対してのみサポートされます。 ワークスペース ストレージ アカウントへの接続については、Azure Databricks アカウント チームにお問い合わせください。

Note

モデル サービスでは、Azure BLOB ストレージ パスを使用してモデル成果物をダウンロードするため、サブリソース ID BLOB のプライベート エンドポイントを作成します。 サーバーレス ノートブックから Unity カタログのモデルをログに記録するには、DFS が必要です。

NCC の詳細については、「ネットワーク接続構成 (NCC) とは?」を参照してください。

要件

  • ワークスペースは Premium プランに配置されている必要があります。
  • Azure Databricks のアカウント管理者である必要があります。
  • 各 Azure Databricks アカウントは、リージョンごとに最大 10 個の NCC を持つことができます。
  • 各リージョンには 100 個のプライベート エンドポイントを設定でき、必要に応じて 1 から 10 個の NCC に分散できます。
  • 各 NCC は、最大 50 個のワークスペースにアタッチできます。

手順 1: ネットワーク接続構成を作成する

Databricks では、同じ部署内で同じリージョン接続プロパティを共有するワークスペース間では、NCC を共有することを推奨しています。 たとえば、一部のワークスペースが Private Link を使い、他のワークスペースはファイアウォールの有効化を使う場合、それらのユース ケースには個別の NCC を使います。

  1. アカウント管理者として、アカウント コンソールに移動します。
  2. サイドバーの [クラウド リソース] をクリックします。
  3. [Network Connectivity Configs] (ネットワーク接続の構成) をクリックします。
  4. [Add Network Connectivity Config] (ネットワーク接続構成の追加) をクリックします。
  5. NCC の名前を入力します。
  6. リージョンを選択します。 これは、お使いのワークスペース リージョンと一致している必要があります。
  7. [追加] をクリックします。

手順 2: NCC をワークスペースにアタッチする

  1. アカウント コンソールのサイドバーの [ワークスペース] をクリックします。
  2. ワークスペースの名前をクリックします。
  3. [Update workspace] (ワークスペースの更新) をクリックします。
  4. [Network Connectivity Config] (ネットワーク接続の構成) フィールドで、NCC を選びます。 表示されない場合は、ワークスペースと NCC の両方に同じ Azure リージョンを選んだことを確認します。
  5. [Update] をクリックします。
  6. 変更が有効になるまで 10 分待ちます。
  7. ワークスペースで実行中のサーバーレス SQL ウェアハウスをすべて再起動します。

ステップ 3: プライベート エンドポイント規則を作成する

各 Azure リソースの NCC にプライベート エンドポイント規則を作成する必要があります。

  1. すべての接続先の Azure リソース ID の一覧を取得します。

    1. 別のブラウザー タブの Azure portal で、データ ソースの Azure ストレージ アカウントに移動します。
    2. その [概要] ページで、[Essentials] セクションを確認します。
    3. [JSON ビュー] リンクをクリックします。 ストレージ アカウントのリソース ID は、ページの上部に表示されます。
    4. そのリソース ID を別の場所にコピーします。 すべての接続先に対して繰り返します。

  2. アカウント コンソールのブラウザー タブに戻ります。

  3. サイドバーの [クラウド リソース] をクリックします。

  4. [Network Connectivity Configs] (ネットワーク接続の構成) をクリックします。

  5. 手順 1 で作成した NCC を選びます。

  6. [Private endpoint rules] (プライベート エンドポイント規則) で、[Add private endpoint rule] (プライベート エンドポイント規則の追加) をクリックします。

  7. [Destination Azure resource ID] (接続先の Azure リソース ID) フィールドに、リソースのリソース ID を貼り付けます。

  8. [Azure subresource ID] (Azure サブリソース ID) フィールドに、前の表に従ってサブリソースの値を設定します。 各プライベート エンドポイント規則では、異なるサブ リソース ID を使う必要があります。

    変換先の型 Azure サブリソース ID
    BLOB ストレージ blob
    ADLS ストレージ dfs
    Azure SQL (Azure SQL を宛先として使用するには、Network Connectivity API を使用してプライベート エンドポイント規則を作成する必要があります) sqlServer

  9. 追加をクリックします。

  10. すべてのエンドポイント規則の状態が PENDING になるまで数分待ちます。

ステップ 4: リソースで新しいプライベート エンドポイントを承認する

エンドポイントは、リソースに対する権限を持つ管理者が新しいプライベート エンドポイントを承認するまで有効になりません。 Azure portal を使ってプライベート エンドポイントを承認するには、以下の操作を実行します。

  1. Azure portal で、リソースに移動します。

  2. サイドバーで [ネットワーク] をクリックします。

  3. [プライベート エンドポイント接続] をクリックします。

  4. [プライベート アクセス] タブをクリックします。

  5. [プライベート エンドポイントの接続] で、プライベート エンドポイントの一覧を確認します。

  6. 承認するものの横にある各チェックボックスをオンにして、一覧の上の [承認] ボタンをクリックします。

  7. Azure Databricks でお使いの NCC に戻り、すべてのエンドポイント規則の状態が ESTABLISHED になるまでブラウザー ページを更新します。

    プライベート エンドポイント リスト

(省略可能) 手順 5: パブリック ネットワーク アクセスを禁止するようにストレージ アカウントを設定する

Azure ストレージ アカウントへのアクセスを許可リストのネットワークのみにまだ制限していない場合は、これを行うことができます。

  1. Azure portal に移動します。
  2. データ ソースのストレージ アカウントに移動します。
  3. サイドバーで [ネットワーク] をクリックします。
  4. [パブリック ネットワーク アクセス] フィールドで、値を確認します。 既定の値は [すべてのネットワークから有効] です。 これを [無効] に変更します

手順 6: サーバーレス SQL ウェアハウスを再起動し、接続をテストする

  1. 前のステップの後、変更が反映されるまでさらに 5 分間待ちます。
  2. NCC がアタッチされているワークスペースで実行中のサーバーレス SQL ウェアハウスを再起動します。 実行されているサーバーレス SQL ウェアハウスがない場合は、今すぐ開始します。
  3. すべての SQL ウェアハウスが正常に開始することを確認します。
  4. データ ソースに対して少なくとも 1 つのクエリを実行し、サーバーレス SQL ウェアハウスがデータ ソースに到達できることを確認します。