Important
この機能は パブリック プレビュー段階です。
このページでは、プロバイダーが、ファイアウォールまたはプライベート エンドポイントの背後にあるクラウド ストレージからデータを共有するように OpenSharing SecureConnect を設定する方法について説明します。各受信者のネットワークを許可リストに登録する必要はありません。
SecureConnect のしくみ
Azure Databricks アカウントで SecureConnect を有効にする前に、プロバイダーは 1 回限り構成を行います。 この構成により、Azure Databricks受信者はファイアウォールまたはプライベート エンドポイントの背後にあるプロバイダーのストレージにアクセスできます。 Azure Databricks、マネージド プロキシ経由で受信者の要求をルーティングするため、プロバイダーは新しい受信者を追加するときにストレージ ファイアウォールを更新する必要はありません。
受信者は、既存の OpenSharing セットアップを使用して共有データにアクセスします。
- Azure Databricks の受信者は、プロバイダーごとのファイアウォール変更なしで、サーバーレス コンピューティング上の共有にアクセスできます。
- クラシック コンピュート上の Azure Databricks の受信者とオープン受信者は、プロバイダーのリージョンに対応する Azure Databricks コントロール プレーン IP アドレスの単一セットを許可リストに追加します。
SecureConnect を使用しない場合、プロバイダーは各受信者のネットワーク識別子をストレージ ファイアウォールに追加する必要があります。これは、新しい受信者ごとに受信者とクラウド プラットフォーム管理者と調整されます。
必要条件
- アカウント コンソールの OpenSharing SecureConnect プレビューを有効にする必要があります。 Manage Azure Databricks プレビューを参照してください。
プロバイダーとして SecureConnect を設定する
SecureConnect のセットアップには、アクセスを許可するようにストレージ ファイアウォールを構成し、メタストアと受信者に対して SecureConnect を有効にする必要があります。
手順 1: ストレージ ファイアウォールを構成する
ネットワーク コストが最も低い場合は、共有資産のリージョンをプロバイダーのメタストア リージョンと同じに保ちます。
次の手順では、共有資産とプロバイダー メタストアが同じリージョンにあることを前提としています。
SecureConnect は、サーバーレス データ プレーンを介してストレージにアクセスします。 Azure Databricksがリソースにアクセスできるようにするには、Azure リソースを移行モードのネットワーク セキュリティ境界に関連付け、AzureDatabricksServerless サービス タグを許可リストに追加します。
Azure リソースについては、「Azure ネットワーク セキュリティ境界 (NSP) の構成」を参照してください。
(省略可能)ネットワーク接続構成 (NCC) を使用してプライベート接続を構成する
共有ストレージがプライベート エンドポイントの背後にあり、パブリック ネットワークから到達できない場合、アカウント管理者はネットワーク接続構成 (NCC) を構成し、共有データをホストするメタストアに接続する必要があります。 NCC の詳細については、「 ネットワーク接続構成 (NCC) とは」を参照してください。
ワークスペースにアタッチされた NCC をメタストアにアタッチすることはできません。 OpenSharing のメタストアに適用される NCC は、メタストアにアタッチされているすべての共有に適用されます。
ストレージ アカウントの NCC とプライベート エンドポイントルールを作成しますが、ワークスペースには NCC をアタッチしません。 NCC とプライベート エンドポイントのセットアップについては、Azure リソースへのプライベート接続の構成に関する説明を参照してください。
OpenSharing メタストアに NCC をアタッチします。
- Azure Databricks アカウント管理者として、アカウント コンソールに移動します。
- サイドバーで、[データ] アイコンをクリック
カタログ。 - OpenSharing メタストアの名前をクリックして、その詳細を開きます。
- [ OpenSharing Network Connectivity Configuration (NCC)] で[ 編集] をクリックします。
- OpenSharing 用に作成した NCC を検索して選択します。
- 保存 をクリックします。
Important
NCC をメタストアにアタッチできない場合は、Databricks アカウント チームに問い合わせて、NCC を使用して OpenSharing SecureConnect のプライベート接続を有効にします。
手順 2: メタストアで SecureConnect を有効にする
メタストア管理者は、新しい受信者が自動的に SecureConnect を使用するようにメタストアを構成できます。 既定では、新規および既存の受信者は SecureConnect に登録されません。 既存の受信者を個別に構成する必要があります。 「手順 3: 個々の受信者に対して SecureConnect を有効にする」を参照してください。
メタストアで SecureConnect を有効にするには:
Azure Databricks ワークスペースで、
Catalog をクリックしてカタログ エクスプローラーを開きます。[カタログ] ウィンドウの上部にある
をクリックします。歯車アイコンをクリックし、[OpenSharing] を選択します。または、右上隅の [ 共有] > [OpenSharing] をクリックします。
右上隅にある [設定] をクリックします。
[新しい受信者に対して SecureConnect を有効にする] の設定をオンにします。
保存 をクリックします。
手順 3: 個々の受信者に対して SecureConnect を有効にする
受信者の所有者と USE_RECIPIENT 権限を持つユーザーは、受信者ごとに SecureConnect のオンとオフを切り替えます。 受信者の作成時にメタストアがすべての新しい受信者に対して有効に設定されていない限り、SecureConnect は既定で受信者で無効になります。
受信者に SecureConnect を構成するには:
Azure Databricks ワークスペースで、
Catalog をクリックします。[カタログ] ウィンドウの上部にある
をクリックします。歯車アイコンをクリックし、[OpenSharing] を選択します。または、右上隅の [ 共有] > [OpenSharing] をクリックします。
[自分が共有した] タブで、[受信者] タブをクリックします。
目的の受信者ごとに SecureConnect を有効にします。
(省略可能)手順 4: IP ACL を使用して開いている受信者のアクセスを制限する
開いている受信者の場合、IP アクセス リストを使用して SecureConnect へのアクセスを許可するクライアント IP アドレスを制限できます。 IP ACL は、開いている受信者にのみ適用されます。
SecureConnect では、IP ACL は OpenSharing エンドポイント アクセスとストレージ アクセスの両方に適用されます。 SecureConnect を使用しない場合、IP ACL は OpenSharing エンドポイント アクセスのみを制限します。ストレージ URL は、任意のクライアント IP から到達可能なままになります。
セットアップ手順については、「 IP アクセス リストを使用して OpenSharing 受信者のアクセスを制限する (Databricks から Open への共有)」を参照してください。
注
SecureConnect 対応のオープン受信者の IP ACL の変更が有効になるまでに最大 10 分かかることがあります。
サポートされている共有シナリオ
Important
サポートされていない機能は、受信者のコンピューティングからストレージへの直接アクセスにフォールバックします。 プロバイダーは、ストレージ ファイアウォール内の受信者 IP へのアクセス権を手動で付与する必要があります。 「OpenSharing Databricks-to-Databricks プロトコルとは」または「OpenSharing Databricks-to-Open 共有プロトコルとは」を参照してください。
SecureConnect では、AWS、Azure、GCP への共有がサポートされています。
mTLS から SecureConnect への接続は、サーバーレス受信者クラスターでのみサポートされます。
機能のサポート
| 特徴 | D2O (トークン) | D2O (OIDC)* | D2O (Iceberg) | D2D (サーバーレス) | D2D (クラシック) |
|---|---|---|---|---|---|
| 履歴があるテーブルとパーティションがないテーブル | ✓ | ✓ | ✗ | ✓** | ✓** |
| 履歴のないテーブルまたはパーティションを含むテーブル | ✓ | ✓ | ✗ | ✓ | ✓ |
| Views | ✓ | ✓ | ✗ | ✗ | ✓ |
| 外部テーブル | ✓ | ✓ | ✗ | ✓ | ✓ |
| マテリアライズド・ビュー | ✓ | ✓ | ✗ | ✗ | ✓ |
| ストリーミング テーブル | ✓ | ✓ | ✗ | ✗ | ✓ |
| ボリューム | ✗ | ✗ | ✗ | ✗ | ✗ |
| Notebooks | ✗ | ✗ | ✗ | ✗ | ✗ |
| AI モデル | ✗ | ✗ | ✗ | ✗ | ✗ |
* 現在、受信者も Azure Databricks を使用している場合、OIDC 共有は機能しません。
** SecureConnect ではクラウド トークンの最適化を使用できません。
制限事項
- アセットのバックエンドとして Cloudflare R2 ストレージを使用することはできません。
mTLS のサポートや Databricks からオープンへの共有の制限など、受信者側の制限については、「 制限事項」を参照してください。
サポートされていないリージョン
SecureConnect は、Azure中国、Azure Government、または次のAzureリージョンでは使用できません。
australiacentralaustraliacentral2australiasoutheastcanadaeastfrancecentraljapanwestkoreacentralmexicocentralnorthcentralusnorwayeastqatarcentralsouthafricanorthsouthindiaswitzerlandwestuaenorthukwestwestcentraluswestindiawestus3
請求書
Azure Databricksは現在、SecureConnect データ転送に対して課金されません。 詳細については、OpenSharing SecureConnect の今後のAzure課金の変更を参照してください。