Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Penting
Fitur ini ada di Pratinjau Umum.
Halaman ini menjelaskan cara penyedia menyiapkan OpenSharing SecureConnect untuk berbagi data dari penyimpanan cloud yang berada di balik firewall atau endpoint privat, tanpa perlu memasukkan jaringan masing-masing penerima ke daftar izin.
Cara kerja SecureConnect
Sebelum mengaktifkan SecureConnect pada akun Azure Databricks, penyedia membuat konfigurasi satu kali. Konfigurasi ini memungkinkan penerima Azure Databricks mengakses penyimpanan penyedia yang berada di balik firewall atau endpoint privat. Azure Databricks kemudian merutekan permintaan penerima melalui proksi terkelola, sehingga penyedia tidak perlu memperbarui firewall penyimpanan mereka saat menambahkan penerima baru.
Penerima mengakses data yang dibagikan menggunakan konfigurasi OpenSharing yang sudah ada:
- Penerima Azure Databricks di komputasi tanpa server dapat mengakses berbagi pakai tanpa perlu perubahan firewall untuk setiap penyedia.
- Penerima Azure Databricks pada komputasi klasik dan penerima terbuka mengizinkan satu set alamat IP control plane Azure Databricks untuk wilayah penyedia.
Tanpa SecureConnect, penyedia harus menambahkan pengidentifikasi jaringan setiap penerima ke firewall penyimpanan mereka, berkoordinasi dengan penerima dan administrator platform cloud untuk setiap penerima baru.
Persyaratan
- Pratinjau OpenSharing SecureConnect di Konsol Akun harus diaktifkan. Lihat Kelola Pratinjau Azure Databricks.
Menyiapkan SecureConnect sebagai penyedia
Menyiapkan SecureConnect melibatkan konfigurasi firewall penyimpanan Anda untuk memungkinkan akses dan mengaktifkan SecureConnect untuk metastores dan penerima Anda.
Langkah 1: Mengonfigurasi firewall penyimpanan Anda
Instruksi berikut mengasumsikan bahwa aset bersama dan metastore penyedia Anda berada di wilayah yang sama. Untuk biaya jaringan terendah, jaga agar wilayah aset bersama Anda tetap sama dengan wilayah metastore penyedia Anda.
SecureConnect mengakses penyimpanan Anda melalui bidang data tanpa server. Ikuti salah satu opsi penyiapan berikut, berdasarkan apakah penyimpanan Anda berada di jaringan publik atau privat.
Opsi 1: Penyimpanan di jaringan publik
Gunakan opsi ini jika penyimpanan Anda dapat dijangkau melalui jaringan publik. Jika penyimpanan Anda berada di belakang titik akhir privat, lihat bagian berikut.
Untuk mengizinkan Azure Databricks mengakses sumber daya Anda, kaitkan sumber daya Azure Anda dengan perimeter keamanan jaringan dalam mode transisi dan tambahkan AzureDatabricksServerless.{region} tag layanan ke daftar yang diizinkan, di mana {region} adalah wilayah sarana kontrol penyedia. Lihat Mengonfigurasi perimeter keamanan jaringan (NSP) Azure untuk sumber daya Azure.
Opsi 2: Penyimpanan di jaringan privat
Gunakan opsi ini jika penyimpanan bersama Anda berada di belakang titik akhir privat dan tidak dapat dijangkau dari jaringan publik.
Admin akun harus mengonfigurasi konfigurasi konektivitas jaringan (NCC) dan melampirkannya ke metastore yang menghosting data bersama Anda. Untuk informasi selengkapnya tentang NCC, lihat Apa itu konfigurasi konektivitas jaringan (NCC)?.
NCC yang ditautkan ke ruang kerja tidak dapat ditautkan ke metastore. NCC yang diterapkan pada metastore untuk OpenSharing berlaku untuk semua share yang terkait dengan metastore.
Buat NCC dan aturan titik akhir privat untuk akun penyimpanan Anda tetapi jangan lampirkan NCC ke ruang kerja. Lihat Mengonfigurasi konektivitas privat untuk sumber daya Azure untuk penyiapan NCC dan titik akhir privat.
Lampirkan NCC ke metastore OpenSharing Anda:
- Sebagai administrator akun Azure Databricks, buka konsol akun.
- Di bar samping, klik
Katalog. - Klik nama metastore OpenSharing untuk membuka detailnya.
- Di bawah Konfigurasi konektivitas Jaringan OpenSharing (NCC) klik Edit.
- Cari dan pilih NCC yang Anda buat untuk OpenSharing.
- Kliklah Simpan.
Penting
Jika Anda tidak dapat melampirkan NCC ke metastore, hubungi tim akun Databricks Anda untuk mengaktifkan konektivitas privat untuk OpenSharing SecureConnect menggunakan NCC.
Langkah 2: Aktifkan SecureConnect pada metastore
Administrator metastore dapat mengonfigurasi metastore sehingga penerima baru secara otomatis menggunakan SecureConnect. Secara default, penerima baru dan yang sudah ada tidak terdaftar di SecureConnect. Anda harus mengonfigurasi penerima yang ada secara terpisah. Lihat Langkah 3: Aktifkan SecureConnect untuk penerima individual.
Untuk mengaktifkan SecureConnect pada metastore:
Di ruang kerja Azure Databricks Anda, klik
Katalog untuk membuka Catalog Explorer.Di bagian atas panel Katalog , klik
ikon gerigi dan pilih OpenSharing.Atau, di sudut kanan atas, klik Bagikan > OpenSharing.
Klik Pengaturan di sudut kanan atas.
Aktifkan pengaturan untuk Aktifkan SecureConnect untuk penerima baru.
Kliklah Simpan.
Langkah 3: Aktifkan SecureConnect untuk penerima individual
Pemilik penerima, dan pengguna dengan USE_RECIPIENT hak istimewa, mengaktifkan atau menonaktifkan SecureConnect untuk setiap penerima. SecureConnect dinonaktifkan secara bawaan untuk penerima, kecuali metastore dikonfigurasi untuk mengaktifkannya bagi semua penerima baru saat penerima tersebut dibuat.
Untuk mengonfigurasi SecureConnect pada penerima:
Di ruang kerja Azure Databricks Anda, klik
Catalog.Di bagian atas panel Katalog , klik
ikon gerigi dan pilih OpenSharing.Atau, di sudut kanan atas, klik Bagikan > OpenSharing.
Pada tab Dibagikan oleh saya , klik tab Penerima .
Aktifkan SecureConnect untuk setiap penerima yang diinginkan.
(Opsional) Langkah 4: Membatasi akses penerima terbuka dengan ACL IP
Untuk penerima terbuka, Anda dapat membatasi alamat IP klien mana yang diizinkan untuk mencapai SecureConnect menggunakan daftar akses IP. ACL IP hanya berlaku untuk penerima terbuka.
Dengan SecureConnect, ACL IP berlaku untuk akses titik akhir OpenSharing dan akses penyimpanan. Tanpa SecureConnect, ACL IP hanya membatasi akses titik akhir OpenSharing; URL penyimpanan tetap dapat dijangkau dari IP klien mana pun.
Untuk petunjuk penyiapan, lihat Membatasi akses penerima OpenSharing dengan menggunakan daftar akses IP (sharing Databricks-ke-Open).
Note
Perubahan IP ACL untuk penerima terbuka yang diaktifkan SecureConnect dapat memakan waktu hingga 10 menit untuk diterapkan.
Skenario berbagi yang didukung
Penting
Setiap fitur yang tidak didukung akan menggunakan akses langsung dari sumber daya komputasi penerima ke penyimpanan. Penyedia harus memberikan akses secara manual ke IP penerima di firewall penyimpanan mereka. Lihat Apa itu protokol OpenSharing Databricks-to-Databricks? atau Apa itu protokol berbagi Databricks-to-Open?.
SecureConnect mendukung berbagi ke AWS, Azure, dan GCP.
mTLS ke SecureConnect hanya didukung untuk kluster penerima tanpa server.
Dukungan fitur
| Feature | D2O (token) | D2O (OIDC)* | D2O (Iceberg) | D2D (tanpa server) | D2D (klasik) |
|---|---|---|---|---|---|
| Tabel dengan riwayat dan tanpa partisi | ✓ | ✓ | ✗ | ✓ ** | ✓ ** |
| Tabel tanpa riwayat atau dengan partisi | ✓ | ✓ | ✗ | ✓ | ✓ |
| Views | ✓ | ✓ | ✗ | ✓ *** | ✓ |
| Tabel dari luar | ✓ | ✓ | ✗ | ✓ | ✓ |
| Pandangan termaterialisasi | ✓ | ✓ | ✗ | ✓ *** | ✓ |
| Tabel aliran data | ✓ | ✓ | ✗ | ✓ *** | ✓ |
| Volumes | ✗ | ✗ | ✗ | ✗ | ✗ |
| Notebooks | ✗ | ✗ | ✗ | ✗ | ✗ |
| Model Kecerdasan Buatan | ✗ | ✗ | ✗ | ✗ | ✗ |
* Berbagi OIDC saat ini tidak berfungsi ketika penerima juga berada di Azure Databricks.
** Pengoptimalan token cloud tidak tersedia untuk SecureConnect.
*** Aset ini dimaterialisasi dan difilter di sisi penyedia. Lihat Apakah penerima memiliki akses langsung ke data yang mendasar dalam tampilan bersama, tampilan materialisasi, dan tabel streaming?.
Keterbatasan
- Aset Anda tidak dapat didukung oleh penyimpanan Cloudflare R2.
Untuk batasan sisi penerima, seperti dukungan mTLS dan pembatasan berbagi Databricks-to-Open, lihat Batasan.
Kawasan yang tidak didukung
SecureConnect tidak tersedia di wilayah Azure Tiongkok, Azure Government, atau Azure berikut:
australiacentralaustraliacentral2japanwestqatarcentralsouthindiaswitzerlandwestukwestwestindia
Billing
Azure Databricks saat ini tidak mengenakan biaya untuk transfer data SecureConnect. Lihat Perubahan penagihan Azure mendatang untuk OpenSharing SecureConnect untuk detail selengkapnya.