Mengaktifkan dukungan firewall untuk akun penyimpanan ruang kerja Anda

Setiap ruang kerja Azure Databricks memiliki akun penyimpanan Azure terkait dalam grup sumber daya terkelola yang dikenal sebagai akun penyimpanan workspace. Akun ini berisi data sistem ruang kerja (output pekerjaan, pengaturan sistem, dan log), root Sistem File Databricks, dan dalam beberapa kasus katalog ruang kerja Unity Catalog. Anda dapat membatasi akses ke akun penyimpanan ruang kerja Anda hanya untuk sumber daya dan jaringan yang diotorisasi, menggunakan Azure CLI atau PowerShell.

Apa itu dukungan firewall untuk akun penyimpanan ruang kerja Anda?

Secara default, akun penyimpanan ruang kerja Anda menerima koneksi terautentikasi dari semua jaringan. Saat Anda mengaktifkan dukungan firewall, Azure Databricks memblokir akses jaringan publik dan membatasi akses ke sumber daya yang diotorisasi saja. Anda mungkin ingin mengonfigurasi ini jika organisasi Anda memiliki kebijakan Azure yang mengharuskan akun penyimpanan bersifat privat.

Saat dukungan firewall diaktifkan, layanan di luar Azure Databricks yang perlu mengakses akun penyimpanan ruang kerja harus menggunakan titik akhir privat dengan Private Link. Azure Databricks komputasi tanpa server harus menggunakan titik akhir layanan atau titik akhir privat untuk mengakses akun penyimpanan ruang kerja.

Azure Databricks membuat sebuah konektor access dengan identitas terkelola Azure untuk mengakses akun penyimpanan ruang kerja.

Persyaratan

  • Ruang kerja Anda harus mengaktifkan injeksi VNet untuk koneksi dari bidang komputasi klasik.

  • Ruang kerja Anda harus mengaktifkan konektivitas kluster aman (Tanpa IP Publik/NPIP) untuk koneksi dari bidang komputasi klasik.

  • Ruang kerja Anda harus berada di paket Premium.

  • Anda harus memiliki subnet terpisah untuk titik akhir privat untuk akun penyimpanan. Ini selain dua subnet utama untuk fungsionalitas Azure Databricks dasar.

    Subnet harus berada di VNet yang sama dengan ruang kerja atau di VNet terpisah yang dapat diakses ruang kerja. Gunakan ukuran /28 minimum dalam notasi CIDR.

  • Jika Anda menggunakan Cloud Fetch dengan Microsoft Fabric Power BI service, Anda harus selalu menggunakan gateway VNet atau gateway lokal untuk akses privat ke akun penyimpanan ruang kerja. Lihat Langkah 2 (disarankan): Mengonfigurasi titik akhir privat untuk VNet klien Cloud Fetch.

  • Untuk metode penyebaran Azure CLI atau PowerShell, Anda harus membuat konektor akses Azure Databricks dan menyimpan ID sumber dayanya sebelum mengaktifkan firewall penyimpanan ruang kerja default. Ini mengharuskan menggunakan identitas terkelola yang ditetapkan sistem atau ditetapkan pengguna. Lihat Konektor Akses untuk Databricks. Anda tidak dapat menggunakan konektor akses Azure Databricks di grup sumber daya terkelola.

Koneksi layanan di luar Azure Databricks ke akun penyimpanan

Langkah 1: Membuat titik akhir privat ke akun penyimpanan

Buat dua titik akhir privat untuk akun penyimpanan ruang kerja Anda dari VNet yang digunakan untuk injeksi VNet pada sub-sumber daya Target , dengan nilai: dfs dan blob.

Catatan

Jika Anda menerima kesalahan penolakan penugasan pada grup sumber daya terkelola, ruang kerja Anda mungkin mendahului model izin grup sumber daya terkelola saat ini. Hubungi tim akun Azure Databricks Anda untuk memperbarui konfigurasi grup sumber daya terkelola sebelum Melanjutkan.

Jika Anda menerima peringatan tentang menjalankan sumber daya komputasi, hentikan semua komputasi di ruang kerja Anda sebelum Anda mengikuti langkah 1 hingga 4.

  1. Buka ruang kerja Anda.

  2. Di bawah Esensial, klik nama Grup Sumber Daya Terkelola.

  3. Di bawah Sumber Daya, catat nama akun penyimpanan ruang kerja Anda. Nama biasanya dimulai dengan dbstorage.

  4. Dalam kotak pencarian di bagian atas portal, masukkan dan pilih titik akhir privat .

  5. Klik + Buat.

  6. Di bidang nama Grup Sumber Daya , atur grup sumber daya Anda.

    Penting

    Grup sumber daya tidak boleh sama dengan grup sumber daya terkelola tempat akun penyimpanan ruang kerja Anda berada.

  7. Di bidang Nama , masukkan nama unik untuk titik akhir privat ini:

    • Untuk titik akhir privat pertama yang Anda buat untuk setiap jaringan sumber, buat titik akhir DFS. Azure Databricks menyarankan Agar Anda menambahkan akhiran -dfs-pe.
    • Untuk titik akhir privat kedua yang Anda buat untuk setiap jaringan sumber, buat titik akhir Blob. Azure Databricks menyarankan Agar Anda menambahkan akhiran -blob-pe.

    Bidang Nama Antarmuka Jaringan diisi secara otomatis.

  8. Atur bidang Wilayah ke wilayah ruang kerja Anda.

  9. Klik Berikutnya: Sumber Daya.

  10. Dalam metode Connection, pilih Hubungkan ke sumber daya Azure di direktori.

  11. Di Langganan, pilih langganan tempat ruang kerja Anda berada.

  12. Di Jenis sumber daya, pilih Microsoft. Storage/storageAccounts.

  13. Di Resource, pilih akun penyimpanan ruang kerja Anda.

  14. Di sub-sumber daya target, pilih jenis sumber daya target.

    • Untuk titik akhir privat pertama yang Anda buat di setiap jaringan sumber, tetapkan ini ke dfs.
    • Untuk titik akhir privat kedua yang Anda buat untuk setiap jaringan sumber, atur ini ke blob.

  15. Klik Selanjutnya: Virtual Network.

  16. Di bidang jaringan virtual , pilih VNet.

  17. Di bidang subnet, atur subnet ke subnet terpisah yang Anda miliki untuk titik akhir privat pada akun penyimpanan.

    Bidang ini mungkin diisi secara otomatis dengan subnet untuk titik akhir privat Anda, tetapi Anda mungkin perlu mengaturnya secara eksplisit. Jangan gunakan dua subnet ruang kerja untuk fungsionalitas ruang kerja Azure Databricks dasar, yang biasanya disebut private-subnet dan public-subnet.

  18. Ubah konfigurasi IP Privat dan Default grup keamanan aplikasi jika diperlukan.

  19. Klik Berikutnya: DNS. Tab DNS terisi otomatis ke langganan dan grup sumber daya yang tepat yang sebelumnya Anda pilih. Ubah jika diperlukan.

    Catatan

    Jika tidak ada zona DNS pribadi untuk jenis sub-sumber daya target (dfs atau blob) yang terlampir ke VNet jaringan ruang kerja, Azure akan membuat zona DNS pribadi baru. Jika zona DNS privat untuk jenis sub-sumber daya tersebut sudah ada di VNet ruang kerja, Azure secara otomatis memilihnya. VNet hanya dapat memiliki satu zona DNS privat per jenis sub-sumber daya.

  20. Klik Berikutnya: Tag dan tambahkan tag jika diinginkan.

  21. Klik Berikutnya: Tinjau + buat dan tinjau kolom.

  22. Klik Buat.

Langkah 2 (disarankan): Mengonfigurasi titik akhir privat untuk VNet klien Cloud Fetch

Cloud Fetch adalah mekanisme di ODBC dan JDBC yang mengambil data secara paralel melalui penyimpanan cloud untuk mengirimkan data lebih cepat ke alat BI. Jika Anda mengambil hasil kueri yang lebih besar dari 100 MB dari alat BI, Kemungkinan Anda menggunakan Cloud Fetch.

Catatan

Jika Anda menggunakan Microsoft Fabric Power BI service dengan Azure Databricks dan mengaktifkan dukungan firewall di akun penyimpanan ruang kerja, Anda harus mengonfigurasi gateway data jaringan virtual atau gateway data lokal untuk mengizinkan akses privat ke akun penyimpanan. Ini memastikan bahwa Fabric Power BI service dapat terus mengakses akun penyimpanan ruang kerja dan Cloud Fetch terus berfungsi dengan benar.

Persyaratan ini tidak berlaku untuk Power BI Desktop.

Jika Anda menggunakan Cloud Fetch, buat titik akhir privat ke akun penyimpanan ruang kerja dari VNet klien Cloud Fetch Anda.

Untuk setiap jaringan sumber untuk klien Cloud Fetch, buat dua titik akhir privat yang menggunakan dua nilai sub-sumber daya Target yang berbeda: dan . Lihat Langkah 1: Membuat titik akhir privat ke akun penyimpanan untuk langkah-langkah terperinci. Dalam beberapa langkah tersebut, untuk bidang Jaringan virtual saat membuat titik akhir privat, pastikan Anda menentukan VNet sumber Anda untuk setiap klien Cloud Fetch.

Langkah 3: Mengonfirmasi persetujuan titik akhir

Setelah Anda membuat semua endpoint privat untuk akun penyimpanan, verifikasi bahwa endpoint tersebut telah disetujui. Mereka mungkin menyetujui secara otomatis, atau Anda mungkin perlu menyetujuinya di akun penyimpanan.

  1. Buka ruang kerja Anda di portal Azure.
  2. Di bawah Esensial, klik nama Grup Sumber Daya Terkelola.
  3. Di bawah Sumber Daya, klik sumber daya jenis akun Penyimpanan yang memiliki nama yang dimulai dengan dbstorage.
  4. Di bilah samping, klik Jaringan.
  5. Klik Koneksi titik akhir privat.
  6. Periksa status Koneksi untuk mengonfirmasi bahwa mereka mengatakan Disetujui atau pilih mereka dan klik Setujui.

Koneksi dari komputasi tanpa server

Catatan

Azure Databricks sedang memindahkan semua akun penyimpanan ruang kerja yang ada yang telah mengaktifkan firewall ke batas keamanan jaringan yang memungkinkan tag layanan AzureDatabricksServerless. Onboarding ini diharapkan selesai pada akhir 2026.

Saat Anda mengaktifkan dukungan firewall, Azure Databricks secara otomatis melakukan onboarding akun penyimpanan ruang kerja ke perimeter keamanan jaringan yang memungkinkan tag layanan AzureDatabricksServerless. Ini memungkinkan Azure Databricks komputasi tanpa server terhubung melalui titik akhir layanan. Untuk menyambungkan melalui titik akhir privat, tambahkan aturan titik akhir privat ke NCC Anda untuk akun penyimpanan ruang kerja. Lihat Konfigurasi konektivitas privat ke sumber daya Azure.

Jika Anda ingin mengelola perimeter keamanan jaringan Anda sendiri, Anda dapat melepaskan perimeter keamanan jaringan yang disediakan Azure Databricks dan melampirkan perimeter keamanan jaringan Anda sendiri. Peralihan menyebabkan jeda singkat dalam layanan. Siapkan terlebih dahulu pengganti perimeter keamanan jaringan Anda dan rencanakan jendela waktu pemeliharaan.

Aktifkan dukungan firewall penyimpanan menggunakan Azure CLI

  • Untuk mengaktifkan dukungan firewall menggunakan konektor akses dengan identitas yang ditetapkan sistem, dalam Cloud Shell jalankan:

    az databricks workspace update \
   --resource-group "<resource-group-name>" \
   --name "<workspace-name>" \
   --subscription "<subscription-id>" \
   --default-storage-firewall "Enabled" \
   --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"SystemAssigned\"}"

  • Untuk mengaktifkan dukungan firewall menggunakan konektor akses dengan identitas yang ditetapkan pengguna, dalam Cloud Shell jalankan:

    az databricks workspace update \
--resource-group "<resource-group-name>" \
--name "<workspace-name>" \
--subscription "<subscription-id>" \
--default-storage-firewall "Enabled" \
--access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"UserAssigned\", \"user-assigned-identity-id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>\"}"

  • Untuk menonaktifkan dukungan firewall menggunakan konektor akses, dalam Cloud Shell jalankan:

    az databricks workspace update \
   --name "<workspace-name>" \
   --subscription "<subscription-id>" \
   --resource-group "<resource-group-name>" \
   --default-storage-firewall "Disabled"

Mengaktifkan dukungan firewall penyimpanan menggunakan PowerShell

  • Untuk mengaktifkan dukungan firewall menggunakan konektor akses dengan identitas yang ditetapkan sistem, dalam Cloud Shell jalankan:

    Update-AzDatabricksWorkspace `
   -Name "<workspace-name>" `
   -ResourceGroupName "<resource-group-name>" `
   -SubscriptionId "<subscription-ID>" `
   -Sku "Premium" `
   -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
   -AccessConnectorIdentityType "SystemAssigned" `
   -DefaultStorageFirewall "Enabled"

  • Untuk mengaktifkan dukungan firewall menggunakan konektor akses dengan identitas yang ditetapkan pengguna, dalam Cloud Shell jalankan:

    Update-AzDatabricksWorkspace `
   -Name "<workspace-name>" `
   -ResourceGroupName "<resource-group-name>" `
   -SubscriptionId "<subscription-ID>" `
   -Sku "Premium" `
   -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
   -AccessConnectorIdentityType "UserAssigned" `
   -AccessConnectorUserAssignedIdentityId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>" `
   -DefaultStorageFirewall "Enabled"

  • Untuk menonaktifkan dukungan firewall menggunakan konektor akses, dalam Cloud Shell jalankan:

    Update-AzDatabricksWorkspace `
   -Name "<workspace-name>" `
   -ResourceGroupName "<resource-group-name>" `
   -SubscriptionId "<subscription-ID>" `
   -DefaultStorageFirewall "Disabled"
  • Last updated on