Mengaktifkan dukungan firewall untuk akun penyimpanan ruang kerja Anda

Artikel
06/27/2024

Saat Anda membuat ruang kerja Azure Databricks baru, akun penyimpanan Azure dibuat dalam grup sumber daya terkelola, yang dikenal sebagai akun penyimpanan ruang kerja. Akun penyimpanan ruang kerja mencakup data sistem ruang kerja (output pekerjaan, pengaturan sistem, dan log), akar DBFS, dan dalam beberapa kasus katalog ruang kerja Katalog Unity. Artikel ini menjelaskan cara membatasi akses ke akun penyimpanan ruang kerja Anda hanya dari sumber daya dan jaringan resmi menggunakan templat ARM.

Apa itu dukungan firewall untuk akun penyimpanan ruang kerja Anda?

Secara default, akun penyimpanan Azure untuk akun penyimpanan ruang kerja Anda menerima koneksi terautentikasi dari semua jaringan. Anda dapat membatasi akses ini dengan mengaktifkan dukungan firewall untuk akun penyimpanan ruang kerja Anda. Ini memastikan bahwa akses jaringan publik tidak diizinkan dan akun penyimpanan ruang kerja tidak dapat diakses dari jaringan yang tidak sah. Anda mungkin ingin mengonfigurasi ini jika organisasi Anda memiliki kebijakan Azure yang memastikan akun penyimpanan bersifat privat.

Saat dukungan firewall untuk akun penyimpanan ruang kerja Anda diaktifkan, semua akses dari layanan di luar Azure Databricks harus menggunakan titik akhir privat yang disetujui dengan Private Link. Azure Databricks membuat konektor akses untuk menyambungkan ke penyimpanan menggunakan identitas terkelola Azure. Akses dari komputasi tanpa server Azure Databricks harus menggunakan titik akhir layanan atau titik akhir privat.

Persyaratan

Ruang kerja Anda harus mengaktifkan injeksi VNet untuk koneksi dari bidang komputasi klasik.

Jika Anda membuat ruang kerja baru, buat jaringan virtual dan dua subnet mengikuti instruksi di Persyaratan jaringan virtual.
Ruang kerja Anda harus mengaktifkan konektivitas kluster yang aman (Tanpa IP Publik/NPIP) untuk koneksi dari bidang komputasi klasik.
Ruang kerja Anda harus berada di paket Premium.
Anda harus memiliki subnet terpisah untuk titik akhir privat untuk akun penyimpanan. Ini selain dua subnet utama untuk fungsionalitas Azure Databricks dasar.

Subnet harus berada di VNet yang sama dengan ruang kerja atau di VNet terpisah yang dapat diakses ruang kerja. Gunakan ukuran /28 minimum dalam notasi CIDR.
Jika Anda menggunakan Cloud Fetch dengan Microsoft Fabric layanan Power BI, Anda harus selalu menggunakan gateway untuk akses privat ke akun penyimpanan ruang kerja atau menonaktifkan Cloud Fetch. Lihat Langkah 3 (Disarankan): Mengonfigurasi titik akhir privat untuk VNet klien Cloud Fetch.

Langkah 1: Sebarkan templat ARM yang diperlukan

Langkah ini menggunakan templat ARM untuk mengelola ruang kerja Azure Databricks. Anda juga dapat memperbarui atau membuat ruang kerja menggunakan Terraform. Lihat penyedia azurerm_databricks_workspace Terraform.

Di portal Azure, cari dan pilih Deploy a custom template.
Klik Buat templat Anda sendiri di editor.
Salin templat ARM dari templat ARM untuk dukungan firewall untuk akun penyimpanan ruang kerja Anda dan tempelkan di editor.
Klik Simpan.
Tinjau dan edit bidang. Untuk deskripsi bidang, lihat bidang templat ARM.
Klik Tinjau dan Buat, lalu Buat.

Ruang kerja Anda untuk sementara tidak dapat menjalankan buku catatan atau pekerjaan hingga Anda membuat titik akhir privat Anda.

Catatan

Akses jaringan publik pada akun penyimpanan ruang kerja Anda diatur Diaktifkan dari jaringan virtual dan alamat IP yang dipilih dan bukan ke Dinonaktifkan untuk mendukung sumber daya komputasi tanpa server tanpa memerlukan titik akhir privat. Akun penyimpanan ruang kerja berada dalam grup sumber daya terkelola dan firewall penyimpanan hanya dapat diperbarui saat Anda menambahkan konfigurasi konektivitas jaringan (NCC) untuk koneksi tanpa server ke ruang kerja Anda. Lihat Langkah 5: Mengotorisasi koneksi komputasi tanpa server. Jika Anda ingin mengaktifkan akses dari komputasi tanpa server Azure Databricks menggunakan titik akhir privat, hubungi tim akun Azure Databricks Anda.

Langkah 2: Membuat titik akhir privat ke akun penyimpanan

Buat dua titik akhir privat ke akun penyimpanan ruang kerja Anda dari VNet yang Anda gunakan untuk injeksi VNet untuk nilai sub-sumber daya Target: dfs dan blob.

Di portal Azure, navigasikan ke ruang kerja Anda.
Di bawah Esensial, klik nama Grup Sumber Daya Terkelola.
Di bawah Sumber Daya, klik sumber daya jenis akun Penyimpanan yang memiliki nama yang dimulai dengan dbstorage.
Di bilah samping, klik Jaringan.
Klik Koneksi titik akhir privat.
Klik + Titik akhir privat.
Di bidang Nama grup sumber daya, atur grup sumber daya Anda. Ini tidak boleh sama dengan grup sumber daya terkelola tempat akun penyimpanan ruang kerja Anda berada.
Di bidang Nama, ketik nama unik untuk titik akhir privat ini:
- Untuk titik akhir privat pertama yang Anda buat untuk setiap jaringan sumber, buat titik akhir DFS. Databricks merekomendasikan Anda menambahkan akhiran -dfs-pe
- Untuk titik akhir privat kedua yang Anda buat untuk setiap jaringan sumber, buat titik akhir Blob. Databricks merekomendasikan Anda menambahkan akhiran -blob-pe
Bidang Nama Antarmuka Jaringan diisi secara otomatis.
Atur bidang Wilayah ke wilayah ruang kerja Anda.
Klik Berikutnya.
Di Sub-sumber daya target, klik jenis sumber daya target.
- Untuk titik akhir privat pertama yang Anda buat untuk setiap jaringan sumber, atur ini ke dfs.
- Untuk titik akhir privat kedua yang Anda buat untuk setiap jaringan sumber, atur ke blob.
Di bidang Jaringan virtual, pilih VNet.
Di bidang subnet, atur subnet ke subnet terpisah yang Anda miliki untuk titik akhir privat untuk akun penyimpanan.

Bidang ini mungkin diisi secara otomatis dengan subnet untuk titik akhir privat Anda, tetapi Anda mungkin harus mengaturnya secara eksplisit. Anda tidak dapat menggunakan salah satu dari dua subnet ruang kerja yang digunakan untuk fungsionalitas ruang kerja Azure Databricks dasar, yang biasanya disebut private-subnet dan public-subnet.
Klik Berikutnya. Tab DNS terisi otomatis ke langganan dan grup sumber daya yang tepat yang sebelumnya Anda pilih. Ubah jika diperlukan.
Klik Berikutnya dan tambahkan tag jika diinginkan.
Klik Berikutnya dan tinjau bidang.
Klik Buat.

Untuk menonaktifkan dukungan firewall untuk akun penyimpanan ruang kerja Anda, gunakan proses yang sama seperti di atas, tetapi atur parameter Storage Account Firewall (storageAccountFirewall dalam templat) ke Disabled dan atur Workspace Catalog Enabled bidang ke true atau false berdasarkan apakah ruang kerja Anda menggunakan katalog ruang kerja Unity Catalog. Lihat Apa itu katalog di Azure Databricks?.

Langkah 3 (Disarankan): Mengonfigurasi titik akhir privat untuk VNet klien Cloud Fetch

Cloud Fetch adalah mekanisme di ODBC dan JDBC untuk mengambil data secara paralel melalui penyimpanan cloud untuk membawa data lebih cepat ke alat BI. Jika Anda mengambil hasil kueri yang lebih besar dari 1 MB dari alat BI, Kemungkinan Anda menggunakan Cloud Fetch.

Catatan

Jika Anda menggunakan Microsoft Fabric layanan Power BI dengan Azure Databricks, Anda harus menonaktifkan Cloud Fetch karena fitur ini memblokir akses langsung ke akun penyimpanan ruang kerja dari Fabric Power BI. Atau, Anda dapat mengonfigurasi gateway data jaringan virtual atau gateway data lokal untuk memungkinkan akses privat ke akun penyimpanan ruang kerja. Ini tidak berlaku untuk desktop Power BI. Untuk menonaktifkan Cloud Fetch, gunakan konfigurasi EnableQueryResultDownload=0.

Jika Anda menggunakan Cloud Fetch, buat titik akhir privat ke akun penyimpanan ruang kerja dari VNet klien Cloud Fetch Anda.

Untuk setiap jaringan sumber untuk klien Cloud Fetch, buat dua titik akhir privat yang menggunakan dua nilai sub-sumber daya Target yang berbeda: dfs dan blob. Lihat Langkah 2: Buat titik akhir privat ke akun penyimpanan untuk langkah-langkah terperinci. Dalam langkah-langkah tersebut , untuk bidang Jaringan virtual saat membuat titik akhir privat, pastikan Anda menentukan VNet sumber untuk setiap klien Cloud Fetch.

Langkah 4: Mengonfirmasi persetujuan titik akhir

Setelah Anda membuat semua titik akhir privat Anda ke akun penyimpanan, periksa apakah titik akhir tersebut disetujui. Mereka mungkin menyetujui secara otomatis atau Anda mungkin perlu menyetujuinya di akun penyimpanan.

Buka ruang kerja Anda di portal Azure.
Di bawah Esensial, klik nama Grup Sumber Daya Terkelola.
Di bawah Sumber Daya, klik sumber daya jenis akun Penyimpanan yang memiliki nama yang dimulai dengan dbstorage.
Di bilah samping, klik Jaringan.
Klik Koneksi titik akhir privat.
Periksa status Koneksi untuk mengonfirmasi bahwa mereka mengatakan Disetujui atau pilih dan klik Setujui.

Langkah 5: Mengotorisasi koneksi komputasi tanpa server

Anda harus mengotorisasi sumber daya komputasi tanpa server untuk terhubung ke akun penyimpanan ruang kerja Anda dengan melampirkan konfigurasi konektivitas jaringan (NCC) ke ruang kerja Anda. Saat NCC dilampirkan ke ruang kerja, aturan jaringan secara otomatis ditambahkan ke akun penyimpanan Azure untuk akun penyimpanan ruang kerja. Untuk petunjuknya, lihat Jaringan sarana komputasi tanpa server.

Jika Anda ingin mengaktifkan akses dari komputasi tanpa server Azure Databricks menggunakan titik akhir privat, hubungi tim akun Azure Databricks Anda.

Bagikan melalui