Pengaturan rute yang ditentukan pengguna untuk Azure Databricks

Jika ruang kerja Azure Databricks Anda ditempatkan di jaringan virtual Anda sendiri (VNet), Anda dapat menggunakan rute kustom, yang juga dikenal sebagai rute yang ditentukan oleh pengguna (UDR), untuk memastikan lalu lintas jaringan dirutekan dengan benar untuk ruang kerja Anda. Misalnya, jika Anda menyambungkan jaringan virtual ke jaringan lokal Anda, lalu lintas dapat dirutekan melalui jaringan lokal dan tidak dapat menjangkau sarana kontrol Azure Databricks. Rute yang ditentukan pengguna dapat memecahkan masalah itu.

Anda memerlukan UDR untuk setiap jenis koneksi keluar dari VNet. Anda dapat menggunakan tag layanan Azure dan alamat IP untuk menentukan kontrol akses jaringan pada rute yang ditentukan pengguna Anda. Databricks merekomendasikan penggunaan tag layanan Azure untuk mencegah pemadaman layanan karena perubahan IP.

Konfigurasi rute yang ditentukan pengguna dengan tag layanan Azure

Databricks merekomendasikan agar Anda menggunakan tag layanan Azure, yang mewakili sekelompok awalan alamat IP dari layanan Azure tertentu. Microsoft mengelola awalan alamat yang disertakan oleh tag layanan dan secara otomatis memperbarui tag layanan saat alamat berubah. Ini membantu mencegah pemadaman layanan karena perubahan IP dan menghapus kebutuhan untuk mencari IP ini secara berkala dan memperbaruinya di tabel rute Anda. Namun, jika kebijakan organisasi Anda melarang tag layanan, Anda dapat secara opsional menentukan rute sebagai alamat IP.

Menggunakan tag layanan, rute yang ditentukan pengguna Anda harus menggunakan aturan berikut dan mengaitkan tabel rute ke subnet publik dan privat jaringan virtual Anda.

Sumber Awalan alamat Jenis hop berikutnya
Bawaan AzureDatabricks internet
Bawaan Storage internet
Bawaan EventHub internet

Catatan

Anda dapat memilih untuk menambahkan tag layanan Microsoft Entra ID untuk memfasilitasi autentikasi Microsoft Entra ID dari kluster Azure Databricks ke sumber daya Azure.

Jika Azure Private Link diaktifkan di ruang kerja Anda, tag layanan Azure Databricks tidak diperlukan.

Tag layanan Azure Databricks mewakili alamat IP untuk koneksi keluar yang diperlukan ke sarana kontrol Azure Databricks, konektivitas kluster secure (SCC), dan aplikasi web Azure Databricks. Anda juga harus membuka port 3306 untuk lalu lintas keluar di grup keamanan jaringan Anda agar dapat tersambung dengan Hive metastore warisan.

Tag layanan Azure Storage mewakili alamat IP untuk penyimpanan Blob artefak dan penyimpanan Blob log. Tag layanan Azure Event Hubs mewakili koneksi keluar yang diperlukan untuk pengelogan ke Azure Event Hub.

Beberapa tag layanan memungkinkan kontrol yang lebih terperinci dengan membatasi rentang IP ke wilayah tertentu. Misalnya, tabel rute untuk ruang kerja Azure Databricks di wilayah US Barat mungkin terlihat seperti:

Nama Awalan alamat Jenis hop berikutnya
adb-servicetag AzureDatabricks internet
adb-storage Storage.WestUS internet
adb-eventhub EventHub.WestUS internet

Penting

Jika Anda menggunakan tag layanan yang tercakup di wilayah, perhatikan bahwa beberapa titik akhir wilayah mungkin berada di wilayah Azure yang berbeda dari titik akhir penyimpanan utama. Misalnya, ruang kerja di Jepang Timur memiliki penyimpanan artefak sekunder di Jepang Barat. Dalam hal ini, Anda juga harus menambahkan tag layanan untuk wilayah sekunder. Untuk meninjau FQDN untuk wilayah ruang kerja Anda, lihat Metastore, penyimpanan Blob artefak, penyimpanan tabel sistem, penyimpanan Blob log, dan alamat IP titik akhir Event Hubs.

Untuk mendapatkan tag layanan yang diperlukan untuk rute yang ditentukan pengguna, lihat tag layanan jaringan virtual .

Mengonfigurasi rute yang ditentukan pengguna dengan alamat IP

Databricks merekomendasikan agar Anda menggunakan tag layanan Azure, tetapi jika kebijakan organisasi Anda tidak mengizinkan tag layanan, Anda dapat menggunakan alamat IP untuk menentukan kontrol akses jaringan pada rute yang ditentukan pengguna.

Detailnya bervariasi berdasarkan apakah konektivitas kluster aman (SCC) diaktifkan untuk ruang kerja:

  • Jika konektivitas kluster aman diaktifkan untuk ruang kerja, Anda memerlukan UDR untuk memungkinkan kluster terhubung ke relai konektivitas kluster yang aman di bidang kontrol. Pastikan untuk menyertakan sistem yang ditandai sebagai IP relai SCC untuk wilayah Anda.
  • Jika konektivitas kluster aman dinonaktifkan untuk ruang kerja, ada koneksi masuk dari NAT Sarana Kontrol, tetapi TCP SYN-ACK tingkat rendah ke koneksi tersebut secara teknis adalah data keluar yang memerlukan UDR. Pastikan untuk menyertakan sistem yang ditandai sebagai Control Plane NAT IP untuk wilayah Anda.

Rute yang ditentukan pengguna Anda harus menggunakan aturan berikut dan mengaitkan tabel rute ke subnet publik dan privat jaringan virtual Anda.

Sumber Awalan alamat Jenis hop berikutnya
Bawaan IP NAT Sarana Kontrol (jika SCC dinonaktifkan) internet
Bawaan IP relai SCC (jika SCC diaktifkan) internet
Bawaan IP Webapp internet
Bawaan IP Metastore internet
Bawaan Alamat IP Penyimpanan Blob Artefak internet
Bawaan IP penyimpanan Blob Log internet
Bawaan IP penyimpanan ruang kerja - titik akhir Blob Storage internet
Bawaan IP penyimpanan di ruang kerja - titik akhir ADLS (dfs) internet
Bawaan Event Hubs IP internet

Jika Azure Private Link diaktifkan di ruang kerja Anda, rute yang ditentukan pengguna harus menggunakan aturan berikut dan mengaitkan tabel rute ke subnet publik dan privat jaringan virtual Anda.

Sumber Awalan alamat Jenis hop berikutnya
Bawaan IP Metastore internet
Bawaan Alamat IP Penyimpanan Blob Artefak internet
Bawaan IP penyimpanan Blob Log internet
Bawaan Event Hubs IP internet

Untuk mendapatkan alamat IP yang diperlukan untuk rute yang ditentukan pengguna, gunakan tabel dan instruksi di wilayah Azure Databricks, khususnya:

  • Last updated on