Bagikan melalui

Pengaturan rute yang ditentukan pengguna untuk Azure Databricks

  • Artikel

Jika ruang kerja Azure Databricks disebarkan ke jaringan virtual (VNet) Anda sendiri, Anda dapat menggunakan rute kustom, yang juga dikenal sebagai rute yang ditentukan pengguna (UDR), untuk memastikan bahwa lalu-lintas jaringan dirutekan dengan benar untuk ruang kerja Anda. Misalnya, jika Anda menyambungkan jaringan virtual ke jaringan lokal, lalu-lintas dapat dirutekan melalui jaringan lokal dan tidak dapat mencapai sarana kontrol Azure Databricks. Rute yang ditentukan pengguna dapat memecahkan masalah itu.

Anda memerlukan UDR untuk setiap jenis koneksi keluar dari VNet. Anda dapat menggunakan tag layanan Azure dan alamat IP untuk menentukan kontrol akses jaringan pada rute yang ditentukan pengguna Anda. Databricks merekomendasikan penggunaan tag layanan Azure untuk mencegah pemadaman layanan karena perubahan IP.

Mengonfigurasi rute yang ditentukan pengguna dengan tag layanan Azure

Databricks merekomendasikan agar Anda menggunakan tag layanan Azure, yang mewakili sekelompok awalan alamat IP dari layanan Azure tertentu. Microsoft mengelola awalan alamat yang dicakup oleh tag layanan dan secara otomatis memperbarui tag layanan saat alamat berubah. Ini membantu mencegah pemadaman layanan karena perubahan IP dan menghapus kebutuhan untuk mencari IP ini secara berkala dan memperbaruinya di tabel rute Anda. Namun, jika kebijakan organisasi Anda melarang tag layanan, Anda dapat secara opsional menentukan rute sebagai alamat IP.

Menggunakan tag layanan, rute yang ditentukan pengguna Anda harus menggunakan aturan berikut dan mengaitkan tabel rute ke subnet publik dan privat jaringan virtual Anda.

Sumber Awalan alamat Jenis hop berikutnya
Default Tag layanan Azure Databricks Internet
Default Tag layanan Azure SQL Internet
Default Tag layanan Azure Storage Internet
Default Tag layanan Azure Event Hubs Internet

Catatan

Anda dapat memilih untuk menambahkan tag layanan ID Microsoft Entra (sebelumnya Azure Active Directory) untuk memfasilitasi autentikasi ID Microsoft Entra dari kluster Azure Databricks ke sumber daya Azure.

Jika Azure Private Link diaktifkan di ruang kerja Anda, tag layanan Azure Databricks tidak diperlukan.

Tag layanan Azure Databricks mewakili alamat IP untuk koneksi keluar yang diperlukan ke sarana kontrol Azure Databricks, konektivitas kluster aman (SCC), dan aplikasi web Azure Databricks.

Tag layanan Azure SQL mewakili alamat IP untuk koneksi keluar yang diperlukan ke metastore Azure Databricks, dan tag layanan Azure Storage mewakili alamat IP untuk penyimpanan Blob artefak dan penyimpanan Blob log. Tag layanan Azure Event Hubs mewakili koneksi keluar yang diperlukan untuk pengelogan ke Azure Event Hub.

Beberapa tag layanan memungkinkan kontrol yang lebih terperinci dengan membatasi rentang IP ke wilayah tertentu. Misalnya, tabel rute untuk ruang kerja Azure Databricks di wilayah US Barat mungkin terlihat seperti:

Nama Awalan alamat Jenis hop berikutnya
adb-servicetag AzureDatabricks Internet
adb-metastore Sql.WestUS Internet
adb-storage Storage.WestUS Internet
adb-eventhub EventHub.WestUS Internet

Untuk mendapatkan tag layanan yang diperlukan untuk rute yang ditentukan pengguna, lihat Tag layanan jaringan virtual.

Mengonfigurasi rute yang ditentukan pengguna dengan alamat IP

Databricks merekomendasikan agar Anda menggunakan tag layanan Azure, tetapi jika kebijakan organisasi Anda tidak mengizinkan tag layanan, Anda dapat menggunakan alamat IP untuk menentukan kontrol akses jaringan pada rute yang ditentukan pengguna Anda.

Detailnya bervariasi berdasarkan apakah konektivitas kluster aman (SCC) diaktifkan untuk ruang kerja:

  • Jika konektivitas kluster aman diaktifkan untuk ruang kerja, Anda memerlukan UDR untuk memungkinkan kluster terhubung ke relai konektivitas kluster yang aman di bidang kontrol. Pastikan untuk menyertakan sistem yang ditandai sebagai IP relai SCC untuk wilayah Anda.
  • Jika konektivitas kluster aman dinonaktifkan untuk ruang kerja, ada koneksi masuk dari NAT Sarana Kontrol, tetapi TCP SYN-ACK tingkat rendah ke koneksi tersebut secara teknis adalah data keluar yang memerlukan UDR. Pastikan untuk menyertakan sistem yang ditandai sebagai IP NAT Sarana Kontrol untuk wilayah Anda.

Rute yang ditentukan pengguna Anda harus menggunakan aturan berikut dan mengaitkan tabel rute dengan subnet publik dan privat jaringan virtual Anda.

Sumber Awalan alamat Jenis hop berikutnya
Default IP NAT Sarana Kontrol (jika SCC dinonaktifkan) Internet
Default IP relai SCC (jika SCC diaktifkan) Internet
Default IP Webapp Internet
Default IP Metastore Internet
Default IP penyimpanan Blob Artefak Internet
Default IP penyimpanan Blob Log Internet
Default IP penyimpanan ruang kerja - Titik akhir Blob Storage Internet
Default IP penyimpanan ruang kerja - titik akhir ADLS gen2 (dfs) Internet
Default Event Hubs IP Internet

Jika Azure Private Link diaktifkan di ruang kerja Anda, rute yang ditentukan pengguna harus menggunakan aturan berikut dan mengaitkan tabel rute ke subnet publik dan privat jaringan virtual Anda.

Sumber Awalan alamat Jenis hop berikutnya
Default IP Metastore Internet
Default IP penyimpanan Blob Artefak Internet
Default IP penyimpanan Blob Log Internet
Default Event Hubs IP Internet

Untuk mendapatkan alamat IP yang diperlukan untuk rute yang ditentukan pengguna, gunakan tabel dan instruksi di wilayah Azure Databricks, khususnya: