Menghubungkan Ruang Kerja Azure Databricks ke Jaringan Lokal Anda
Artikel ini menunjukkan cara membuat konektivitas dari ruang kerja Azure Databricks Anda ke jaringan lokal Anda. Lalu lintas dialihkan melalui jaringan virtual transit (VNet) ke jaringan lokal, menggunakan topologi hub-and-spoke berikut.
Jika Anda memerlukan bantuan setelah panduan ini, hubungi tim akun Microsoft dan Databricks Anda.
Persyaratan
Ruang kerja Azure Databricks Anda harus disebarkan di jaringan virtual Anda sendiri, juga dikenal sebagai injeksi VNet.
Langkah 1: Menyiapkan jaringan virtual transit dengan Azure Virtual Network Gateway
Anda memerlukan Azure Virtual Network Gateway (ExpressRoute atau VPN) di VNet transit, dikonfigurasi menggunakan salah satu metode ini. Jika Anda sudah memiliki gateway yang sesuai, lewati ke Serekan jaringan virtual Azure Databricks dengan jaringan virtual transit.
Jika Anda sudah menyiapkan ExpressRoute antara jaringan lokal Anda dan Azure, ikuti prosedur di Mengonfigurasi gateway jaringan virtual untuk ExpressRoute menggunakan portal Microsoft Azure.
Jika tidak, ikuti langkah 1-5 di Konfigurasikan hubungan gateway VPN VNet-ke-VNet dengan menggunakan portal Microsoft Azure.
Jika Anda memerlukan bantuan, hubungi tim akun Microsoft Anda.
Langkah 2: Rekani jaringan virtual Azure Databricks dengan jaringan virtual transit
Jika ruang kerja Azure Databricks Anda berada di VNet yang sama dengan Gateway Jaringan Virtual, lewati untuk Membuat rute yang ditentukan pengguna dan kaitkan dengan subnet jaringan virtual Azure Databricks Anda.
Jika tidak, ikuti petunjuk di Jaringan virtual serekan untuk mengintip VNet Azure Databricks ke VNet transit, memilih opsi berikut:
- Gunakan Gateway Jarak Jauh di sisi VNet Azure Databricks.
- Izinkan Transit Gateway di sisi VNet Transit.
Untuk detailnya, lihat Membuat serekan.
Catatan
Jika koneksi jaringan lokal Anda ke Azure Databricks tidak berfungsi dengan pengaturan di atas, Anda juga dapat memilih opsi Izinkan Lalu Lintas yang Diteruskan di kedua sisi rekan untuk menyelesaikan masalah.
Untuk informasi tentang mengonfigurasi transit gateway VPN untuk rekan jaringan virtual, lihat Mengonfigurasi transit gateway VPN untuk rekan jaringan virtual.
.Langkah ke-3: Buat rute yang ditentukan pengguna dan hubungkan dengan subnet jaringan virtual Azure Databricks Anda
Setelah Anda mengintip VNet Azure Databricks dengan VNet transit, Azure secara otomatis mengonfigurasi semua rute menggunakan VNet transit. Konfigurasi otomatis tidak menyertakan rute pengembalian dari node kluster ke sarana kontrol Azure Databricks. Anda harus membuat rute kustom ini secara manual, menggunakan rute yang ditentukan pengguna.
Membuat tabel rute, aktifkan propagasi rute BGP.
Catatan
Dalam beberapa kasus, propagasi rute BGP menyebabkan kegagalan saat memvalidasi penyiapan koneksi jaringan lokal. Sebagai upaya terakhir, Anda dapat menonaktifkan propagasi rute BGP.
Tambahkan rute yang ditentukan pengguna untuk layanan berikut, menggunakan instruksi di Rute kustom.
Jika konektivitas kluster aman (SCC) diaktifkan untuk ruang kerja, gunakan IP relai SCC daripada bidang kontrol NAT IP.
Sumber Awalan alamat Jenis hop berikutnya Default IP NAT Sarana Kontrol
(Hanya jika SCC dinonaktifkan)Internet Default IP relai SCC
(Hanya jika SCC diaktifkan)Internet Default IP Webapp Internet Default IP infrastruktur yang diperluas Internet Default IP Metastore Internet Default IP penyimpanan Blob Artefak Internet Default IP penyimpanan Blob Log Internet Default IP penyimpanan akar DBFS (ADLS) Internet Default IP penyimpanan akar DBFS (Blob) untuk ruang kerja yang dibuat sebelum 6 Maret 2023. Internet Untuk mendapatkan alamat IP untuk masing-masing layanan ini, ikuti petunjuk di pengaturan rute yang ditentukan pengguna untuk Azure Databricks.
Jika rute berbasis IP gagal saat memvalidasi penyiapan, Anda dapat membuat titik akhir layanan untuk Microsoft.Storage untuk merutekan semua lalu lintas penyimpanan akar DBFS melalui backbone Azure. Jika Anda menggunakan pendekatan ini, Anda tidak perlu membuat rute yang ditentukan pengguna untuk penyimpanan akar DBFS.
Catatan
Untuk mengakses layanan data PaaS Azure lainnya, seperti Cosmos DB atau Azure Synapse Analytics, dari Azure Databricks, Anda harus menambahkan rute yang ditentukan pengguna untuk layanan tersebut ke tabel rute. Selesaikan setiap titik akhir ke alamat IP-nya menggunakan
nslookupatau perintah yang setara.Kaitkan tabel rute dengan subnet publik dan privat Azure Databricks VNet Anda, menggunakan instruksi di Mengaitkan tabel rute ke subnet.
Setelah tabel rute kustom dikaitkan dengan subnet VNet Azure Databricks Anda, Anda tidak perlu mengedit aturan keamanan keluar di grup keamanan jaringan. Misalnya, Anda tidak perlu membuat aturan keluar lebih spesifik, karena rute akan mengontrol jalan keluar yang sebenarnya.
Langkah 4: Validasi pengaturan
Untuk memvalidasi penyiapan:
Buat kluster di ruang kerja Azure Databricks Anda.
Jika membuat kluster gagal, baca instruksi penyiapan, coba opsi konfigurasi alternatif satu per satu.
Jika Anda masih tidak dapat membuat kluster, verifikasi bahwa tabel rute mencakup semua rute yang ditentukan pengguna yang diperlukan. Jika Anda menggunakan titik akhir layanan daripada rute yang ditentukan pengguna untuk ADLS gen2 (untuk ruang kerja yang dibuat sebelum 6 Maret 2023, Azure Blob Storage), periksa titik akhir tersebut juga.
Jika Anda masih tidak dapat membuat kluster, hubungi tim akun Microsoft dan Databricks untuk mendapatkan bantuan.
Ping IP lokal dari buku catatan menggunakan perintah berikut:
%sh ping <IP>
Untuk bantuan lebih lanjut tentang pemecahan masalah, lihat sumber daya ini:
Langkah konfigurasi opsional
Opsi: Merutekan lalu lintas Azure Databricks menggunakan alat virtual atau firewall
Anda dapat memfilter semua lalu lintas keluar dari node kluster Azure Databricks menggunakan firewall atau alat DLP, seperti Azure Firewall, Palo Alto, atau Barracuda. Hal ini memungkinkan Anda untuk memeriksa lalu lintas keluar untuk memenuhi kebijakan keamanan, dan untuk menambahkan IP publik seperti NAT tunggal atau CIDR untuk semua kluster ke daftar yang diizinkan.
Sesuaikan langkah-langkah ini sesuai kebutuhan untuk firewall atau alat DLP Anda:
Siapkan alat virtual atau firewall di dalam VNet transit, menggunakan instruksi di Buat NVA.
Jika Anda memerlukan konfigurasi firewall tunggal untuk beberapa ruang kerja, Anda dapat membuat firewall di subnet aman atau DMZ dalam VNet Azure Databricks, yang terpisah dari subnet pribadi dan publik yang ada.
Buat rute tambahan di tabel rute kustom ke 0.0.0.0/0.
Atur jenis hop berikutnya ke "Alat Virtual".
Set alamat hop berikutnya.
Jangan hapus rute yang Anda buat di Langkah 3: Buat rute yang ditentukan pengguna dan kaitkan dengan subnet jaringan virtual Azure Databricks Anda, dengan satu pengecualian: Jika semua lalu lintas Blob perlu dirutekan melalui firewall, Anda dapat menghapus rute untuk lalu lintas Blob.
Jika Anda menggunakan pendekatan subnet aman atau DMZ, Anda dapat membuat tabel rute tambahan yang hanya terkait dengan subnet DMZ. Di tabel rute itu, buat rute ke 0.0.0.0.
Atur jenis hop berikutnya rute itu ke Internet jika lalu lintas ditakdirkan untuk jaringan publik, atau ke Virtual Network Gateway jika lalu lintas ditakdirkan untuk jaringan lokal.
Konfigurasikan izinkan dan tolak aturan di appliance firewall.
Jika Anda menghapus rute untuk penyimpanan Blob, tambahkan rute tersebut ke daftar izinkan di firewall.
Jika kluster Anda bergantung pada repositori publik, seperti repositori sistem operasi atau registri kontainer, tambahkan ke daftar yang diizinkan.
Untuk informasi tentang daftar izinkan, lihat Pengaturan rute yang ditentukan pengguna untuk Azure Databricks.
Opsi: Mengonfigurasi DNS kustom
Anda dapat menggunakan DNS dengan ruang kerja Azure Databricks yang disebarkan di jaringan virtual Anda sendiri. Lihat artikel Microsoft berikut untuk informasi selengkapnya tentang cara mengonfigurasi DNS kustom untuk jaringan virtual Azure:
.. Penting: Untuk menyelesaikan alamat IP untuk artefak Azure, Anda harus mengonfigurasi DNS kustom Anda untuk meneruskan permintaan ini ke penyelesai rekursif Azure.