Rekomendasi jaringan untuk Federasi Lakehouse

Artikel ini menyediakan panduan untuk menyiapkan jalur jaringan yang layak antara kluster Azure Databricks atau gudang SQL dan sistem database eksternal yang Anda sambungkan menggunakan Lakehouse Federation.

Pertimbangkan hal berikut saat Anda menyiapkan konektivitas jaringan untuk Federasi Lakehouse:

  • Semua lalu lintas jaringan untuk kueri federasi langsung antara kluster Azure Databricks (atau gudang SQL) dan sistem database eksternal. Baik Unity Catalog maupun bidang kontrol Azure Databricks tidak berada pada jalur jaringan.
  • Koneksi yang menggunakan OAuth memiliki persyaratan tambahan. Saat koneksi mengautentikasi dengan OAuth, pertukaran token OAuth terjadi dari sarana kontrol Azure Databricks, bukan bidang komputasi. Sarana kontrol harus dapat mencapai titik akhir OAuth sistem eksternal. Memasukkan hanya lapisan komputasi ke dalam daftar izin saja tidak memadai untuk koneksi ini. Untuk panduan khusus konektor, lihat bagian jaringan atau batasan halaman koneksi yang relevan, seperti Menjalankan kueri federasi di Snowflake (OAuth) atau Menjalankan kueri federasi pada Microsoft SQL Server. Koneksi HTTP merupakan pengecualian; koneksi ini mengarahkan OAuth melalui lapisan komputasi nirserver alih-alih melalui lapisan kontrol.
  • Komputasi Azure Databricks (yaitu, kluster dan gudang SQL) selalu disebarkan di cloud, tetapi sistem database eksternal dapat berada di tempat atau dihosting di penyedia cloud apa pun, selama ada jalur jaringan yang layak antara komputasi Azure Databricks dan database eksternal Anda.
  • Jika Anda memiliki pembatasan jaringan masuk atau keluar pada komputasi Azure Databricks atau sistem database eksternal, lihat bagian berikut untuk panduan umum guna membantu Anda membuat jalur jaringan yang layak.

Untuk informasi selengkapnya tentang jaringan di ruang kerja Azure Databricks, lihat Jaringan.

Sistem database dan komputasi Azure Databricks dapat diakses dari internet

Koneksi harus berfungsi tanpa konfigurasi apa pun.

Sistem database memiliki pembatasan akses jaringan

Jika sistem database eksternal memiliki pembatasan akses jaringan masuk atau keluar dan kluster Azure Databricks atau gudang SQL dapat diakses dari internet, konfigurasikan salah satu solusi jaringan berikut untuk terhubung dari sumber daya komputasi klasik:

  • IP keluar yang stabil pada komputasi Azure Databricks.

    Dari bidang komputasi klasik, siapkan alamat IP stabil dengan load balancer, gateway NAT, gateway internet, atau yang setara, dan sambungkan ke subnet tempat komputasi Azure Databricks disebarkan. Ini memungkinkan sumber daya komputasi untuk berbagi alamat IP publik yang stabil yang dapat diizinkan di sisi database eksternal.

  • Private Link (hanya ketika database eksternal berada di cloud yang sama dengan komputasi Azure Databricks)

    Dari bidang komputasi klasik, konfigurasikan koneksi Private Link antara jaringan tempat database disebarkan dan jaringan tempat komputasi Azure Databricks disebarkan.

Dari lingkungan komputasi tanpa server, Azure Private Link untuk konektor SQL Server didukung. Lihat Membuat aturan titik akhir privat.

Komputasi Azure Databricks memiliki pembatasan akses jaringan

Jika sistem database eksternal dapat diakses dari Internet dan komputasi Azure Databricks memiliki pembatasan akses jaringan masuk atau keluar (yang hanya dimungkinkan jika Anda berada di jaringan yang dikelola pelanggan), maka lakukan salah satu konfigurasi berikut:

  • Tambahkan nama host dari basis data eksternal ke dalam aturan firewall di subnet tempat komputasi Azure Databricks diterapkan.

    Jika Anda memilih untuk mengizinkan daftar alamat IP database eksternal daripada nama host, pastikan database eksternal memiliki alamat IP yang stabil.

  • Private Link (hanya ketika database eksternal berada di cloud yang sama dengan komputasi Azure Databricks)

    Konfigurasikan koneksi Private Link antara jaringan tempat database disebarkan dan jaringan tempat komputasi Azure Databricks disebarkan.

Komputasi Azure Databricks memiliki server DNS kustom

Jika sistem database eksternal dapat diakses dari Internet dan komputasi Azure Databricks memiliki server DNS kustom (yang hanya dimungkinkan jika Anda berada di jaringan yang dikelola pelanggan), tambahkan nama host sistem database ke server DNS kustom Anda sehingga dapat diselesaikan.

Pertimbangan jaringan Snowflake

  • Jika komputasi Azure Databricks tidak dapat mencapai responden Snowflake OCSP, upaya koneksi dapat gagal selama validasi sertifikat. Sebaiknya izinkan lalu lintas keluar menuju responder OCSP Snowflake. Jika konfigurasi restricted-egress atau konektivitas privat Anda tidak dapat mengizinkan lalu lintas tersebut, atur opsi koneksi Snowflake disableOCSPChecks menjadi true. Lihat Opsi koneksi tingkat lanjut.
  • Last updated on