Mengonfigurasi jaringan untuk Aplikasi Databricks

Aplikasi Databricks mendukung kontrol jaringan yang terperinci untuk membantu Anda mengamankan dan mengelola cara aplikasi berkomunikasi dengan internet dan sumber daya internal. Anda dapat mengonfigurasi aturan lalu lintas masuk (masuk) dan keluar (keluar) menggunakan kombinasi daftar akses IP, konektivitas privat front-end, dan kebijakan jaringan.

Arsitektur jaringan

Azure Databricks menyebarkan aplikasi di bidang komputasi tanpa server, tempat mereka menerima lalu lintas secara langsung. Ini mirip dengan layanan lain yang dioptimalkan untuk rute seperti Pelayanan Model dan Pencarian Vektor.

Proses koneksi beroperasi sebagai berikut:

1. Permintaan pengguna awal ke aplikasi Azure Databricks memulai autentikasi OAuth dengan sarana kontrol untuk memvalidasi sesi dan mengotorisasi akses ke aplikasi.
2. Setelah autentikasi berhasil, semua permintaan berikutnya dirutekan langsung ke bidang komputasi tanpa server tanpa melintasi sarana kontrol.

Kebijakan keamanan jaringan yang dikonfigurasi untuk bidang komputasi tanpa server berlaku untuk lalu lintas Databricks Apps. Ini termasuk daftar akses IP dan konfigurasi konektivitas privat front-end.

Kontrol Ingress

Gunakan fitur berikut untuk membatasi akses ke ruang kerja dan aplikasi Azure Databricks Anda dari internet publik.

• Daftar akses IP: Batasi akses ruang kerja dan aplikasi ke rentang IP yang diketahui dan tepercaya dengan mengaktifkan daftar akses IP di tingkat ruang kerja. Hanya lalu lintas dari rentang IP yang dikonfigurasi yang diizinkan. Untuk detailnya, lihat Mengonfigurasi daftar akses IP untuk ruang kerja.

• Konektivitas privat front-end: Rutekan lalu lintas masuk melalui koneksi Azure Private Link untuk mengakses aplikasi dengan aman melalui VNet Anda.

  Anda harus mengonfigurasi penerusan DNS bersyarat untuk databricksapps.com domain guna memastikan resolusi nama yang tepat melalui koneksi privat Anda. Jika tidak, kueri DNS untuk domain aplikasi Anda mungkin diselesaikan ke alamat IP publik alih-alih titik akhir privat. Untuk instruksi penyiapan, lihat Mengonfigurasi Private Link Front-end.

Kontrol keluar

Untuk mengontrol lalu lintas keluar dari aplikasi Anda, buat konfigurasi konektivitas jaringan (NCC) dan terapkan kebijakan jaringan ke ruang kerja yang menghosting aplikasi.

Konfigurasi konektivitas jaringan

Gunakan konfigurasi konektivitas jaringan untuk menyambungkan aplikasi Anda dengan aman ke layanan Azure. NCC menyediakan ID subnet stabil yang dapat Anda tambahkan ke firewall akun penyimpanan untuk secara eksplisit mengizinkan akses dari aplikasi Anda dan komputasi tanpa server lainnya.

Untuk lebih membatasi lalu lintas keluar ke tujuan privat, konfigurasikan titik akhir privat tanpa server untuk sumber daya Azure atau rutekan lalu lintas melalui load balancer Azure di VNet Anda.

Kebijakan jaringan

Gunakan kebijakan jaringan untuk memberlakukan pembatasan keluar pada aplikasi Databricks dan beban kerja tanpa server lainnya. Ini berguna ketika Anda perlu memenuhi persyaratan organisasi atau kepatuhan untuk mengontrol konektivitas keluar.

Nota

Kebijakan jaringan hanya tersedia di tingkat Premium.

Terapkan kebijakan jaringan jika aplikasi Anda:

• Harus membatasi akses ke sekumpulan domain eksternal tertentu yang disetujui
• Perlu mencegah penyelundupan data yang tidak disengaja
• Harus mematuhi standar keamanan atau kepatuhan yang membatasi lalu lintas internet keluar

Praktik terbaik untuk mengonfigurasi kebijakan jaringan

Ikuti panduan ini untuk menghindari gangguan yang tidak diinginkan dan pastikan bahwa aplikasi Anda dapat mengakses sumber daya yang diperlukan:

• Izinkan hanya tujuan yang diperlukan. Tambahkan nama domain yang sepenuhnya memenuhi syarat (FQDN) untuk sumber daya publik atau privat yang dibutuhkan aplikasi Anda.
• Sertakan repositori paket sesuai kebutuhan. Jika aplikasi Anda menginstal paket Python atau Node.js publik, Anda mungkin mengizinkan domain seperti pypi.org untuk Python, atau registry.npmjs.org untuk Node. Aplikasi Anda mungkin memerlukan domain tambahan atau berbeda tergantung pada dependensi spesifik Anda. Tanpa repositori ini, build aplikasi yang mengandalkan requirements.txt atau package.json mungkin gagal.
• Gunakan mode dry-run untuk memvalidasi kebijakan jaringan Anda. Mode ini mensimulasikan penegakan kebijakan tanpa memblokir lalu lintas.
• Tinjau upaya koneksi yang ditolak menggunakan tabel system.access.outbound_network. Ini membantu Anda mengidentifikasi domain yang mungkin perlu Anda izinkan. Lihat Memeriksa log penolakan.

• Tambahkan domain eksternal yang diperlukan, seperti API tepercaya atau akun penyimpanan Azure yang tidak terdaftar di Katalog Unity.

Enkripsi dan perutean lalu lintas

Aplikasi Databricks menggunakan jalur perutean khusus dan beberapa lapisan enkripsi untuk mengamankan komunikasi jaringan dan melindungi data.

Perutean lalu lintas

Lalu lintas antara sarana kontrol Azure Databricks, sarana komputasi, sumber daya Azure Databricks lainnya, dan layanan cloud melakukan perjalanan melalui jaringan global penyedia cloud dan tidak melintasi internet publik.

Lalu lintas antara pengguna dan databricksapps.com mungkin melintasi internet publik tergantung pada lokasi jaringan pengguna. Untuk menghindari perutean internet publik, konfigurasikan konektivitas privat front-end.

Enkripsi saat transit

Semua komunikasi jaringan ke dan dari aplikasi dienkripsi:

• Lalu lintas pengguna: Komunikasi antara pengguna dan databricksapps.com menggunakan enkripsi Transport Layer Security (TLS) 1.3.
• Lalu lintas sarana kontrol: Komunikasi antara sarana kontrol Azure Databricks dan bidang komputasi menggunakan TLS bersama (mTLS) untuk operasi manajemen termasuk pembuatan, pembaruan, dan penghapusan aplikasi.

Enkripsi saat tidak aktif

Databricks Apps mengenkripsi data yang disimpan menggunakan metode berikut:

• Kode aplikasi: Azure Databricks menyimpan kode aplikasi dalam file ruang kerja dan menggunakan enkripsi yang sama dengan notebook dan file ruang kerja lainnya.
• Penyimpanan komputasi: Aplikasi menggunakan disk sistem operasi host ephemeral yang dienkripsi dengan AES-256 dan implementasi enkripsi default penyedia cloud.