Jaringan

Artikel ini memperkenalkan konfigurasi jaringan untuk penyebaran dan manajemen akun dan ruang kerja Azure Databricks.

Nota

Azure Databricks membebankan biaya jaringan saat beban kerja tanpa server tersambung ke sumber daya pelanggan. Lihat Pahami biaya jaringan tanpa server Databricks.

Gambaran umum arsitektur Azure Databricks

Azure Databricks beroperasi di luar sarana kontrol dan sarana komputasi.

• Sarana kontrol mencakup layanan backend yang dikelola Azure Databricks di akun Azure Databricks Anda. Aplikasi web berada di sarana kontrol.
• bidang komputasi adalah tempat data Anda diproses. Ada dua jenis bidang komputasi tergantung pada komputasi yang Anda gunakan.
  • Untuk komputasi Azure Databricks klasik, sumber daya komputasi ada di langganan Azure Anda dalam apa yang disebut bidang komputasi klasik. Ini mengacu pada jaringan di langganan Azure Anda dan sumber dayanya. Sumber daya bidang komputasi klasik berada di wilayah tempat ruang kerja Anda berada.
  • Untuk komputasi tanpa server, sumber daya komputasi tanpa server berjalan di bidang komputasi tanpa server di akun Azure Databricks Anda. Sumber daya bidang komputasi tanpa server berada di wilayah cloud yang sama dengan bidang komputasi klasik ruang kerja Anda. Anda memilih wilayah ini saat membuat ruang kerja.

Untuk mempelajari selengkapnya tentang komputasi klasik dan komputasi tanpa server, lihat Komputasi. Untuk informasi arsitektur tambahan, lihat Arsitektur tingkat tinggi.

Mengamankan konektivitas jaringan

Azure Databricks menyediakan lingkungan jaringan yang aman secara default, tetapi jika organisasi Anda memiliki kebutuhan tambahan, Anda dapat mengonfigurasi fitur konektivitas jaringan antara berbagai koneksi jaringan yang ditunjukkan pada diagram di bawah ini.

1. Pengguna dan aplikasi ke Azure Databricks: Anda dapat mengonfigurasi fitur untuk mengontrol akses dan menyediakan konektivitas privat antara pengguna dan ruang kerja Azure Databricks mereka. Lihat Akses Jaringan untuk Pengguna Azure Databricks.
2. Sarana kontrol dan sarana komputasi klasik: Sumber daya komputasi klasik, seperti kluster, disebarkan dalam langganan Azure Anda dan terhubung ke sarana kontrol. Anda dapat menggunakan fitur konektivitas jaringan klasik untuk menyebarkan sumber daya sarana komputasi klasik di jaringan virtual Anda sendiri dan untuk mengaktifkan konektivitas privat dari kluster ke sarana kontrol. Lihat Jaringan bidang komputasi klasik.
3. Bidang komputasi dan penyimpanan tanpa server: Anda dapat mengonfigurasi koneksi privat dan khusus dari komputasi tanpa server ke penyimpanan. Lihat Jaringan sarana komputasi tanpa server.

Anda dapat mengonfigurasi fitur jaringan penyimpanan Azure, seperti titik akhir privat untuk mengamankan koneksi antara bidang komputasi klasik dan sumber daya Azure Anda. Lihat Memberikan akses ruang kerja Azure Databricks Anda ke Azure Data Lake Storage dan Rekomendasi jaringan untuk Federasi Lakehouse.

Anda juga dapat mengaktifkan dukungan firewall untuk akun penyimpanan ruang kerja untuk membatasi akses ke akun dari jaringan dan koneksi yang diotorisasi. Lihat Mengaktifkan dukungan firewall untuk akun penyimpanan ruang kerja Anda.

Konektivitas antara sarana kontrol dan bidang komputasi tanpa server selalu melalui tulang punggung jaringan Azure dan bukan internet publik.

Get started

Pahami arsitektur jaringan Databricks dan jelajahi konsep utama.

Topik	Description
Gambaran umum arsitektur Databricks	Pelajari tentang sarana kontrol dan arsitektur sarana komputasi yang membentuk fondasi jaringan Databricks.
Azure Private Link	Buat koneksi privat antara jaringan Anda dan Databricks menggunakan Azure Private Link untuk keamanan yang ditingkatkan.
Memahami biaya transfer data dan konektivitas	Pelajari tentang harga transfer data dan optimalkan biaya untuk fitur konektivitas jaringan.

Connectivity

Konfigurasikan koneksi jaringan yang aman untuk akses masuk ke ruang kerja dan konektivitas keluar dari sumber daya komputasi.

Topik	Description
Jaringan front-end	Konfigurasikan kontrol akses jaringan untuk pengguna yang terhubung ke ruang kerja Databricks melalui antarmuka web dan API.
Front-end Private Link	Aktifkan konektivitas privat dari jaringan perusahaan Anda ke ruang kerja Databricks menggunakan Azure Private Link.
Jaringan sarana komputasi tanpa server	Konfigurasikan akses jaringan yang aman antara sumber daya komputasi tanpa server dan sumber data dan layanan Anda.
Konektivitas privat ke sumber daya Azure	Buat koneksi privat dari komputasi tanpa server ke Azure Storage, SQL Database, dan layanan Azure lainnya.
Konektivitas privat ke sumber daya di VNet Anda	Sambungkan komputasi tanpa server ke sumber daya yang berjalan di VNet Anda sendiri menggunakan titik akhir privat.
Mengelola aturan titik akhir privat	Mengonfigurasi dan mengelola aturan titik akhir privat untuk konektivitas komputasi tanpa server.
Jaringan sarana komputasi klasik	Pelajari tentang opsi jaringan untuk sumber daya komputasi klasik yang disebarkan di jaringan virtual Anda.
Menyebarkan Azure Databricks di VNet Anda	Host kluster Databricks di Azure VNet Anda sendiri untuk kontrol jaringan yang lebih baik (injeksi VNet).
Jaringan virtual sebaya	Sambungkan Databricks VNet Anda ke VNet lain di langganan Azure Anda untuk mengakses sumber daya tambahan.
Menyambungkan ruang kerja ke jaringan lokal	Perluas jaringan perusahaan Anda ke Databricks menggunakan VPN atau Azure ExpressRoute.
Back-end Private Link	Membangun konektivitas privat antara sumber daya komputasi klasik dan sarana kontrol Databricks.
Pengaturan rute yang ditentukan pengguna	Konfigurasikan rute yang ditentukan pengguna (UDR) untuk mengontrol arus lalu lintas dari kluster Databricks.
Memperbarui konfigurasi jaringan ruang kerja	Ubah konfigurasi jaringan untuk ruang kerja yang ada.
Konektivitas kluster yang aman	Aktifkan konektivitas keluar saja dari kluster ke plane kontrol tanpa port masuk yang terbuka.

Keamanan jaringan

Terapkan kontrol keamanan untuk membatasi dan memantau akses jaringan.

Topik	Description
Apa itu kontrol keluar tanpa server?	Batasi koneksi jaringan keluar dari sumber daya komputasi tanpa server untuk mencegah eksfiltrasi data dan menerapkan kepatuhan.
Mengelola kebijakan jaringan untuk kontrol keluar tanpa server	Membuat dan mengelola kebijakan jaringan yang menentukan koneksi keluar yang diizinkan dari komputasi tanpa server.
Gambaran umum daftar akses IP	Pelajari cara menggunakan daftar akses IP untuk mengontrol alamat IP mana yang dapat mengakses ruang kerja Databricks Anda.
Daftar akses IP untuk ruang kerja	Konfigurasikan kontrol akses IP tingkat ruang kerja untuk membatasi akses dari jaringan yang disetujui.
Daftar akses IP untuk konsol akun	Atur pembatasan IP tingkat akun yang berlaku di beberapa ruang kerja untuk manajemen keamanan terpusat.
Mengonfigurasi kebijakan titik akhir layanan untuk akses penyimpanan	Gunakan titik akhir layanan Azure untuk mengamankan konektivitas antara akun Databricks dan Azure Storage.
Mengaktifkan dukungan firewall untuk akun penyimpanan ruang kerja Anda	Konfigurasikan aturan firewall Azure Storage untuk mengizinkan akses dari sumber daya komputasi klasik Databricks.
Mengonfigurasi firewall Azure Storage untuk akses komputasi tanpa server	Gunakan tag layanan yang stabil untuk mengonfigurasi aturan firewall Azure Storage untuk konektivitas komputasi tanpa server.
Aturan firewall nama domain	Konfigurasikan aturan firewall berbasis domain untuk mengizinkan layanan Databricks melalui kontrol keamanan jaringan Anda.
Templat ARM untuk dukungan firewall	Gunakan templat Azure Resource Manager untuk mengotomatiskan konfigurasi firewall untuk akun penyimpanan ruang kerja.