Gambaran umum arsitektur Azure Databricks

Artikel ini memberikan gambaran umum tingkat tinggi tentang arsitektur Azure Databricks, termasuk arsitektur perusahaannya, dalam kombinasi dengan Azure.

Arsitektur tingkat tinggi

Azure Databricks beroperasi di luar sarana kontrol dan sarana komputasi.

• Sarana kontrol mencakup layanan backend yang dikelola Azure Databricks di akun Azure Databricks Anda. Aplikasi web berada di sarana kontrol.

• Bidang komputasi adalah tempat data Anda diproses. Ada dua jenis bidang komputasi tergantung pada komputasi yang Anda gunakan.

  • Untuk komputasi tanpa server, sumber daya komputasi tanpa server berjalan di bidang komputasi tanpa server di akun Azure Databricks Anda.
  • Untuk komputasi Azure Databricks klasik, sumber daya komputasi ada di langganan Azure Anda dalam apa yang disebut bidang komputasi klasik. Ini mengacu pada jaringan di langganan Azure Anda dan sumber dayanya.

  Untuk mempelajari selengkapnya tentang komputasi klasik dan komputasi tanpa server, lihat Jenis komputasi.

Setiap ruang kerja Azure Databricks memiliki akun penyimpanan terkait yang dikenal sebagai akun penyimpanan ruang kerja. Akun penyimpanan ruang kerja ada di langganan Azure Anda.

Diagram berikut menjelaskan arsitektur Azure Databricks secara keseluruhan.

Bidang komputasi tanpa server

Di bidang komputasi tanpa server, sumber daya komputasi Azure Databricks berjalan di lapisan komputasi dalam akun Azure Databricks Anda. Azure Databricks membuat bidang komputasi tanpa server di wilayah Azure yang sama dengan bidang komputasi klasik ruang kerja Anda. Anda memilih wilayah ini saat membuat ruang kerja.

Untuk melindungi data pelanggan dalam bidang komputasi tanpa server, komputasi tanpa server berjalan dalam batas jaringan untuk ruang kerja, dengan berbagai lapisan keamanan untuk mengisolasi ruang kerja pelanggan Azure Databricks yang berbeda dan kontrol jaringan tambahan antara kluster pelanggan yang sama.

Untuk mempelajari selengkapnya tentang jaringan di bidang komputasi tanpa server, jaringan sarana komputasi tanpa server.

Bidang komputasi klasik

Di bidang komputasi klasik, sumber daya komputasi Azure Databricks berjalan di langganan Azure Anda. Sumber daya komputasi baru dibuat dalam jaringan virtual setiap ruang kerja di langganan Azure pelanggan.

Bidang komputasi klasik memiliki isolasi alami karena berjalan di langganan Azure masing-masing pelanggan sendiri. Untuk mempelajari selengkapnya tentang jaringan di bidang komputasi klasik, lihat Jaringan sarana komputasi klasik.

Untuk dukungan regional, lihat Wilayah Azure Databricks.

Akun penyimpanan ruang kerja

Saat Anda membuat ruang kerja, Azure Databricks membuat akun di langganan Azure Anda untuk digunakan sebagai akun penyimpanan ruang kerja.

Akun penyimpanan ruang kerja berisi:

• Data sistem ruang kerja: Data sistem ruang kerja dihasilkan saat Anda menggunakan berbagai fitur Azure Databricks seperti membuat buku catatan. Wadah ini mencakup revisi buku catatan, detail eksekusi pekerjaan, hasil perintah, dan log Spark
• DBFS: DBFS (Databricks File System) adalah sistem file terdistribusi di lingkungan Azure Databricks yang dapat diakses di bawah dbfs:/ namespace. Pemasangan Akar DBFS dan DBFS keduanya berada di dbfs:/ namespace layanan. Menyimpan dan mengakses data menggunakan pemasangan Akar DBFS atau DBFS adalah pola yang tidak digunakan lagi dan tidak direkomendasikan oleh Databricks. Untuk informasi selengkapnya, lihat Apa itu DBFS?.
• Katalog ruang kerja Katalog Unity: Jika ruang kerja Anda diaktifkan untuk Katalog Unity secara otomatis, akun penyimpanan ruang kerja berisi katalog ruang kerja default. Semua pengguna di ruang kerja Anda dapat membuat aset dalam skema default di katalog ini. Lihat Menyiapkan dan mengelola Katalog Unity.

Untuk membatasi akses ke akun penyimpanan ruang kerja Anda hanya dari sumber daya dan jaringan resmi, lihat Mengaktifkan dukungan firewall untuk akun penyimpanan ruang kerja Anda.