Compute
Komputasi Azure Databricks mengacu pada pemilihan sumber daya komputasi yang tersedia di ruang kerja Azure Databricks. Pengguna memerlukan akses ke komputasi untuk menjalankan beban kerja rekayasa data, ilmu data, dan analitik data, seperti alur ETL produksi, analitik streaming, analitik ad-hoc, dan pembelajaran mesin.
Pengguna dapat tersambung ke komputasi yang sudah ada atau membuat komputasi baru jika mereka memiliki izin yang tepat.
Anda dapat melihat komputasi yang dapat Anda akses menggunakan bagian Komputasi ruang kerja:
Jenis komputasi
Ini adalah jenis komputasi yang tersedia di Azure Databricks:
Komputasi tanpa server untuk notebook (Pratinjau Umum): Komputasi sesuai permintaan, dapat diskalakan yang digunakan untuk menjalankan kode SQL dan Python di notebook.
Komputasi tanpa server untuk alur kerja (Pratinjau Umum): Komputasi sesuai permintaan dan dapat diskalakan yang digunakan untuk menjalankan pekerjaan Databricks Anda tanpa mengonfigurasi dan menyebarkan infrastruktur.
Komputasi All-Purpose: Komputasi yang disediakan digunakan untuk menganalisis data di notebook. Anda dapat membuat, mengakhiri, dan memulai ulang komputasi ini menggunakan UI, CLI, atau REST API.
Komputasi pekerjaan: Komputasi yang disediakan digunakan untuk menjalankan pekerjaan otomatis. Penjadwal pekerjaan Azure Databricks secara otomatis membuat komputasi pekerjaan setiap kali pekerjaan dikonfigurasi untuk berjalan pada komputasi baru. Komputasi berakhir ketika pekerjaan selesai. Anda tidak dapat memulai ulang komputasi pekerjaan. Lihat Menggunakan komputasi Azure Databricks dengan pekerjaan Anda.
Kumpulan instans: Komputasi dengan instans yang menganggur dan siap digunakan, digunakan untuk mengurangi waktu mulai dan penskalaan otomatis. Anda dapat membuat komputasi ini menggunakan UI, CLI, atau REST API.
Gudang SQL tanpa server: Komputasi elastis sesuai permintaan yang digunakan untuk menjalankan perintah SQL pada objek data di editor SQL atau notebook interaktif. Anda dapat membuat gudang SQL menggunakan UI, CLI, atau REST API.
Gudang SQL klasik: Digunakan untuk menjalankan perintah SQL pada objek data di editor SQL atau notebook interaktif. Anda dapat membuat gudang SQL menggunakan UI, CLI, atau REST API.
Artikel di bagian ini menjelaskan cara bekerja dengan sumber daya komputasi menggunakan antarmuka pengguna Azure Databricks. Untuk metode lain, lihat Menggunakan baris perintah dan referensi Databricks REST API.
Runtime databricks
Databricks Runtime adalah kumpulan komponen inti yang berjalan pada komputasi Anda. Databricks Runtime adalah pengaturan yang dapat dikonfigurasi dalam semua tujuan komputasi pekerjaan tetapi dipilih secara otomatis di gudang SQL.
Setiap versi Databricks Runtime mencakup pembaruan yang meningkatkan kegunaan, performa, dan keamanan analitik big data. Databricks Runtime pada komputasi Anda menambahkan banyak fitur, termasuk:
- Delta Lake, lapisan penyimpanan generasi berikutnya yang dibangun di atas Apache Spark yang menyediakan transaksi ACID, tata letak dan indeks yang dioptimalkan, dan peningkatan mesin eksekusi untuk membangun alur data. Harap lihat Apa itu Delta Lake?.
- Pustaka Java, Scala, Python, dan R yang diinstal.
- Ubuntu dan pustaka sistem yang menyertainya.
- Pustaka GPU untuk kluster dengan dukungan GPU.
- Layanan Azure Databricks yang terintegrasi dengan komponen platform lain, seperti notebook, pekerjaan, dan manajemen kluster.
Untuk informasi tentang konten setiap versi runtime, lihat catatan rilis.
Penerapan versi {i>runtime
Versi Databricks Runtime dirilis secara teratur:
- Versi Dukungan Jangka Panjang diwakili oleh kualifikasi LTS (misalnya, 3,5 LTS). Untuk setiap rilis utama, kami mendeklarasikan versi fitur "kanonis", yang kami berikan dukungan tiga tahun penuh. Lihat Siklus hidup dukungan runtime Databricks untuk informasi selengkapnya.
- Versi utama diwakili oleh tahapan nomor versi yang mendahului titik desimal (lompatan dari 3,5 ke 4,0, misalnya). Mereka dirilis ketika ada perubahan besar, beberapa di antaranya mungkin tidak kompatibel dengan ke belakang.
- Versi fitur diwakili oleh tahapan nomor versi yang mengikuti titik desimal (lompatan dari 3,4 ke 3,5, misalnya). Setiap rilis utama mencakup beberapa rilis fitur. Rilis fitur selalu kompatibel dengan rilis sebelumnya dalam rilis utama mereka.
Versi Databricks Runtime dirilis secara teratur:
- Versi Dukungan Jangka Panjang diwakili oleh kualifikasi LTS (misalnya, 3,5 LTS). Untuk setiap rilis utama, kami mendeklarasikan versi fitur "kanonis", yang kami berikan dukungan tiga tahun penuh. Lihat Siklus hidup dukungan runtime Databricks untuk informasi selengkapnya.
- Versi utama diwakili oleh tahapan nomor versi yang mendahului titik desimal (lompatan dari 3,5 ke 4,0, misalnya). Mereka dirilis ketika ada perubahan besar, beberapa di antaranya mungkin tidak kompatibel dengan ke belakang.
- Versi fitur diwakili oleh tahapan nomor versi yang mengikuti titik desimal (lompatan dari 3,4 ke 3,5, misalnya). Setiap rilis utama mencakup beberapa rilis fitur. Rilis fitur selalu kompatibel dengan rilis sebelumnya dalam rilis utama mereka.