Batas konkurensi dan antrean di Microsoft Fabric Spark
Berlaku untuk:
Rekayasa Data dan Ilmu Data di Microsoft Fabric
Microsoft Fabric memungkinkan alokasi unit komputasi melalui kapasitas, yang merupakan sekumpulan sumber daya khusus yang tersedia pada waktu tertentu untuk digunakan. Kapasitas mendefinisikan kemampuan sumber daya untuk melakukan aktivitas atau menghasilkan output. Item yang berbeda mengonsumsi kapasitas yang berbeda pada waktu tertentu. Microsoft Fabric menawarkan kapasitas melalui SKU Fabric dan uji coba. Untuk informasi selengkapnya, lihat Apa itu kapasitas?
Penting
Microsoft Fabric sedang dalam pratinjau.
Saat pengguna membuat kapasitas Microsoft Fabric di Azure, mereka dapat memilih ukuran kapasitas berdasarkan ukuran beban kerja analitik mereka. Di Spark, pengguna mendapatkan dua Spark VCores untuk setiap unit kapasitas yang mereka pesan sebagai bagian dari SKU mereka.
Satu Unit Kapasitas = Dua VCore Spark
Setelah kapasitas dibeli, admin dapat membuat ruang kerja dalam kapasitas di Microsoft Fabric. Spark VCores yang terkait dengan kapasitas dibagikan di antara semua item berbasis Spark seperti notebook, definisi kerja Spark, dan lakehouse yang dibuat di ruang kerja ini.
Pembatasan dan antrean konkurensi
Bagian berikut mencantumkan berbagai batas numerik untuk beban kerja Spark berdasarkan SKU kapasitas Microsoft Fabric:
| SKU Kapasitas | SKU Power BI yang setara | Unit kapasitas | Spark VCores yang setara | Pekerjaan serentak maks | Batas antrean |
|---|---|---|---|---|---|
| F2 | - | 2 | 4 | 1 | 4 |
| F4 | - | 4 | 8 | 1 | 4 |
| F8 | - | 8 | 16 | 2 | 8 |
| F16 | - | 16 | 32 | 4 | 16 |
| F32 | - | 32 | 64 | 8 | 32 |
| F64 | P1 | 64 | 128 | 16 | 64 |
| Uji Coba Fabric | P1 | 64 | 128 | 5 | - |
| F128 | P2 | 128 | 256 | 32 | 128 |
| F256 | P3 | 256 | 512 | 64 | 256 |
| F512 | P4 | 512 | 1024 | 128 | 512 |
Mekanisme antrean adalah antrean berbasis FIFO sederhana, yang memeriksa slot pekerjaan yang tersedia dan secara otomatis mencoba kembali pekerjaan setelah kapasitas tersedia. Karena ada item yang berbeda seperti notebook, definisi kerja Spark, dan lakehouse yang dapat digunakan pengguna di ruang kerja apa pun. Karena penggunaannya bervariasi di berbagai tim perusahaan, pengguna dapat mengalami skenario kelaparan di mana hanya ada dependensi pada jenis item, seperti definisi kerja Spark. Situasi ini dapat mengakibatkan pengguna berbagi kapasitas dari menjalankan pekerjaan berbasis notebook atau operasi berbasis lakehouse apa pun seperti beban ke tabel.
Untuk menghindari skenario pemblokiran ini, Microsoft Fabric menerapkan pembatasan berbasis cadangan Dinamis untuk pekerjaan dari item-item ini. Pekerjaan berbasis notebook dan lakehouse menjadi lebih interaktif dan real-time diklasifikasikan sebagai interaktif. Sedangkan definisi kerja Spark diklasifikasikan sebagai batch. Sebagai bagian dari cadangan dinamis ini, batas cadangan minimum dan maksimum dipertahankan untuk jenis pekerjaan ini. Cadangan ini terutama untuk mengatasi kasus penggunaan di mana tim perusahaan dapat mengalami skenario penggunaan puncak yang memiliki seluruh kapasitas mereka dikonsumsi melalui pekerjaan batch. Selama jam sibuk tersebut, pengguna diblokir agar tidak menggunakan item interaktif seperti notebook atau lakehouse. Dengan pendekatan ini, setiap kapasitas mendapatkan cadangan minimum 30% dari total pekerjaan yang dialokasikan untuk pekerjaan interaktif (5% untuk lakehouse dan 25% untuk notebook) dan cadangan minimum 10% untuk pekerjaan batch.
| Jenis pekerjaan | Item | Min % | Maks % |
|---|---|---|---|
| Batch | Definisi kerja Spark | 10 | 70 |
| Interaktif | Min interaktif dan maks | 30 | 90 |
| Notebook | 25 | 85 | |
| Lakehouse | 5 | 65 |
Ketika mereka melebihi cadangan ini dan ketika kapasitas berada pada pemanfaatan maksimumnya, pekerjaan interaktif seperti notebook dan lakehouse dibatasi dengan pesan kode Respons HTTP 430: Tidak dapat mengirimkan permintaan ini karena semua kapasitas yang tersedia saat ini sedang digunakan. Batalkan pekerjaan yang sedang berjalan, tingkatkan kapasitas yang tersedia, atau coba lagi nanti.
Dengan antrean diaktifkan, pekerjaan batch seperti Definisi Pekerjaan Spark ditambahkan ke antrean dan secara otomatis dicoba kembali ketika kapasitas dikosongkan.
Catatan
Pekerjaan memiliki periode kedaluwarsa antrean 24 jam, setelah itu mereka dibatalkan dan pengguna harus mengirimkannya kembali untuk eksekusi pekerjaan.
Langkah berikutnya
- Mulai menggunakan pengaturan administrasi ruang kerja Spark di Microsoft Fabric.
- Pelajari tentang komputasi Spark untuk rekayasa data Fabric dan pengalaman ilmu data.