Batas konkurensi dan antrean di Apache Spark untuk Microsoft Fabric
Berlaku untuk:✅ Rekayasa Data dan Ilmu Data di Microsoft Fabric
Microsoft Fabric memungkinkan alokasi unit komputasi melalui kapasitas, yang merupakan sekumpulan sumber daya khusus yang tersedia pada waktu tertentu untuk digunakan. Kapasitas mendefinisikan kemampuan sumber daya untuk melakukan aktivitas atau menghasilkan output. Item yang berbeda mengonsumsi kapasitas yang berbeda pada waktu tertentu. Microsoft Fabric menawarkan kapasitas melalui Fabric SKU dan uji coba. Untuk informasi selengkapnya, lihat Apa itu kapasitas?.
Saat pengguna membuat kapasitas Microsoft Fabric di Azure, mereka memilih ukuran kapasitas berdasarkan ukuran beban kerja analitik mereka. Di Apache Spark, pengguna mendapatkan dua Apache Spark VCores untuk setiap unit kapasitas yang mereka pesan sebagai bagian dari SKU mereka.
Satu Unit Kapasitas = Dua VCore Spark
Setelah mereka membeli kapasitas, admin dapat membuat ruang kerja dalam kapasitas di Microsoft Fabric. Spark VCores yang terkait dengan kapasitas dibagikan di antara semua item berbasis Apache Spark seperti notebook, definisi pekerjaan Apache Spark, dan lakehouse yang dibuat di ruang kerja ini.
Pembatasan dan antrean konkurensi
Spark for Fabric memberlakukan mekanisme pembatasan dan antrean berbasis inti, di mana pengguna dapat mengirimkan pekerjaan berdasarkan SKU kapasitas Fabric yang dibeli. Mekanisme antrean adalah antrean berbasis FIFO sederhana, yang memeriksa slot pekerjaan yang tersedia dan secara otomatis mencoba kembali pekerjaan setelah kapasitas tersedia. Ketika pengguna mengirimkan pekerjaan notebook atau lakehouse seperti Load to Table ketika kapasitas mereka berada pada pemanfaatan maksimumnya karena pekerjaan yang berjalan bersamaan menggunakan semua Spark Vcores yang tersedia untuk SKU kapasitas Fabric yang dibeli, mereka dibatasi dengan pesan
Kode Respons HTTP 430: Pekerjaan Spark ini tidak dapat dijalankan karena Anda telah mencapai batas komputasi atau tarif API Spark. Untuk menjalankan pekerjaan Spark ini, batalkan pekerjaan Spark aktif melalui hub Pemantauan, atau pilih SKU kapasitas yang lebih besar atau coba lagi nanti.
Dengan antrean diaktifkan, pekerjaan notebook yang dipicu dari alur dan penjadwal pekerjaan dan definisi pekerjaan Spark ditambahkan ke antrean dan secara otomatis dicoba kembali ketika kapasitas dibebaskan. Kedaluwarsa antrean diatur ke 24 jam dari waktu pengiriman pekerjaan. Setelah periode ini, pekerjaan harus dikirim ulang.
Kapasitas fabric diaktifkan dengan bursting yang memungkinkan Anda untuk mengonsumsi inti komputasi tambahan di luar apa yang telah dibeli untuk mempercepat eksekusi beban kerja. Untuk bursting beban kerja Apache Spark memungkinkan pengguna untuk mengirimkan pekerjaan dengan total 3X Spark VCores yang dibeli.
Catatan
Faktor bursting hanya meningkatkan jumlah total Spark VCores untuk membantu konkurensi tetapi tidak meningkatkan inti maksimum per pekerjaan. Pengguna tidak dapat mengirimkan pekerjaan yang membutuhkan lebih banyak inti daripada apa yang ditawarkan kapasitas Fabric mereka.
Bagian berikut mencantumkan berbagai batas berbasis inti untuk beban kerja Spark berdasarkan SKU kapasitas Microsoft Fabric:
| SKU kapasitas fabric | SKU Power BI yang setara | Spark VCores | Max Spark VCores dengan Burst Factor | Batas antrean |
|---|---|---|---|---|
| F2 | - | 4 | 20 | 4 |
| F4 | - | 8 | 24 | 4 |
| F8 | - | 16 | 48 | 8 |
| F16 | - | 32 | 96 | 16 |
| F32 | - | 64 | 192 | 32 |
| F64 | Hal 1 | 128 | 384 | 64 |
| F128 | P2 | 256 | 768 | 128 |
| F256 | P3 | 512 | 1536 | 256 |
| F512 | P4 | 1024 | 3072 | 512 |
| F1024 | - | 2048 | 6144 | 1024 |
| F2048 | - | 4096 | 12288 | 2048 |
| Kapasitas Uji Coba | Hal 1 | 128 | 128 | NA |
Contoh perhitungan: F64 SKU menawarkan 128 Spark VCores. Faktor burst yang diterapkan untuk SKU F64 adalah 3, yang memberikan total 384 Spark Vcores. Faktor ledakan hanya diterapkan untuk membantu konkurensi dan tidak meningkatkan inti maks yang tersedia untuk satu pekerjaan Spark. Itu berarti satu notebook atau pekerjaan Spark atau pekerjaan lakehouse dapat menggunakan konfigurasi kumpulan maksimal 128 vCore dan 3 pekerjaan dengan konfigurasi yang sama dapat dijalankan secara bersamaan. Jika notebook menggunakan konfigurasi komputasi yang lebih kecil, notebook dapat dijalankan secara bersamaan sampai pemanfaatan maksimum mencapai batas 384 SparkVcore.
Catatan
Pekerjaan memiliki periode kedaluwarsa antrean 24 jam, setelah itu mereka dibatalkan, dan pengguna harus mengirimkannya kembali untuk eksekusi pekerjaan.
Pembatasan Spark for Fabric tidak memiliki batas berbasis pekerjaan arbitrer yang diberlakukan, dan pembatasan hanya didasarkan pada jumlah inti yang diizinkan untuk SKU kapasitas Fabric yang dibeli. Penerimaan pekerjaan secara default akan menjadi kontrol penerimaan optimis, di mana pekerjaan diterima berdasarkan persyaratan inti minimum mereka. Pelajari selengkapnya tentang penerimaan dan Manajemen Pekerjaan penerimaan pekerjaan optimis Jika opsi kumpulan default (Kumpulan Pemula) dipilih untuk ruang kerja, tabel berikut mencantumkan batas pekerjaan konkurensi maksimum.
Pelajari selengkapnya tentang konfigurasi kumpulan pemula default berdasarkan Fabric Capacity SKU Mengonfigurasi Kumpulan Pemula.
Bursting tingkat pekerjaan
Admin dapat mengonfigurasi kumpulan Apache Spark mereka untuk menggunakan inti Spark maks dengan faktor burst yang tersedia untuk seluruh kapasitas. Misalnya admin ruang kerja yang memiliki ruang kerja mereka melekat pada kapasitas F64 Fabric sekarang dapat mengonfigurasi kumpulan Spark mereka (kumpulan Starter atau Kumpulan kustom) ke 384 Spark VCores, di mana simpul maks kumpulan Starter dapat diatur ke 48 atau admin dapat menyiapkan kumpulan ukuran simpul XX Besar dengan 6 simpul maks.
Konten terkait
- Mulai menggunakan pengaturan administrasi ruang kerja Apache Spark di Microsoft Fabric.
- Pelajari tentang komputasi Apache Spark untuk rekayasa data Fabric dan pengalaman ilmu data.