Egyidejűségi korlátok és várakozási sorba helyezése a Microsoft Fabric Sparkban

  • Cikk

A következőkre vonatkozik: adatmérnök és Adattudomány a Microsoft Fabricben

A Microsoft Fabric lehetővé teszi a számítási egységek kapacitáson keresztüli lefoglalását, amely egy dedikált erőforráskészlet, amely egy adott időpontban használható. A kapacitás határozza meg, hogy egy erőforrás képes-e tevékenység elvégzésére vagy kimenet létrehozására. A különböző elemek egy adott időpontban eltérő kapacitást használnak fel. A Microsoft Fabric kapacitást kínál a Fabric termékváltozatain és próbaverzióin keresztül. További információ: Mi a kapacitás?

Amikor a felhasználók Microsoft Fabric-kapacitást hoznak létre az Azure-ban, az elemzési számítási feladatok mérete alapján választják ki a kapacitás méretét. A Sparkban a felhasználók két Spark virtuális magot kapnak minden olyan kapacitásegységhez, amit a termékváltozat részeként lefoglalnak.

Egy kapacitásegység = két Spark virtuális mag

Miután megvásárolták a kapacitást, a rendszergazdák munkaterületeket hozhatnak létre a kapacitáson belül a Microsoft Fabricben. A kapacitáshoz társított Spark virtuális magok meg vannak osztva az ezekben a munkaterületeken létrehozott összes Spark-alapú elem között, például jegyzetfüzetekben, Spark-feladatdefiníciókban és tóházakban.

Egyidejűség szabályozása és várólistára helyezése

A Fabric Spark egy magalapú szabályozási és üzenetsor-kezelési mechanizmust kényszerít ki, amelyben a felhasználók a megvásárolt Fabric-kapacitás termékváltozatai alapján küldhetnek be feladatokat. Az üzenetsor-kezelési mechanizmus egy egyszerű FIFO-alapú üzenetsor, amely ellenőrzi a rendelkezésre álló feladathelyeket, és automatikusan újrapróbálkozza a feladatokat a kapacitás elérhetővé válása után. Amikor a felhasználók olyan jegyzetfüzet- vagy lakehouse-feladatokat küldenek, mint például a Load to Table, ha kapacitásuk a maximális kihasználtságon van, mert egyidejűleg futnak a megvásárolt Fabric-kapacitás termékváltozatához elérhető Spark virtuális magok, akkor az üzenet szabályozza őket

430-es HTTP-válaszkód: Ez a spark-feladat nem futtatható, mert elérte a spark számítási vagy API-sebességkorlátját. A spark-feladat futtatásához szakítsa meg az aktív Spark-feladatot a Monitorozási központon keresztül, vagy válasszon egy nagyobb kapacitás-termékváltozatot, vagy próbálkozzon újra később.

Ha engedélyezve van az üzenetsor-készítés, a folyamatból aktivált jegyzetfüzet-feladatok, a feladatütemező és a Spark-feladatdefiníciók bekerülnek az üzenetsorba, és automatikusan újrapróbálkozásra kerülnek a kapacitás felszabadításakor. Az üzenetsor lejárata a feladat beküldési időpontjától számított 24 órára van beállítva. Ezt követően a feladatokat újra el kell küldeni.

A hálókapacitások kipukkanással engedélyezve vannak, ami lehetővé teszi a számítási feladatok végrehajtásának felgyorsítása érdekében vásároltnál több számítási mag használatát. A Spark-számítási feladatok kipukkadása lehetővé teszi a felhasználók számára, hogy összesen 3X értékben küldjenek el feladatokat a megvásárolt Spark virtuális magokkal.

Feljegyzés

A kipukkadási tényező csak a Spark virtuális magok teljes számát növeli az egyidejűség érdekében, de nem növeli a maximális magokat feladatonként. A felhasználók nem küldhetnek be olyan feladatot, amely több magot igényel, mint amit a Fabric-kapacitás kínál.

Az alábbi szakasz a Microsoft Fabric kapacitás-termékváltozatokon alapuló Spark-számítási feladatok különböző magalapú korlátait sorolja fel:

Hálókapacitás termékváltozata Egyenértékű Power BI-termékváltozat Spark virtuális magok Spark virtuális magok maximális száma a Burst Factor használatával Várólista korlátja
F2 - 4 20 4
F4 - 8 24 4
F8 - 16 48 8
F16 - 32 96 16
F32 - 64 192 32
F64 P1 128 384 64
F128 P2 256 768 128
F256 P3 512 1536 256
F512 P4 1024 3072 512
F1024 - 2048 6144 1024
F2048 - 4096 12288 2048
Próbakapacitás P1 128 128 N.a.

Példaszámítás: Az F64 termékváltozat 128 Spark virtuális magot kínál. Az F64 SKU-hoz alkalmazott kipukkadási tényező 3, amely összesen 384 Spark virtuális magot ad. A kipukkadási tényező csak az egyidejűség elősegítésére van alkalmazva, és nem növeli az egyetlen Spark-feladathoz elérhető maximális magokat. Ez azt jelenti, hogy egyetlen jegyzetfüzet, Spark-feladatdefiníció vagy Lakehouse-feladat legfeljebb 128 virtuális mag készletkonfigurációt használhat, és egyidejűleg 3, azonos konfigurációval rendelkező feladat is futtatható. Ha a jegyzetfüzetek kisebb számítási konfigurációt használnak, egyidejűleg futtathatók, amíg a maximális kihasználtság eléri a 384 SparkVcore-korlátot.

Feljegyzés

A feladatok várólistája 24 órás lejárati idővel rendelkezik, amely után a rendszer törli őket, és a felhasználóknak újra el kell küldeniük őket a feladatok végrehajtásához.

A Fabric Spark szabályozása nem kényszerített tetszőleges feladatalapú korlátokat, és a szabályozás csak a megvásárolt Fabric-kapacitás termékváltozatához engedélyezett magok számán alapul. A feladatbeléptetés alapértelmezés szerint optimista belépés-vezérlés lesz, ahol a feladatokat a minimális alapkövetelmények alapján fogadják el. További információ az optimista feladatbeléptetési feladatbeléptetésről és -kezelésről , ha az alapértelmezett készlet (kezdőkészlet) beállítás van kiválasztva a munkaterületen, az alábbi táblázat a maximális egyidejűségi feladatkorlátokat sorolja fel.

További információ az alapkészlet alapértelmezett konfigurációiról a Hálókapacitás termékváltozata alapján, a kezdőkészletek konfigurálásával.

Feladatszint-kipukkadás

Rendszergazda a Spark-készleteket úgy konfigurálhatják, hogy a maximális sparkmagokat kihasználják a teljes kapacitáshoz rendelkezésre álló kipukkanótényezővel. Például egy munkaterület rendszergazdája, amelynek munkaterülete egy F64 Fabric-kapacitáshoz van csatlakoztatva, most már 384 Spark virtuális magra konfigurálhatja a Spark-készletet (kezdőkészlet vagy egyéni készlet), ahol a Starter-készletek maximális csomópontjai 48-ra állíthatók be, vagy a rendszergazdák beállíthatnak egy XX nagy csomópontméretű készletet 6 maximális csomóponttal.

Kapcsolódó tartalom