Egyidejűségi korlátok és várólisták a Microsoft Fabric Sparkban
A következőkre vonatkozik:
adattervezés és Adattudomány a Microsoft Fabricben
A Microsoft Fabric lehetővé teszi a számítási egységek kapacitáson keresztüli lefoglalását, amely egy dedikált erőforráskészlet, amely egy adott időpontban használható. A kapacitás határozza meg, hogy egy erőforrás képes-e tevékenység végrehajtására vagy kimenet létrehozására. A különböző elemek különböző kapacitást használnak egy adott időpontban. A Microsoft Fabric kapacitást kínál a Fabric termékváltozatain és próbaverzióin keresztül. További információ: Mi az a kapacitás?
Fontos
A Microsoft Fabric jelenleg előzetes verzióban érhető el. Ezek az információk egy előzetes termékre vonatkoznak, amely a kiadás előtt lényegesen módosítható. A Microsoft nem vállal kifejezett vagy vélelmezett garanciát az itt megadott információkra vonatkozóan.
Amikor a felhasználók Microsoft Fabric-kapacitást hoznak létre az Azure-ban, az elemzési számítási feladatok mérete alapján választhatnak kapacitásméretet. A Sparkban a felhasználók két Spark virtuális magot kapnak minden olyan kapacitásegységhez, amely a termékváltozat részeként van fenntartva.
Egy kapacitásegység = két Spark virtuális mag
A kapacitás megvásárlása után a rendszergazdák munkaterületeket hozhatnak létre a Kapacitáson belül a Microsoft Fabricben. A kapacitáshoz társított Spark virtuális magok meg vannak osztva az összes Spark-alapú elem, például a jegyzetfüzetek, a Spark-feladatdefiníciók és az ezekben a munkaterületeken létrehozott lakehouse között.
Egyidejűség szabályozása és várólistára helyezése
A következő szakasz a Spark-számítási feladatok különböző numerikus korlátait sorolja fel a Microsoft Fabric kapacitás-termékváltozatai alapján:
| Kapacitás termékváltozata | Egyenértékű Power BI-termékváltozat | Kapacitásegységek | Egyenértékű Spark virtuális magok | Egyidejű feladatok maximális száma | Várólista korlátja |
|---|---|---|---|---|---|
| F2 | - | 2 | 4 | 1 | 4 |
| F4 | - | 4 | 8 | 1 | 4 |
| F8 | - | 8 | 16 | 2 | 8 |
| F16 | - | 16 | 32 | 5 | 20 |
| F32 | - | 32 | 64 | 10 | 40 |
| F64 | P1 | 64 | 128 | 20 | 80 |
| Háló próbaverziója | P1 | 64 | 128 | 5 | - |
| F128 | P2 | 128 | 256 | 40 | 160 |
| F256 | P3 | 256 | 512 | 80 | 320 |
| F512 | P4 | 512 | 1024 | 160 | 640 |
Az üzenetsor-kezelési mechanizmus egy egyszerű FIFO-alapú üzenetsor, amely ellenőrzi az elérhető feladathelyeket, és automatikusan újrapróbálkodik a feladatokkal, miután a kapacitás elérhetővé vált. Mivel a felhasználók különböző elemeket használhatnak, például jegyzetfüzeteket, Spark-feladatdefiníciókat és lakehouse-t, amelyeket a felhasználók bármilyen munkaterületen használhatnak. Mivel a használat különböző vállalati csoportokban változik, a felhasználók éhezési forgatókönyvekbe ütközhetnek, ahol csak az elemtípustól függenek, például egy Spark-feladatdefiníciótól. Ez azt eredményezheti, hogy a felhasználók megosztják a kapacitást egy jegyzetfüzet-alapú feladat futtatásából, vagy bármilyen lakehouse-alapú műveletből, például a terhelésből a táblába.
Ezeknek a blokkolási forgatókönyveknek a elkerülése érdekében a Microsoft Fabric dinamikus tartalékalapú szabályozást alkalmaz az ezekből az elemekből származó feladatokhoz. Az interaktívabb és valós idejű jegyzetfüzet- és lakehouse-alapú feladatok interaktívnak minősülnek. Míg a Spark-feladat definíciója kötegként van besorolva. Ennek a dinamikus tartaléknak a részeként a rendszer fenntartja a minimális és maximális tartalékkorlátokat ezekhez a feladattípusokhoz. A tartalékok elsősorban olyan használati esetek kezelésére szolgálnak, amikor egy vállalati csapat olyan csúcshasználati forgatókönyveket tapasztalhat, amelyek teljes kapacitását kötegelt feladatokon keresztül használják fel. Ezekben a csúcsidőszakokban a felhasználók nem használhatnak interaktív elemeket, például jegyzetfüzeteket vagy lakehouse-t. Ezzel a megközelítéssel minden kapacitás az interaktív feladatokhoz lefoglalt összes feladat 30%-ának (a lakehouse 5%-ának és a jegyzetfüzetek 25%-ának) minimális tartalékát, a kötegelt feladatokhoz pedig 10%-os minimális tartalékot kap.
| Feladat típusa | Elem | Minimális % | Maximális % |
|---|---|---|---|
| Batch | Spark-feladatdefiníció | 10 | 70 |
| Interaktív | Interaktív perc és maximum | 30 | 90 |
| Jegyzetfüzet | 25 | 85 | |
| Tótárház | 5 | 65 |
Ha túllépik ezeket a tartalékokat, és a kapacitás maximális kihasználtsága van, az interaktív feladatok, például a jegyzetfüzetek és a tótárház a 430-es HTTP-válaszkóddal vannak szabályozva: Nem lehet elküldeni ezt a kérést, mert az összes rendelkezésre álló kapacitás jelenleg használatban van. Szakítsa meg az aktuálisan futó feladatot, növelje a rendelkezésre álló kapacitást, vagy próbálkozzon újra később.
Ha az üzenetsor-készítés engedélyezve van, a rendszer hozzáadja az olyan kötegelt feladatokat, mint a Spark-feladatdefiníciók, és automatikusan újrapróbálkoznak a kapacitás felszabadításakor.
Megjegyzés
A feladatok várólistája 24 órás lejárati idővel rendelkezik, amely után a rendszer megszakítja őket, és a felhasználóknak újra el kell küldeniük őket a feladat végrehajtásához.