Állásbeléptetés a Microsoft Fabric Sparkban

A következőkre vonatkozik: adatmérnök és Adattudomány a Microsoft Fabricben

A Fabric Spark az optimista feladatbeléptetési technikát használja a Spark-feladatok minimális alapvető követelményének meghatározásához. Ez a folyamat jegyzetfüzetekből, lakehouse-okból vagy Spark-feladatdefiníciókból származó interaktív vagy kötegelt feladatokra alkalmazható. A kiválasztott Spark-készlet minimális csomópontbeállítására támaszkodik a munkaterület beállításaiban vagy a csatolt környezetben. Ha elérhető magok találhatók a munkaterülethez társított Háló-kapacitásban, a rendszer elfogadja a feladatot, és megkezdi a végrehajtást. A feladatok a minimális csomópontbeállításukkal indulnak el, és a maximális csomópontkorlátjukon belül vertikálisan felskálázhatók feladatszakaszonként. Ha a Fabric-kapacitást használó feladatok futtatásához használt magok száma nem éri el a maximálisan kiosztott magokat, a Fabric Spark feladatbeléptetési és szabályozási rétege lehetővé teszi a feladat felskálázását.

További információ: Egyidejűségi korlátok és üzenetsor-készítés a Microsoft Fabric Sparkban.

Hogyan működik az optimista állásbeléptetés?

A Fabricben a kezdőkészletek alapértelmezett minimum egy csomóponttal, míg az egyéni készletek lehetővé teszik a minimális csomópontok beállítását a számítási feladatok igényei alapján. Az automatikus skálázás a Spark-feladatok számítási követelményeit a végrehajtási szakaszokban, a konfigurált minimális és maximális csomópontokon belül állítja be. Az optimista feladatbeléptetés az elérhető magok alapján értékeli ki a feladatbeküldéseket, és minimális magokkal hajtja végre őket. A feladatok a végrehajtás során maximálisan lefoglalt csomópontok alapján próbálnak növekedni. A vertikális felskálázási kérelmek akkor lesznek jóváhagyva, ha a felhasznált Spark-magok teljes száma a lefoglalt kapacitás korlátain belül van.

Feljegyzés

Ha a használat eléri a maximális korlátot, és a Háló teljes kapacitásán belüli összes mag használatban van, a rendszer megtagadja a vertikális felskálázási kérelmeket. Az aktív feladatokat vagy befejezik, vagy megszakítják a magok felszabadításához.

Hogyan befolyásolja ez a feladat egyidejűségét?

TAz egyes feladatok minimális alapkövetelménye határozza meg, hogy a feladat elfogadható-e. Ha a kapacitás teljes mértékben ki van használva, és nem maradt mag egy feladat minimális magigényének teljesítéséhez, a feladat elutasításra kerül. Az interaktív jegyzetfüzet-feladatok vagy a Lakehouse-műveletek egy hibaüzenettel lesznek letiltva, amely nem tudja elküldeni ezt a kérést, mert az összes rendelkezésre álló kapacitás jelenleg használatban van. Szakítsa meg az éppen futó feladatot, növelje a rendelkezésre álló kapacitást, vagy próbálkozzon újra később. A batch-feladatok várólistára kerülnek, és a magok elérhetővé válása után lesznek végrehajtva.

Vegyük például azt a forgatókönyvet, amikor egy felhasználó a Fabric F32 kapacitás-termékváltozatot használja. Ha minden feladat optimista feladatbeléptetés nélkül használja az alapértelmezett kezdőkészlet-beállítást, a kapacitás három feladat maximális egyidejűségét támogatná. A feladatonkénti magok maximális száma a csomópontok maximális konfigurációjának megfelelően van lefoglalva.

A fenti kapacitással rendelkező optimista feladatbeléptetéssel 24 feladat vehető fel és hajtható végre a minimális csomópontkonfigurációval a maximális egyidejűségi forgatókönyv során. Mivel minden feladathoz 8 Spark virtuális mag szükséges, ahol egy minimális csomópontkonfiguráció közepes méretű.

Feladatok méretezése automatikus Spark-skálázással

Ha engedélyezi az automatikus skálázást a Spark-készletekhez, a feladatok a minimális csomópontkonfigurációval bővülnek. Futásidőben skálázás történhet. Ezek a kérések a feladatbeléptetési vezérlőn keresztül haladnak végig. A jóváhagyott kérések az összes rendelkezésre álló mag alapján a maximális korlátig skálázhatók. Az elutasított kérelmek nincsenek hatással az aktív feladatokra; az aktuális konfigurációval továbbra is futnak, amíg a magok elérhetővé nem válnak.

Feljegyzés

Ha egy feladat maximális magfoglalását a maximális csomópontkonfigurációnak megfelelően szeretné biztosítani, tiltsa le az automatikus skálázást, és állítsa be a maximális csomópontokat a Fabric-kapacitás termékváltozatán belül. Ebben az esetben, mivel a feladatnak nincs minimális alapvető követelménye, az ingyenes magok rendelkezésre állása után elindul, és felskálázható a konfigurált összegre. Ha a kapacitás teljes mértékben használatban van, előfordulhat, hogy a jegyzetfüzet interaktív feladatai lelassulnak vagy várólistára kerülnek. Az üzenetsorba helyezett feladatok automatikusan újrapróbálkozásra kerülnek, amint a magok elérhetővé válnak.

Kapcsolódó tartalom

• Ismerkedés a Spark-munkaterület felügyeleti beállításaival a Microsoft Fabricben.
• Ismerje meg a Spark Compute for Fabric adatelemzési és adatelemzési szolgáltatását.
• További információ a Fabric Spark egyidejűségi és üzenetsor-kezelési korlátairól.