A Microsoft Fabric adatkezelési munkaterület-beállításai.

A következőkre vonatkozik:✅ Fabric Data Engineering és Data Science

Amikor létrehozol egy munkaterületet a Fabric-ben, automatikusan létrejön egy kezdő pool, amely ehhez a munkaterülethez kapcsolódik. A Fabric egyszerűsített beállításával nincs szükség a csomópont vagy gép méretének kiválasztására, mert ezek a lehetőségek a háttérben intézhetők. Ez a konfiguráció gyorsabb (5–10 másodperces) Apache Spark-munkamenet-indítási élményt biztosít a felhasználók számára az Apache Spark-feladatok elindításához és futtatásához számos gyakori forgatókönyvben anélkül, hogy a számítás beállításával kellene foglalkozniuk. Speciális számítási követelményekkel rendelkező forgatókönyvek esetén a felhasználók létrehozhatnak egy egyéni Apache Spark-készletet, és a teljesítményigényük alapján méretezhetik a csomópontokat.

Ha módosítani szeretné egy munkaterület Apache Spark-beállításait, rendelkeznie kell az adott munkaterület rendszergazdai szerepkörével. További információ: Szerepkörök a munkaterületeken.

A munkaterülethez társított készlet Spark-beállításainak kezelése:

1. Nyissa meg a munkaterület beállításait, és az Adatmérnöki/Tudomány lehetőséget választva nyissa meg a menüt:

   

2. A Spark Compute lehetőség megjelenik a bal oldali menüben:

   

   Megjegyzés

   Ha az alapértelmezett készletet a Kezdőkészletről egyéni Spark-készletre módosítja, hosszabb munkamenet-kezdés (~3 perc) jelenhet meg.

Pool

A munkaterület alapértelmezett készlete

Használhatja az automatikusan létrehozott kezdőkészletet, vagy létrehozhat egyéni készleteket a munkaterülethez.

• Kezdőmedence: Előre hidratált élő medencék automatikusan létrehozottak a gyorsabb működés biztosítása érdekében. Ezek a fürtök közepes méretűek. A kezdőkészlet a megvásárolt Fabric-kapacitás termékváltozata alapján alapértelmezett konfigurációra van beállítva. A rendszergazdák a Spark számítási feladatok méretezési követelményei alapján testre szabhatják a maximális csomópontokat és végrehajtókat. További információ: Kezdőkészletek konfigurálása

• Egyéni Spark-készlet: A Spark-feladat követelményei alapján méretezheti a csomópontokat, automatikusan skálázhatja és dinamikusan lefoglalhatja a végrehajtókat. Egyéni Spark-készlet létrehozásához a kapacitásadminisztrátornak engedélyeznie kell a Testreszabott munkaterületkészletek beállítást a Kapacitás-rendszergazdai beállítások Spark Compute szakaszában.

Megjegyzés

A testreszabott munkaterületkészletek kapacitásszint-vezérlése alapértelmezés szerint engedélyezve van. További információ: A Fabric-kapacitások adatmérnöki és adatelemzési beállításainak konfigurálása és kezelése.

A rendszergazdák az Új készlet beállítás kiválasztásával egyéni Spark-készleteket hozhatnak létre a számítási igényeik alapján.

Az Apache Spark for Fabric támogatja az egyetlen csomópontos klasztereket, amely lehetővé teszi a felhasználók számára, hogy minimum 1 csomópontkonfigurációt válasszanak, ebben az esetben az illesztőprogram és végrehajtó egyetlen csomópontban fut. Ezek az egyetlen csomópontfürtök helyreállítható magas rendelkezésre állást biztosítanak a csomóponthibák során, és jobb feladatmegbízhatóságot biztosítanak a kisebb számítási követelményeket támasztó számítási feladatokhoz. Az egyéni Spark-készletek automatikus skálázási beállítását is engedélyezheti vagy letilthatja. Ha az automatikus skálázás engedélyezve van, a készlet új csomópontokat szerez be a felhasználó által megadott maximális csomópontkorláton belül, és a feladat végrehajtása után kivonja őket a jobb teljesítmény érdekében.

Azt is választhatja, hogy dinamikusan lefoglalja a végrehajtókat az adatmennyiség alapján megadott maximális korláton belül automatikusan optimális számú végrehajtó készletéhez a jobb teljesítmény érdekében.

További információ a Fabric számára készült Apache Spark számításról.

• Az elemek számítási konfigurációjának testreszabása: Munkaterület-rendszergazdaként engedélyezheti a felhasználóknak, hogy a számítási konfigurációkat (az illesztőprogramot/végrehajtó magot, az illesztőprogramot/végrehajtó memóriát is tartalmazó munkamenetszintű tulajdonságokat) módosítják az egyes elemek, például jegyzetfüzetek, Spark-feladatdefiníciók környezettel való beállításához.

Ha a munkaterület rendszergazdája kikapcsolja a beállítást, a rendszer az alapértelmezett készletet és annak számítási konfigurációit használja a munkaterület összes környezetéhez.

Környezet

A környezet rugalmas konfigurációkat biztosít a Spark-feladatok futtatásához (jegyzetfüzetek, Spark-feladatdefiníciók). Egy környezetben konfigurálhatja a számítási tulajdonságokat, válasszon ki különböző futtatókörnyezetet, és állítsa be a kódtárcsomag függőségeit a számítási feladatok követelményei alapján.

A környezet lapon beállíthatja az alapértelmezett környezetet. Kiválaszthatja, hogy a Spark melyik verzióját szeretné használni a munkaterülethez.

Fabric munkaterület rendszergazdaként kiválaszthat egy környezetet, mint munkaterület alapértelmezett környezetét.

A Környezet legördülő listában újat is létrehozhat.

Ha letiltja az alapértelmezett környezet beállítását, választhatja a Fabric futtatókörnyezet verzióját a legördülő menüben felsorolt elérhető futtatókörnyezeti verziók közül.

További információ az Apache Spark-futtatókörnyezetekről.

Feladatok

A feladatok beállításai lehetővé teszik a rendszergazdák számára a munkaterület összes Spark-feladatának feladatbeléptetési logikájának szabályozását.

Alapértelmezés szerint minden munkaterület rendelkezik optimista munkafeladat-beléptetéssel. Tudjon meg többet a Spark in Fabric állásfelvételéről.

Engedélyezheti, hogy az aktív Spark-feladatok maximális magjának lefoglalása kikapcsolja az optimista feladatbeléptetésen alapuló megközelítést, és fenntartsa a maximális magokat a Spark-feladatokhoz.

Beállíthatja a Spark-munkamenet időtúllépését is, hogy testre szabja a munkamenet lejárati idejét az összes jegyzetfüzet interaktív munkamenetéhez.

Megjegyzés

Az interaktív Spark-munkamenetek alapértelmezett lejárati ideje 20 perc.

Állítsuk be a maximális munka élettartamát

Használd a Maximális munkaélettartam beállítást védőkorlátként, hogy megakadályozd a szökött Spark munkák számítási kapacitását egy meghatározott időkorláton túl. Amikor bekapcsolod ezt a beállítást és megadod az időtartamot, a Fabric automatikusan megszünteti azokat a jogosult Spark feladatokat, amelyek hosszabb ideig futnak a beállított élettartamnál. A munkaterület adminisztrátorai ezt a vezérlést a következőkre használhatják:

• Állítsd meg a szökött vagy elakadt munkákat, mielőtt végtelenül tartanák a kapacitást, és blokkold a többi munkaterhelést a munkahelyen.
• Érvényesítsük a számítási megfelelőségi és irányítási szabályzatokat azzal, hogy korlátozzák, mennyi ideig futhatnak egyetlen munka.

A konfiguráláshoz kapcsold be a Maximális munkaélettartam beállítását, adj be egy értéket, válassz egy időegységet, például órákat, majd válaszd a Mentést , hogy alkalmazd a korlátot a munkaterületre.

Mely munkahelyek érintettek

A maximális munkaélettartam csak a felhasználó által benyújtott munkákra vonatkozik – olyan feladatokra, amelyeket a felhasználó kifejezetten indít, és amelyek a felhasználó identitásával futnak. Ezek a munkakörök például:

• Interaktív és ütemezett jegyzetfüzetek futtatásai, beleértve a jegyzetfüzetek futtatásait is, amelyeket egy csővezetéken keresztül irányítanak.
• A Spark munkakörmeghatározás fut, akár közvetlenül, időbeosztáson, akár pipeline segítségével.
• Livy sorozatos és interaktív alkalmak, beleértve a magas egyidejű üléseket.

A rendszermenedzselt feladatokat ez a beállítás nem érinti , és a befejezésig futnak. Ezeket a munkákat a Fabric indítja el és kezeli a nevedben, például:

• Lakehouse asztalkarbantartási műveletek, például optimalizálás és vákuumolás.
• A materializált tó kilátása frissítő.
• Platform műveletek, mint például a biztonság és a szabályzat végrehajtása.

Ez a megkülönböztetés biztosítja, hogy a háttérkarbantartás és a platform műveletek, amelyek egészségesen tartják az adataidat és a munkaterületedet, ne szakadjanak meg, miközben a felhasználói terhelések továbbra is a korlátnak vannak kitéve.

Megjegyzés

Amikor egy munka eléri a beállított maximális élettartamot, a Fabric automatikusan megszünteti azt. Állíts be egy olyan korlátot, amely elegendő időt ad a leghosszabb ideig futó legitim felhasználói munkáidnak a befejezéséhez.

Magas fokú egyidejűség

A magas egyidejűségi mód lehetővé teszi, hogy a felhasználók ugyanazokat a Spark-munkameneteket osztják meg az Apache Spark for Fabric adatelemzési és adatelemzési számítási feladataiban. Egy olyan elem, mint egy jegyzetfüzet, Spark-munkamenetet használ a végrehajtáshoz, és ha engedélyezve van, a felhasználók egyetlen Spark-munkamenetet oszthatnak meg több jegyzetfüzet között.

További információ az Apache Spark for Fabric magas egyidejűségéről.

Automatikus naplózás Machine Learning modellekhez és kísérletekhez

A rendszergazdák mostantól engedélyezhetik az automatikus naplózást a gépi tanulási modelljeikhez és kísérleteikhez. Ez a beállítás automatikusan rögzíti a gépi tanulási modell bemeneti paramétereinek, kimeneti metrikáinak és kimeneti elemeinek értékeit a betanítás során. További információ az automatikus naplózásról.

Kapcsolódó tartalom

• További információ az Apache Spark-futtatókörnyezetekről a Fabricben – Áttekintés, verziószámozás, több futtatókörnyezet támogatása és a Delta Lake Protocol frissítése.
• További információ az Apache Spark nyilvános dokumentációjából.
• Válaszokat találhat a gyakori kérdésekre: Apache Spark-munkaterület felügyeleti beállításai – gyakori kérdések.