Spark-munkaterület felügyeleti beállításai a Microsoft Fabricben

A következőkre vonatkozik: adatmérnök és Adattudomány a Microsoft Fabricben

Amikor létrehoz egy munkaterületet a Microsoft Fabricben, a rendszer automatikusan létrehoz egy , a munkaterülethez társított kezdőkészletet . A Microsoft Fabric egyszerűsített beállításával nincs szükség a csomópont vagy a gép méretének kiválasztására, mivel ezeket a beállításokat a színfalak mögött kezelheti. Ez a konfiguráció gyorsabb (5–10 másodperces) Spark-munkamenet-indítási élményt biztosít a felhasználók számára a Spark-feladatok elindításához és futtatásához számos gyakori forgatókönyvben anélkül, hogy a számítás beállításával kellene foglalkozniuk. Speciális számítási követelményekkel rendelkező forgatókönyvek esetén a felhasználók létrehozhatnak egy egyéni Spark-készletet, és a teljesítményigényük alapján méretezhetik a csomópontokat.

Ha módosítani szeretné a Spark-beállításokat egy munkaterületen, rendelkeznie kell az adott munkaterület rendszergazdai szerepkörével. További információ: Szerepkörök a munkaterületeken.

A munkaterülethez társított készlet Spark-beállításainak kezelése:

1. Nyissa meg a munkaterület munkaterület-beállításait, és a adatmérnök ing/Science lehetőséget választva bontsa ki a menüt:

   

2. A Spark Compute lehetőség megjelenik a bal oldali menüben:

   

   Megjegyzés:

   Ha az alapértelmezett készletet a Kezdőkészletről egyéni Spark-készletre módosítja, hosszabb munkamenet-kezdés (~3 perc) jelenhet meg.

Készlet

A munkaterület alapértelmezett készlete

Használhatja az automatikusan létrehozott kezdőkészletet, vagy létrehozhat egyéni készleteket a munkaterülethez.

• Kezdőkészlet: Az előre hidratált élő készletek automatikusan létrejönnek a gyorsabb működés érdekében. Ezek a fürtök közepes méretűek. A kezdőkészlet a megvásárolt Fabric-kapacitás termékváltozata alapján alapértelmezett konfigurációra van beállítva. Rendszergazda a Spark számítási feladatok méretezési követelményei alapján testre szabhatják a maximális csomópontokat és végrehajtókat. További információ: Kezdőkészletek konfigurálása

• Egyéni Spark-készlet: A Spark-feladat követelményei alapján méretezheti a csomópontokat, automatikusan skálázhatja és dinamikusan lefoglalhatja a végrehajtókat. Egyéni Spark-készlet létrehozásához a kapacitásadminisztrátornak engedélyeznie kell a Testreszabott munkaterületkészletek beállítást a Kapacitás Rendszergazda beállítások Spark Compute szakaszában.

Megjegyzés:

A testreszabott munkaterületkészletek kapacitásszint-vezérlése alapértelmezés szerint engedélyezve van. További információ: Spark Compute Gépház hálókapacitásokhoz.

Rendszergazda a számítási követelményeknek megfelelően hozhatnak létre egyéni Spark-készleteket a Új készlet lehetőség.

A Microsoft Fabric Spark támogatja az egycsomópontos fürtöket, így a felhasználók kiválaszthatják az 1-ből álló minimális csomópontkonfigurációt, amely esetben az illesztőprogram és a végrehajtó egyetlen csomóponton fut. Ezek az egycsomópontos fürtök helyreállítható magas rendelkezésre állást biztosítanak csomóponthibák esetén, és jobb feladatmegbízhatóságot biztosítanak a kisebb számítási követelményeket támasztó számítási feladatokhoz. Az egyéni Spark-készletek automatikus skálázási beállítását is engedélyezheti vagy letilthatja. Ha az automatikus skálázás engedélyezve van, a készlet új csomópontokat szerez be a felhasználó által megadott maximális csomópontkorláton belül, és a feladat végrehajtása után kivonja őket a jobb teljesítmény érdekében.

Azt is választhatja, hogy dinamikusan lefoglalja a végrehajtókat az adatmennyiség alapján megadott maximális korláton belül automatikusan optimális számú végrehajtó készletéhez a jobb teljesítmény érdekében.

További információ a Spark Compute for Fabricről.

• Az elemek számítási konfigurációjának testreszabása: Munkaterület-rendszergazdaként engedélyezheti a felhasználók számára, hogy a számítási konfigurációkat (az illesztőprogramot/végrehajtó magot, az illesztőprogramot/végrehajtó memóriát is tartalmazó munkamenetszintű tulajdonságokat) módosítják az egyes elemek, például jegyzetfüzetek, spark-feladatok környezettel történő definícióihoz.

Ha a munkaterület rendszergazdája kikapcsolja a beállítást, a rendszer az alapértelmezett készletet és annak számítási konfigurációit használja a munkaterület összes környezetéhez.

Environment

A környezet rugalmas konfigurációkat biztosít a Spark-feladatok (jegyzetfüzetek, Spark-feladatok definíciói) futtatásához. Egy környezetben konfigurálhatja a számítási tulajdonságokat, válasszon ki különböző futtatókörnyezetet, és állítsa be a kódtárcsomag függőségeit a számítási feladatok követelményei alapján.

A környezet lapon beállíthatja az alapértelmezett környezetet. Kiválaszthatja, hogy a Spark melyik verzióját szeretné használni a munkaterülethez.

Háló-munkaterület rendszergazdájaként kiválaszthat egy környezetet alapértelmezett munkaterületként.

A Környezet legördülő listában újat is létrehozhat.

Ha letiltja az alapértelmezett környezet beállítását, választhatja a Fabric futtatókörnyezet verzióját a legördülő menüben felsorolt elérhető futtatókörnyezeti verziók közül.

További információ a Spark-futtatókörnyezetekről

Magas egyidejűség

A magas egyidejűségi mód lehetővé teszi, hogy a felhasználók ugyanazokat a Spark-munkameneteket osztják meg a Fabric Sparkban az adatelemzési és adatelemzési számítási feladatokhoz. Egy olyan elem, mint egy jegyzetfüzet, Spark-munkamenetet használ a végrehajtáshoz, és ha engedélyezve van, a felhasználók egyetlen Spark-munkamenetet oszthatnak meg több jegyzetfüzet között.

További információ a Magas egyidejűségről a Fabric Sparkban

Gépi Tanulás modellek és kísérletek automatikus naplózása

Rendszergazda mostantól engedélyezhetik az automatikus naplózást a gépi tanulási modelljeikhez és kísérleteikhez. Ez a beállítás automatikusan rögzíti a gépi tanulási modell bemeneti paramétereinek, kimeneti metrikáinak és kimeneti elemeinek értékeit a betanítás során. További információ az automatikus keresésről.

Kapcsolódó tartalom

• További információ az Apache Spark-futtatókörnyezetekről a Fabricben – Áttekintés, verziószámozás, több futtatókörnyezet támogatása és a Delta Lake Protocol frissítése
• További információ az Apache Spark nyilvános dokumentációjából.
• Válaszokat találhat a gyakori kérdésekre: Apache Spark-munkaterület felügyeleti beállításai – gyakori kérdések.