Magas egyidejűségi mód konfigurálása Fabric-jegyzetfüzetekhez
Amikor jegyzetfüzetet futtat a Microsoft Fabricben, elindul egy Apache Spark-munkamenet, amely a jegyzetfüzetcellák végrehajtásának részeként elküldött lekérdezések futtatására szolgál. Ha engedélyezve van a magas egyidejűségi mód, nem kell minden alkalommal új Spark-munkameneteket indítania egy jegyzetfüzet futtatásához.
Ha már fut egy magas egyidejűségi munkamenet, csatolhat jegyzetfüzeteket a magas egyidejűségi munkamenethez, és azonnal spark-munkamenetet kaphat a lekérdezések futtatásához, és nagyobb munkamenet-kihasználtságot érhet el.
Feljegyzés
A magas egyidejűségi módon alapuló munkamenet-megosztás mindig egyetlen felhasználóhatáron belül van. A jegyzetfüzeteknek egyező Spark-konfigurációval kell rendelkezniük, ugyanazon munkaterületen kell lenniük, ugyanazon alapértelmezett lakehouse-nak és kódtáraknak kell lenniük, hogy egyetlen spark-munkamenetet osszanak meg.
Munkamenet-megosztási feltételek
Ahhoz, hogy a jegyzetfüzetek egyetlen Spark-munkamenetet osszanak meg, a következőkkel kell rendelkezniük:
- Ugyanazt a felhasználót kell futtatnia.
- Ugyanazzal az alapértelmezett lakehouse-zal rendelkezik. Az alapértelmezett lakehouse nélküli jegyzetfüzetek megoszthatnak munkameneteket más olyan jegyzetfüzetekkel, amelyek nem rendelkeznek alapértelmezett lakehouse-ral.
- Ugyanazokkal a Spark számítási konfigurációkkal rendelkezik.
- Ugyanazokkal a kódtárcsomagokkal rendelkezik. A jegyzetfüzetcellák részeként különböző beágyazott kódtár-telepítésekkel rendelkezhet, és továbbra is megoszthatja a munkamenetet a különböző erőforrástár-függőségekkel rendelkező jegyzetfüzetekkel.
Magas egyidejűségi mód konfigurálása
Alapértelmezés szerint az összes Háló-munkaterület magas egyidejűségi móddal van engedélyezve. A magas egyidejűségi funkció konfigurálásához kövesse az alábbi lépéseket:
Kattintson a Munkaterület beállításai lehetőségre a Háló munkaterületen
Navigáljon a Synapse szakaszhoz a Spark Compute High Concurrency(Nagy egyidejűség)>szakaszhoz >
A Magas egyidejűség szakaszban engedélyezheti vagy letilthatja a beállítást.
A magas egyidejűség beállítás engedélyezésével a felhasználók magas egyidejűségi munkamenetet indíthatnak a jegyzetfüzeteikben, vagy meglévő magas egyidejűségi munkamenethez csatolhatják őket.
A magas egyidejűségi mód letiltása elrejti a szakaszt az inaktivitás időtartamának konfigurálásához, és elrejti az új magas egyidejűségi munkamenet indításának lehetőségét a jegyzetfüzet menüjéből.
Jegyzetfüzetek futtatása magas egyidejűségi munkamenetben
A Háló munkaterület megnyitása
Jegyzetfüzet létrehozása vagy meglévő jegyzetfüzet megnyitása
Lépjen a menü menüszalagjának Futtatás lapjára, és válassza ki azt a munkamenettípus-legördülő menüt, amelyen a Standard beállítás van kiválasztva alapértelmezett beállításként.
Válassza az Új magas egyidejűségi munkamenet lehetőséget.
A magas egyidejűségi munkamenet elindítása után mostantól legfeljebb 5 jegyzetfüzetet vehet fel a magas egyidejűségi munkamenetbe.
Hozzon létre egy új jegyzetfüzetet, és a Fenti lépésekben említett Futtatás menüre lépve a legördülő menüben megjelenik az újonnan létrehozott magas egyidejűségi munkamenet.
A meglévő magas egyidejűségi munkamenet kiválasztása a második jegyzetfüzetet csatolja a munkamenethez.
A jegyzetfüzet csatolása után azonnal megkezdheti a jegyzetfüzet lépéseinek végrehajtását.
A magas egyidejűségi munkamenet állapota azt is jelzi, hogy egy adott munkamenethez bármikor hány jegyzetfüzet van csatolva.
Bármikor, ha úgy érzi, hogy a magas egyidejűségi munkamenethez csatolt jegyzetfüzet dedikáltabb számítást igényel, a jegyzetfüzetet normál munkamenetre válthatja úgy, hogy kiválasztja azt a lehetőséget, hogy leválasztsa a jegyzetfüzetet a Nagy egyidejűségről a Futtatás menülapon.
A munkamenet állapotát, típusát és munkamenet-azonosítóját az állapotsorra lépve tekintheti meg, a munkamenet-azonosító kiválasztásával megismerheti az ebben a magas egyidejűségi munkamenetben végrehajtott feladatokat, és megtekintheti a spark-munkamenet naplóit a figyelési részletes lapon.
Nagy egyidejűségi munkamenetben futó jegyzetfüzetek monitorozása és hibakeresése
A figyelés és a hibakeresés gyakran nem triviális feladat, ha több jegyzetfüzetet futtat egy megosztott munkamenetben. A Fabricben magas egyidejűségi mód esetén a naplók elkülönítése ajánlott, amely lehetővé teszi a felhasználók számára a spark-események által kibocsátott naplók nyomon követését a különböző jegyzetfüzetekből.
Ha a munkamenet folyamatban van vagy befejeződött, a munkamenet állapotát a Futtatás menüre lépve és a Minden futtatás lehetőség kiválasztásával tekintheti meg.
Ez megnyitná a jegyzetfüzet futtatási előzményeit az aktuális aktív és korábbi Spark-munkamenetek listájával
A munkamenet kiválasztásával a felhasználók hozzáférhetnek a figyelési részletes nézethez, amely megjeleníti a munkamenetben futtatott összes Spark-feladat listáját.
Magas egyidejűségi munkamenet esetén a felhasználók a Kapcsolódó jegyzetfüzet lap használatával azonosíthatják a feladatokat és a hozzájuk tartozó naplókat különböző jegyzetfüzetekből, amely azt a jegyzetfüzetet jeleníti meg, amelyből a feladatot futtatták.
Kapcsolódó tartalom
Ebben a dokumentumban alapvető ismereteket szerezhet a munkamenetek megosztásáról a jegyzetfüzetek magas egyidejűségi módján keresztül. A következő cikkekből megtudhatja, hogyan hozhat létre és kezdhet hozzá saját adatmérnök-élményekhez a Lakehouse és a Notebooks használatával:
- A Lakehouse használatának megkezdéséhez tekintse meg a Lakehouse létrehozása című témakört.
- A jegyzetfüzetek használatának első lépéseit a Jegyzetfüzetek használata című témakörben találhatja meg.