Magas egyidejűségi mód az Apache Spark for Fabricben
A magas egyidejűségi mód lehetővé teszi, hogy a felhasználók ugyanazokat a Spark-munkameneteket osztják meg a Spark for Fabricben az adatelemzési és adatelemzési számítási feladatokhoz. A jegyzetfüzethez hasonló elemek egy standard Spark-munkamenetet használnak a végrehajtáshoz. Magas egyidejűségi módban a Spark-munkamenet támogatja a Spark-alkalmazásban meglévő több elem önálló végrehajtását az egyes olvasási-eval-print ciklusok (REPL) magjaiban. Ezek a REPL-magok elkülönítik az egyes elemeket, és megakadályozzák, hogy a helyi jegyzetfüzet változóit felülírják az azonos nevű változók az azonos munkamenetet használó más jegyzetfüzetekből.
Mivel a munkamenet már fut, ez azonnali futtatási élményt biztosít a felhasználóknak, amikor a munkamenetet több jegyzetfüzetben használják újra.
Feljegyzés
A magas egyidejűségi módú egyéni készletek esetében a felhasználók 36-szor gyorsabb munkamenet-indítási élményt kapnak, mint egy standard Spark-munkamenet.
Fontos
A munkamenet-megosztási feltételek a következők:
- A munkameneteknek egyetlen felhasználóhatáron belül kell lenniük.
- A munkamenetek alapértelmezett lakehouse-konfigurációjának meg kell egyeznie.
- A munkameneteknek azonos Spark számítási tulajdonságokkal kell rendelkezniük.
A Spark-munkamenet inicializálásának részeként létrejön egy REPL-mag. Minden alkalommal, amikor egy új elem elkezdi megosztani ugyanazt a munkamenetet, és a végrehajtók FAIR-alapú módon vannak lefoglalva az ezekben a REPL-magokban futó jegyzetfüzetekhez a Spark-alkalmazásban, megelőzve az éhezési forgatókönyveket.