Fürtök kezelése

Ez a cikk az Azure Databricks-fürtök kezelését ismerteti, beleértve a teljesítmény és naplók megjelenítését, szerkesztését, indítását, leállítását, törlését, a hozzáférés szabályozását, valamint a teljesítmény és a naplók monitorozását.

Fürtök megjelenítése

Megjegyzés

Ez a cikk az örökölt fürtök felhasználói felületét ismerteti. Az előzetes verziójú felhasználói felület részletei, beleértve a fürtelérési módok terminológiai változásait, lásd: Fürt létrehozása. Az új és örökölt fürttípusok összehasonlításáért lásd: Fürtök felhasználói felületének változásai és fürthozzáférés módjai.

Ha meg szeretné jeleníteni a fürtöket a munkaterületen, kattintson a Számítás elemre az oldalsávon.

A Számítás lap két lapon jeleníti meg a fürtöket: a teljes körű fürtöket és a feladatfürtöket.

A bal oldalon két oszlop jelzi, hogy a fürt rögzítve van-e, és a fürt állapota:

• Rögzített
• , Megszakítás
• Standard fürt
  • 
  • Megszakítva
• Magas egyidejűségi fürt
  • 
  • Kiszolgáló
• Hozzáférés megtagadva
  • 
  • Zárolt
• A tábla ACL-jei engedélyezve
  • futtatása
  • A

A Minden célra szolgáló fürtök lap jobb szélén található egy ikon, a segítségével leállíthatja a fürtöt.

A háromgombos menü használhatja a fürt engedélyeinekújraindításához, klónozásához, törléséhez vagy szerkesztéséhez. A nem elérhető menübeállítások szürkében jelennek meg.

A Minden célra szolgáló fürtök lapon a látható.

Fürtlista szűrése

A jobb felső sarokban található gombok és keresőmező segítségével szűrheti a fürtlistákat:

Fürt rögzítése

A fürt leállása után 30 nappal a fürt véglegesen törlődik. Ha egy teljes körű fürtkonfigurációt a fürt 30 napnál tovább történő leállása után is meg szeretne tartani, a rendszergazda rögzítheti a fürtöt. Legfeljebb 100 fürt rögzíthető.

A fürtöt rögzítheti a fürtlistából vagy a fürtinformációs oldalról:

Fürt rögzítése a fürtlistából

Fürt rögzítéséhez vagy rögzítésének feloldásához kattintson a fürtnév bal oldalán található rögzítés ikonra.

Fürt rögzítése a fürtinformációs oldalról

Fürt rögzítéséhez vagy rögzítésének feloldásához kattintson a fürtnév jobb oldalán található rögzítés ikonra.

A Pin API-végpontot is meghívhatja a fürtök programozott rögzítéséhez.

Fürtkonfiguráció megtekintése JSON-fájlként

Néha hasznos lehet JSON-ként megtekinteni a fürtkonfigurációt. Ez különösen akkor hasznos, ha hasonló fürtöket szeretne létrehozni a Clusters API 2.0 használatával. Meglévő fürt megtekintésekor egyszerűen lépjen a Konfiguráció lapra, kattintson a lap jobb felső sarkában található JSON elemre, másolja ki a JSON-t, és illessze be az API-hívásba. A JSON-nézet csak használatra kész.

Fürt szerkesztése

A fürtkonfigurációt a fürtinformációs oldalról szerkesztheti. A fürtinformációs lap megjelenítéséhez kattintson a fürt nevére a Számítás lapon.

Az EDIT API-végpontot is meghívhatja a fürt programozott szerkesztéséhez.

Megjegyzés

• A fürthöz csatolt jegyzetfüzetek és feladatok szerkesztés után is csatolva maradnak.
• A fürtön telepített kódtárak a szerkesztés után is telepítve maradnak.
• Ha egy futó fürt bármely attribútumát szerkessze (kivéve a fürt méretét és engedélyeit), újra kell indítania. Ez megzavarhatja a fürtöt jelenleg használó felhasználókat.
• Csak futó vagy leállított fürtöket szerkeszthet. A fürt részleteinek lapján azonban frissítheti az olyan fürtök engedélyeit , amelyek nem szerepelnek ezekben az állapotokban.

A szerkeszthető fürtkonfigurációs tulajdonságokról további információt a Fürtök konfigurálása című témakörben talál.

Fürt klónozása

Új fürtöt meglévő fürt klónozásával hozhat létre.

A fürtlistában kattintson a háromgombos menü , és válassza a Klónozás lehetőséget a legördülő listából.

A fürtinformációs lapon kattintson a , és válassza a Klónozás lehetőséget a legördülő listából.

A fürtlétrehozás űrlapja előre fel van töltve a fürtkonfigurációval. A meglévő fürt alábbi attribútumai nem szerepelnek a klónban:

• Fürtengedélyek
• Telepített kódtárak
• Csatolt jegyzetfüzetek

Fürtökhöz való hozzáférés szabályozása

A Rendszergazda-konzolon belüli fürthozzáférés-vezérlés lehetővé teszi a rendszergazdák és a delegált felhasználók számára, hogy részletesebb fürthozzáférést biztosítsanak más felhasználóknak. A fürthozzáférés-vezérlésnek két típusa van:

• Fürtlétrehozás engedély: A rendszergazdák kiválaszthatják, hogy mely felhasználók hozhatnak létre fürtöket.

  

• Fürtszintű engedélyek: A Fürtök kezelésére jogosult felhasználók konfigurálhatják, hogy más felhasználók csatolhatják-e, újraindíthatják, átméretezhetik és kezelhetik-e a fürtöt a fürtlistáról vagy a fürt részleteiről.

  A fürtlistában kattintson a menüjére (/_static/images/clusters/cluster-3-buttons.png), majd válassza az Engedélyek szerkesztése lehetőséget.

  

  A fürt részletei lapon kattintson a , és válassza az Engedélyek lehetőséget.

  

A fürthozzáférés-vezérlés és a fürtszintű engedélyek konfigurálásával kapcsolatban lásd: Fürthozzáférés-vezérlés.

Fürt indítása

Az új fürtök létrehozása mellett egy korábban leállított fürtöt is elindíthat. Így újra létrehozhat egy korábban leállított fürtöt az eredeti konfigurációjával.

A fürtöt a fürtlistából, a fürtinformációs lapról vagy egy jegyzetfüzetből indíthatja el.

• Ha fürtöt szeretne elindítani a fürtlistából, kattintson a nyílra:

  

• Ha a fürt részleteit tartalmazó lapról szeretne fürtöt indítani, kattintson a Start gombra:

  

• Ha egy jegyzetfüzetből szeretne fürtöt indítani, kattintson a jegyzetfüzet fölötti Csatlakozás legördülő listára. Itt kiválaszthatja, hogy melyik fürtöt csatolja a jegyzetfüzethez.

  

A Start API-végpontot is meghívhatja a fürt programozott elindításához.

Az Azure Databricks egyedi fürtazonosítóval rendelkező fürtöt azonosít. Amikor elindít egy leállított fürtöt, a Databricks újra létrehozza a fürtöt ugyanazzal az azonosítóval, automatikusan telepíti az összes kódtárat, és újra csatolja a jegyzetfüzeteket.

Megjegyzés

Ha próbaverziós munkaterületet használ, és a próbaidőszak lejárt, nem fog tudni fürtöt elindítani.

Fürt automatikus indítása feladatokhoz

Ha egy meglévő leállított fürthöz rendelt feladat fut, vagy ha egy JDBC/ODBC-felületről csatlakozik egy leállított fürthöz, a fürt automatikusan újraindul. Lásd: Feladat létrehozása és JDBC-csatlakozás.

A fürt automatikus indítása lehetővé teszi, hogy úgy konfigurálja a fürtöket, hogy automatikusan létrejönjenek anélkül, hogy manuális beavatkozásra volna szükség a fürtök ütemezett feladatokhoz való újraindításához. Emellett ütemezheti a fürt inicializálását úgy is, hogy ütemez egy feladatot a leállított fürtön való futtatáshoz.

A fürt automatikus újraindítása előtt a rendszer ellenőrzi a fürt- és feladathozzáférés-vezérlési engedélyeket.

Megjegyzés

Ha a fürt az Azure Databricks platform 2.70-es vagy korábbi verziójában lett létrehozva, nincs automatikus indítás: a leállított fürtökön való futtatásra ütemezett feladatok sikertelenek lesznek.

Fürt leállása

A fürterőforrások mentéséhez leállíthat egy fürtöt. A leállított fürtök nem futtathatnak jegyzetfüzeteket vagy feladatokat, de a konfigurációját a rendszer tárolja, hogy később újra felhasználható legyen (vagy bizonyos típusú feladatok esetén automatikusan indítható legyen). Manuálisan is leállíthat egy fürtöt, vagy konfigurálhatja a fürtöt úgy, hogy egy adott inaktivitási időszak után automatikusan leálljon. Az Azure Databricks a fürt leállásakor rögzíti az adatokat. Ha a leállított fürtök száma meghaladja a 150-et, a legrégebbi fürtök törlődnek.

Ha nem rögzít egy fürtöt, a fürt leállása után 30 nappal automatikusan és véglegesen törlődik.

A leállított fürtök a fürtlistában jelennek meg, a fürt neve mellett pedig egy szürke kör látható.

Megjegyzés

Amikor új feladatfürtön futtat egy feladatot (ami általában ajánlott), a fürt leáll, és nem indítható újra a feladat befejezésekor. Ha viszont úgy ütemez egy feladatot, hogy egy leállított meglévő All-Purpose-fürtön fusson, a fürt automatikusan elindul.

Fontos

Ha Prémium szintű próbaverziós munkaterületet használ, az összes futó fürt leáll:

• Amikor teljes Prémium szintűre frissít egy munkaterületet.
• Ha a munkaterület nincs frissítve, és a próbaverzió lejár.

Manuális leállítás

A fürtöt manuálisan is leállíthatja a fürtlistáról vagy a fürtinformációs oldalról.

• Ha le szeretne zárni egy fürtöt a fürtlistából, kattintson a négyzetre:

  

• Ha le szeretne zárni egy fürtöt a fürtinformációs oldalról, kattintson a Leállítás gombra:

  

Automatikus leállítás

A fürtök automatikus leállítását is beállíthatja. A fürt létrehozása során megadhat egy inaktivitási időszakot percek alatt, amely után le szeretné zárni a fürtöt. Ha a fürt aktuális ideje és az utolsó parancsfuttatás közötti különbség nagyobb, mint a megadott inaktivitási időszak, az Azure Databricks automatikusan leállítja a fürtöt.

A fürt akkor minősül inaktívnak, ha a fürt összes parancsa , beleértve a Spark-feladatokat, a strukturált streamelést és a JDBC-hívásokat, befejeződött a végrehajtás.

Figyelmeztetés

• A fürtök nem jelentik a DStreamek használatából eredő tevékenységet. Ez azt jelenti, hogy egy automatikusan működő fürt leállhat a DStreams futtatása közben. Kapcsolja ki a DStreameket futtató fürtök automatikus leállítását, vagy fontolja meg a strukturált streamelés használatát.
• Az automatikus leállítási funkció csak a Spark-feladatokat figyeli, a felhasználó által definiált helyi folyamatokat nem. Ezért ha az összes Spark-feladat befejeződött, a fürt akkor is leállhat, ha helyi folyamatok futnak.
• A tétlen fürtök továbbra is halmoznak fel DBU- és felhőpéldány-díjakat a leállítás előtti inaktivitási időszakban.

Automatikus leállítás konfigurálása

Az automatikus leállítást a fürtlétrehozás lap Autopilot-beállítások mezőjében konfigurálhatja:

Fontos

Az automatikus leállítási beállítás alapértelmezett értéke attól függ, hogy standard vagy magas párhuzamosságú fürtöt hoz-e létre:

• A standard fürtök úgy vannak konfigurálva, hogy 120 perc után automatikusan leálljanak.
• A magas párhuzamosságú fürtök úgy vannak konfigurálva, hogy ne szakadjanak meg automatikusan.

Az automatikus leállítást az Automatikus leállítás jelölőnégyzet jelölésének törlésével vagy egy inaktivitási 0időszak megadásával tilthatja le.

Megjegyzés

Az automatikus leállítást a legújabb Spark-verziók támogatják a legjobban. A régebbi Spark-verziók ismert korlátozásokkal rendelkeznek, amelyek pontatlan fürttevékenység-jelentéskészítést eredményezhetnek. A JDBC, R vagy streamelési parancsokat futtató fürtök például jelenthetnek elavult tevékenységidőt, amely a fürt korai leállításához vezet. Frissítsen a Legújabb Spark-verzióra, hogy kihasználhassa a hibajavítások és az automatikus leállítás fejlesztései előnyeit.

Váratlan leállítás

Előfordulhat, hogy egy fürt váratlanul leáll, nem manuális leállítás vagy konfigurált automatikus leállítás eredményeként.

A megszüntetési okok és a szervizelési lépések listáját a Tudásbázisban találja.

Fürt törlése

A fürt törlése leállítja a fürtöt, és eltávolítja annak konfigurációját.

Figyelmeztetés

Ez a művelet nem vonható vissza.

Rögzített fürtöt nem törölhet. A rögzített fürtök törléséhez először egy rendszergazdának kell megszüntetnie a rögzítést.

A fürtlistában kattintson a háromgombos menü , és válassza a Törlés lehetőséget a legördülő listából.

A fürt részletei lapon kattintson a , és válassza a Törlés lehetőséget a legördülő listából.

A fürtök programozott törléséhez meghívhatja az Állandó törlés API-végpontot is.

Fürt újraindítása a legújabb rendszerképekkel való frissítéshez

Amikor újraindít egy fürtöt, az lekéri a számítási erőforrástárolók és a virtuálisgép-gazdagépek legfrissebb rendszerképeit. Különösen fontos a hosszú ideig futó fürtök rendszeres újraindításának ütemezése, amelyeket gyakran használnak bizonyos alkalmazásokhoz, például a streamelési adatok feldolgozásához.

Az Ön felelőssége, hogy az összes számítási erőforrást rendszeresen újraindítsa, hogy a rendszerkép naprakész maradjon a legújabb rendszerképverzióval.

Fontos

Ha engedélyezi a megfelelőségi biztonsági profilt a fiókjához vagy a munkaterületéhez, a hosszan futó fürtök 25 nap elteltével automatikusan újraindulnak. A Databricks azt javasolja, hogy a rendszergazdák indítsanak újra fürtöket, mielőtt 25 napig futnának, és ezt egy ütemezett karbantartási időszak során tennék meg. Ez csökkenti annak kockázatát, hogy az automatikus újraindítás megszakítja az ütemezett feladatokat.

A fürtöt többféleképpen is újraindíthatja:

• A felhasználói felületen indítsa újra a fürtöt a fürtinformációs oldalról. A fürtinformációs lap megjelenítéséhez kattintson a fürt nevére a Számítás lapon. Kattintson a Restart (Újraindítás) elemre.
• A Fürtök API-val indítsa újra a fürtöt.
• Használja az Azure Databricks által biztosított szkriptet, amely meghatározza, hogy mennyi ideig futnak a fürtök, és opcionálisan újraindítja őket , ha túllépnek egy megadott számú napot az indításuk óta

Futtasson egy szkriptet, amely meghatározza, hogy hány napja futnak a fürtök, és szükség esetén indítsa újra őket

Ha Ön munkaterület-rendszergazda, futtathat egy szkriptet, amely meghatározza, hogy az egyes fürtök mennyi ideig futnak, és ha egy adott számú napnál régebbiek, igény szerint újraindíthatja őket. Az Azure Databricks ezt a szkriptet jegyzetfüzetként biztosítja.

A szkript első sorai konfigurációs paramétereket határoznak meg:

• min_age_output: A fürtök által futtatható napok maximális száma. Az alapértelmezett érték 1.
• perform_restart: Ha True, a szkript újraindítja azokat a fürtöket, amelynek életkora meghaladja a által min_age_outputmegadott napok számát. Az alapértelmezett érték a False, amely azonosítja a hosszú ideig futó fürtöket, de nem indítja újra őket.
• secret_configuration: Cserélje le REPLACE_WITH_SCOPE a és REPLACE_WITH_KEY a elemet egy titkos hatókörre és kulcsnévre. A titkos kódok beállításával kapcsolatos további részletekért tekintse meg a jegyzetfüzetet.

Figyelmeztetés

Ha a értékre Truevan állítvaperform_restart, a szkript automatikusan újraindítja a jogosult fürtöket, ami az aktív feladatok meghiúsulását és a megnyitott jegyzetfüzetek alaphelyzetbe állítását okozhatja. A munkaterület üzleti szempontból kritikus feladatainak megzavarásának kockázatának csökkentése érdekében tervezze meg az ütemezett karbantartási időszakot, és mindenképpen értesítse a munkaterület felhasználóit.

Hosszú ideig futó fürtök jegyzetfüzetének azonosítása és szükség esetén újraindítása

Jegyzetfüzet beszerzése

Fürtinformációk megtekintése az Apache Spark felhasználói felületén

A Spark-feladatokkal kapcsolatos részletes információkat a Spark felhasználói felületén tekintheti meg, amelyet a Fürt részletei lap Spark felhasználói felület lapján érhet el.

Részletes információkat kaphat az aktív és a leállított fürtökről.

Egy leállított fürt újraindításakor a Spark felhasználói felülete az újraindított fürt információt jeleníti meg, nem pedig a leállított fürt előzményinformációit.

Fürtnaplók megtekintése

Az Azure Databricks a fürthöz kapcsolódó tevékenységek naplózásának három típusát biztosítja:

• Fürtesemény-naplók, amelyek rögzítik a fürt életciklusának eseményeit, például a létrehozást, a leállítást, a konfiguráció szerkesztését stb.
• Apache Spark-illesztőprogramok és munkavégző naplók, amelyeket hibakereséshez használhat.
• Fürt init-script naplói, értékesek az init-szkriptek hibakereséséhez.

Ez a szakasz a fürt eseménynaplóit, valamint az illesztőprogram- és feldolgozónaplókat ismerteti. Az init-script naplókkal kapcsolatos részletekért lásd: Init-szkriptnaplók.

Fürtesemény-naplók

A fürt eseménynaplója olyan fontos fürtéletciklus-eseményeket jelenít meg, amelyeket manuálisan aktiválnak felhasználói műveletek vagy az Azure Databricks automatikusan. Ezek az események hatással vannak a teljes fürt működésére, valamint a fürtön futó feladatokra is.

A támogatott eseménytípusokért tekintse meg a REST API ClusterEventType adatstruktúráját.

Az események tárolása 60 napig történik, ami hasonló az Azure Databricks egyéb adatmegőrzési idejéhez.

Fürteseménynapló megtekintése

1. Kattintson a Számítás az oldalsávon.

2. Kattintson egy fürt nevére.

3. Kattintson az Eseménynapló fülre.

   

Az események szűréséhez kattintson a a Szűrés eseménytípus szerint... mezőben, és jelöljön be egy vagy több eseménytípus jelölőnégyzetet.

Az Összes kijelölése lehetőség használatával egyszerűbben szűrhet bizonyos eseménytípusok kizárásával.

Eseményadatok megtekintése

Az eseményekkel kapcsolatos további információkért kattintson a napló sorára, majd a részletekért kattintson a JSON fülre.

Fürtillesztő és feldolgozói naplók

A notebookokból, feladatokból és kódtárakból származó közvetlen nyomtatási és naplóutasítások a Spark-illesztőprogram naplóiba kerülnek. Ezeknek a naplóknak három kimenete van:

• Standard kimenet
• Standard hiba
• Log4j-naplók

Ezeket a fájlokat a fürt részleteinek lapján, az Illesztőprogram-naplók lapon érheti el. A fájl letöltéséhez kattintson a naplófájl nevére.

A Spark feldolgozói naplóinak megtekintéséhez használhatja a Spark felhasználói felületét. A fürt naplók kézbesítési helyét is konfigurálhatja. A feldolgozói és a fürtnaplók is a megadott helyre érkeznek.

Teljesítmény monitorozása

Az Azure Databricks-fürtök teljesítményének monitorozásához az Azure Databricks hozzáférést biztosít a Ganglia-metrikákhoz a fürt részleteinek oldalán.

Emellett konfigurálhat egy Azure Databricks-fürtöt úgy, hogy az Azure Monitorban, az Azure monitorozási platformján metrikákat küldjön egy Log Analytics-munkaterületre.

Datadog-ügynököket telepíthet a fürtcsomópontokra, hogy Datadog-metrikákat küldjön a Datadog-fióknak.

Ganglia-metrikák

A Ganglia felhasználói felületének eléréséhez lépjen a Fürt részletei lap Metrikák lapjára. A CPU-metrikák a Ganglia felhasználói felületén érhetők el az összes Databricks-futtatókörnyezethez. A GPU-metrikák GPU-kompatibilis fürtökhöz érhetők el.

Az élő metrikák megtekintéséhez kattintson a Ganglia felhasználói felületére .

Az előzménymetrikák megtekintéséhez kattintson egy pillanatképfájlra. A pillanatkép a kiválasztott időpont előtti óra összesített metrikáit tartalmazza.

Metrikák gyűjteményének konfigurálása

Alapértelmezés szerint az Azure Databricks 15 percenként gyűjt Ganglia-metrikákat. A gyűjtési időszak konfigurálásához állítsa be a DATABRICKS_GANGLIA_SNAPSHOT_PERIOD_MINUTES környezeti változót egy init szkripttel vagy a spark_env_varsFürtlétrehozási API mezőjében.

Azure Monitor

Konfigurálhat egy Azure Databricks-fürtöt, hogy metrikákat küldjön az Azure Monitor, az Azure monitorozási platformjának Log Analytics-munkaterületére. A teljes útmutatót itt találja: Az Azure Databricks monitorozása.

Megjegyzés

Ha az Azure Databricks-munkaterületet a saját virtuális hálózatában helyezte üzembe, és hálózati biztonsági csoportokat (NSG-t) konfigurált az Azure Databricks által nem szükséges kimenő forgalom letiltására, akkor konfigurálnia kell egy további kimenő szabályt az "AzureMonitor" szolgáltatáscímkéhez.

Datadog-metrikák

Datadog-ügynököket telepíthet a fürtcsomópontokra, hogy Datadog-metrikákat küldjön a Datadog-fióknak. Az alábbi jegyzetfüzet bemutatja, hogyan telepíthet Datadog-ügynököt egy fürtön egy fürthatókörű init-szkripttel.

A Datadog-ügynök minden fürtön való telepítéséhez használjon globális init szkriptet a fürthatókörű Init-szkript tesztelése után.

A Datadog-ügynök init szkriptjegyzetfüzetének telepítése

Jegyzetfüzet beszerzése

Kihasználatlan példányok leszerelése

Megjegyzés

Ez a funkció a Databricks Runtime 8.0-s és újabb verziókban érhető el.

Mivel a kihasználatlan példányok csökkenthetik a költségeket, a fürtök létrehozása az igény szerinti példányok helyett a kihasználatlan példányok használatával gyakori módszer a feladatok futtatására. A kihasználatlan példányokat azonban a felhőszolgáltató ütemezési mechanizmusai előzhetik meg. A kihasználatlan példányok előzetes észlelése problémákat okozhat a futó feladatokkal kapcsolatban, beleértve a következőket:

• A lehívási hibák sorrendbe foglalása
• Adatvesztés elfojtása
• RDD-adatvesztés
• Feladathibák

A leszerelés engedélyezésének segítségével megoldhatja ezeket a problémákat. A leszerelés kihasználja azt az értesítést, amelyet a felhőszolgáltató általában a kihasználatlan példány leszerelése előtt küld. Ha egy végrehajtót tartalmazó kihasználatlan példány előzetes értesítést kap, a leszerelési folyamat megpróbálja áttelepíteni az elosztási és RDD-adatokat az kifogástalan állapotú végrehajtókra. A végső előfeltételek előtti időtartam általában 30 másodperctől 2 percig tart, a felhőszolgáltatótól függően.

A Databricks az adatmigrálás engedélyezését javasolja, ha a leszerelés is engedélyezve van. A hibák valószínűsége általában csökken, mivel több adat migrálása történik, beleértve a lehívási hibák, az adatelküldő adatvesztés és az RDD-adatvesztés lehetőségét. Az adatmigrálás emellett kevesebb újraszámítást és költségmegtakarítást eredményezhet.

A leszerelés a legjobb erőfeszítés, és nem garantálja, hogy az összes adat migrálható a végső előfeltételek előtt. A leszerelés nem garantálja az elegyítési beolvasási hibákat, ha a futó feladatok az elosztási adatokat a végrehajtótól lekérik.

Ha a leszerelés engedélyezve van, a kihasználatlan példányok előmegelőzése által okozott feladathibák nem lesznek hozzáadva a sikertelen kísérletek teljes számához. Az előhiba által okozott feladathibák nem számítanak sikertelen kísérletnek, mert a hiba oka kívül van a tevékenységen, és nem eredményez feladathibát.

A leszerelés engedélyezéséhez állítsa be a Spark konfigurációs beállításait és környezeti változóit a fürt létrehozásakor:

• Alkalmazások leszerelésének engedélyezése:

  spark.decommission.enabled true
  

• Az adatáttelepítés engedélyezése a leszerelés során:

  spark.storage.decommission.enabled true
  spark.storage.decommission.shuffleBlocks.enabled true
  

• Az RDD-gyorsítótár adatmigrálásának engedélyezése leszerelés közben:

  Megjegyzés

  Ha az RDD StorageLevel replikációja 1-nél többre van állítva, a Databricks nem javasolja az RDD-adatok áttelepítésének engedélyezését, mivel a replikák biztosítják, hogy az RDD-k ne veszítsék el az adatokat.

  spark.storage.decommission.enabled true
  spark.storage.decommission.rddBlocks.enabled true
  

• A feldolgozók leszerelésének engedélyezése:

  SPARK_WORKER_OPTS="-Dspark.decommission.enabled=true"
  

Az alábbi egyéni Spark-konfigurációs tulajdonságok beállítása:

1. Az Új fürt lapon kattintson a Speciális beállítások váltógombra.

2. Kattintson a Spark fülre.

   

Ha a felhasználói felületről szeretné elérni egy feldolgozó leszerelési állapotát, lépjen a Spark-fürt felhasználói felületének fő lapjára:

Amikor a leszerelés befejeződik, a leszerelt végrehajtó megjeleníti a veszteség okát a Spark felhasználói > felületének végrehajtói lapon a fürt részletek oldalán: