Ajánlott eljárások: Fürtszabályzatok

Fontos

Ez a funkció a nyilvános előzetes verzióban érhető el.

Az Azure Databricks-fürtszabályzatok segítségével a rendszergazdák szabályozhatják a fürterőforrások létrehozását egy Azure Databricks-munkaterületen. A fürtszabályzatok hatékony használata lehetővé teszi a rendszergazdák számára a következőket:

• Szabványosított fürtkonfigurációk kényszerítése.
• Az erőforrások túlzott használatának megakadályozása és a kiadások szabályozása.
• A fürtök helyes címkézésével biztosíthatja a pontos költséghelyi elszámolást.
• Az elemzés és a feldolgozás megkönnyítése azáltal, hogy előre konfigurált fürtkonfigurációkat biztosít a felhasználóknak adott számítási feladatokhoz.

A fürtszabályzatok és a konfigurációs javaslatok bemutatásához tekintse meg a Databricks-fürtszabályzatok videóját:

A hatékony előkészítési, jóváhagyási és költséghelyi elszámolási folyamatokkal kombinálva a fürtszabályzatok az Azure Databricks platformirányításának alapvető összetevői lehetnek. Ez az útmutató javaslatokat és ajánlott eljárásokat mutat be a fürtszabályzatok szabályozási keretrendszerbe való integrálásának sikeres tervének létrehozásához.

Mivel a szabályozás egyedi az egyes szervezetek követelményei és a meglévő irányítási infrastruktúra alapján, ez a cikk a fürtszabályzatokra általában érvényes javaslatok áttekintésével kezdődik. A cikk utolsó szakasza a környezetében esetleg felmerülő kihívások kezelésére szolgáló stratégiákat ismerteti.

Ez a cikk az alábbi ajánlott eljárásokat és javaslatokat ismerteti a fürtirányítás sikeres bevezetésének biztosításához:

• Hozzon létre egy tervet a fürtszabályzatok fázisokban történő bevezetéséhez, hogy a felhasználók áttérhessenek egy szabályozott környezetre.
• Hozzon létre egy tervet a fürtszabályzatok bevezetésének egyes fázisaihoz tartozó változások közlésére.
• Azonosítsa a fürtirányítási kihívásokat, és implementáljon stratégiákat a kihívások kezelésére.

Fürtszabályzatok bevezetése

A fürtszabályzatok implementálása jelentős változást jelenthet a felhasználói élményben. A Databricks szakaszos megközelítést javasol, amely segít a felhasználóknak az áttérésben:

• Közölje a közelgő módosításokat, és lehetőséget biztosít a felhasználóknak a fürtkonfigurációk tesztelésére.
• Hajtsa végre a szoftveres bevezetést.
• Növekményesen vezessen be további szabályzatmódosításokat.
• Szigorú átállást hajthat végre egy teljes mértékben szabályozott környezetbe.

A szakaszos bevezetés lehetővé teszi, hogy a felhasználók megismerjék az új szabályzatokat, és megakadályozzák a meglévő számítási feladatok megszakítását. Az alábbi ábra erre az ajánlott folyamatra mutat példát:

A következő szakaszok részletesebb információkat nyújtanak ezekről a szakaszokról:

• Fürtszabályzatok kommunikációja és tesztelése
• A fürtszabályzatok bevezetésének szempontjai
• Végleges bevezetés

Fürtszabályzatok kommunikációja és tesztelése

A folyamat megkezdéséhez közölje a közelgő módosításokat a felhasználókkal. A kommunikációs tervnek tartalmaznia kell a következőket:

• A várható változások részletei.
• Miért történnek ezek a változások.
• Mit kell tennie a felhasználóknak a számítási feladatok sikeres átviteléhez.
• Visszajelzés küldése a változásokról.
• Ütemterv a bevezetés egyes szakaszaihoz.
• A szakaszos bevezetés egyes szakaszainak elején közölje az adott szakaszra vonatkozó további részleteket.

Az alábbi ábrán egy példa kommunikációs terv látható egy szakaszos bevezetéshez:

A terv a környezet- és fürtszabályzat-stratégiától függően különböző fázisokkal rendelkezhet. Ez a példa négy szakaszt tartalmaz:

• Az 1. fázis magában foglalja a terv felhasználókkal való közlését és a tesztelés megkezdését. A felhasználóknak lehetőséget kell adni arra, hogy az új szabályzatoknak megfelelő fürtökön teszteljék aktuális és várt számítási feladataikat. A folyamat korai szakaszában szeretné azonosítani a meglévő és tervezett számítási feladatokkal kapcsolatos problémákat.
• A 2. fázis a fürtcímkézési szabályzat bevezetése mellett folytatja a tesztelést.
• A 3. fázisban bevezetjük a fürttípusokat, ebben az esetben pedig pólóméreteket használó fürtöket határozunk meg, például kicsi, nagy vagy extra nagy fürttípusokat.
• A 4. fázis a fürtszabályzatok végleges bevezetése a teljes felhasználói dokumentációval együtt.

A felhasználóknak lehetőséget kell adni arra is, hogy a kezdeti szakaszban a tervezett fürtkonfigurációkkal teszteljék a számítási feladatokat. Ez a tesztelés segíthet azonosítani azokat a meglévő számítási feladatokat, amelyeknél problémák merülnek fel a javasolt szabályzatokkal kapcsolatban.

A fürtszabályzatok bevezetésének szempontjai

A fürtszabályzatok kezdeti üzembe helyezésének tervezésekor vegye figyelembe a jelenlegi felügyeleti házirendeket. Különösen gondolja át, hogy olyan környezetből lép-e át, amelyben a felhasználók nem hozhatnak létre fürtöket, vagy nyitottabb környezetet.

Korlátozó környezet

Olyan környezet esetén, ahol a felhasználók nem rendelkeztek fürt létrehozására vonatkozó engedélyekkel, először hozzon létre korlátozó szabályzatokat, valamint egy engedélyezési tervet a felhasználók számára. Az engedélyezési terv lehet számítógép-alapú képzés, workshopok vagy dokumentáció. Ha útmutatást ad a felhasználóknak a fürtök konfigurálásához szükséges ajánlott eljárásokról, azzal javítják a platform teljes körű kihasználásának képességét. A szabályzatok enyhíthetők, mivel a felhasználók bizonyítják a platform megfelelőségét és kompetenciáját.

Korlátlan környezet

A szabályzatok alkalmazása kihívást jelenthet egy korlátlan környezetben. Egyes meglévő használati esetek és fürtök szinte mindig kívül esnek az új szabályzat korlátain, ezért ezeknek a tesztelési vagy puha bevezetési fázisban történő azonosítása elengedhetetlen.

A fürt létrehozásával vagy a korlátlan szabályzathoz való hozzáféréssel rendelkező felhasználók a szoftveres bevezetés során megőrzik a szabályzathoz való hozzáférésüket, hogy az összes számítási feladat továbbra is működjön. A felhasználók a szoftveres bevezetés használatával tesztelhetik az összes számítási feladatukat az új szabályzatokkal, amelyeket elérhetővé fognak tenni számukra.

Ügyeljen arra, hogy a felhasználók visszajelzést küldjenek a szabályzatokról. A felhasználókkal együttműködve finomíthatja a szabályzatokat, vagy új szabályzatokat határozhat meg problémák esetén.

Végleges bevezetés

A határidő lejártakor távolítsa el a korlátozás nélküli szabályzatokhoz való hozzáférést a korlátozott felhasználók számára. A fürtszabályzatok bevezetésének most már be kell fejeződnie.

Konkrét kihívásokra vonatkozó & stratégiák

Az alábbiakban példákat láthat a fürtszabályzatok adott kihívásokra való alkalmazására. Ezen stratégiák közül sok alkalmazható egyszerre, de az egyes stratégiákat minden szabályzatban alkalmazni kell. Ha például a címkekényszerítési stratégiát használja a pólóméret-stratégiával, minden egyes pólószabályzatnak szüksége lesz egy szabályzatra custom_tag.* is.

Címkék kényszerítése

Kihívás

A felhasználók szabadon hozhatnak létre fürtöket, és nincs olyan mechanizmus, amellyel kényszeríthetik a szükséges címkék alkalmazását.

Megoldás

1. Fürt létrehozási engedélyének visszavonása a felhasználóktól.

2. Adjon hozzá egy fürtcímkeszabályt a vonatkozó fürtszabályzathoz. A fürtcímke-szabály szabályzathoz való hozzáadásához használja az custom_tags.<tag-name> attribútumot. Az érték bármilyen lehet egy korlátlan házirend alatt, vagy korlátozható rögzített, engedélyezési,tiltólista-, regex- vagy tartományszabályzatokkal . A helyes költséghelyi elszámolás és költséghelyi elszámolás biztosítása érdekében például minden szabályzathoz kényszerítsen egy COST_CENTER címkét, amely az engedélyezett költséghelyértékek listájára korlátozódik:

   {"custom_tags.COST_CENTER": {"type":"allowlist", "values":["9999", "9921", "9531" ]}}
   

   A házirendet használó összes felhasználónak ki kell töltenie egy COST_CENTER 9999-et, 9921-et vagy 9531-et a fürt indításához.

3. Rendelje hozzá a fürtszabályzatot azokhoz a felhasználókhoz, akiknek tudniuk kell fizetni a három költséghelyért. A házirendek felhasználó- vagy csoportszinten rendelhetők hozzá a fürtszabályzat felhasználói felületén vagy a PATCH /permissions/cluster-policies/{cluster_policy_id} végponton keresztül. Az alábbi példakérési törzs hozzárendel egy szabályzatot az értékesítési részleghez:

   {
     "access_control_list": [
       {
         "user_name": "user@mydomain.com",
         "all_permissions": [
           {
             "permission_level": "CAN_USE"
           }
         ]
       },
       {
         "group_name": "sales",
         "all_permissions": [
           {
             "permission_level": "CAN_USE"
           }
         ]
       }
     ]
   }
   

Tapasztalatlan felhasználók

Kihívás

A felhasználók nem ismerik a fürt- vagy felhőinfrastruktúra kiépítését, vagy túlterheltek a fürtlétrehozási lehetőségek.

Megoldás

Fürtszabályzatok használatával definiáljon "póló" méretű fürtkonfigurációkat, például kis, közepes vagy nagy fürtöket.

1. Hozzon létre egy szabályzatot minden pólómérethez. A pólóméret-szabályzatok a fürt méretének a felhasználókhoz viszonyított relatív méretét jelzik, és lehetnek rugalmas sablonok vagy nulla beállítású konfigurációk. A nulla vagy az alacsony beállítású szabályzatok gyakran rögzített és rejtett házirendszabályokat tartalmaznak. Az alábbi példa egy olyan szabályzatot határoz meg, amelynek rögzített értéke DBR 7.3 a spark_version. Ha igaz értékre állítja a hidden jelölőt, akkor ez a beállítás nem lesz látható a felhasználók számára.

   {"spark_version": { "type": "fixed", "value": "7.3.x-scala2.12", "hidden": true }}
   

   Rugalmas sablonok definiálásakor tartomány-, blokklista-, blokklista-, regex- és korlátlan szabályzatszabályzatokkal állíthat be felső határokat, nem választható mezőket és részben korlátozott házirendelemeket. Az alábbi példa egy olyan szabályzatot határoz meg, amely legfeljebb 25-höz engedélyezi az automatikus skálázást. Ezzel a definícióval felső határokat állíthat be az egyes pólóméreteken, miközben némi rugalmasságot biztosít. A fürtsablonok megközelítésének további részleteiért lásd: Túlzott erőforrás-használat.

   {"autoscale.max_workers": { "type": "range", "maxValue": "25", "defaultValue": 5}}
   

2. Rendelje hozzá a szabályzatot azokhoz a felhasználókhoz, akiknek engedélyezni kell a pólóméretű fürtök létrehozását. A házirendek felhasználó- vagy csoportszinten rendelhetők hozzá a fürtszabályzat felhasználói felületén vagy a Fürtszabályzat-engedélyek API-n keresztül. Ha például a felhasználói felületen keresztül szeretné hozzárendelni ezt a szabályzatot az összes felhasználóhoz:

   1. Nyissa meg a fürtszabályzatot, és válassza a Szerkesztés lehetőséget.

   2. Válassza az Engedélyek lapot.

   3. A legördülő menü Csoportok csoportjában válassza a Minden felhasználó lehetőséget.

      

3. A korlátozás nélküli szabályzathoz való hozzáférés visszavonása azon csoportoktól, amelyeknek csak ezeket az új szabályzatokat kell használniuk. A fürtszabályzatok használata után a "fürtlétrehozás" engedéllyel a felhasználók hozzáférhetnek a korlátlan házirendhez. Fontos visszavonni ezt az engedélyt azon felhasználók számára, akiknek nem szabad rendelkezniük vele.

   A fürtlétrehozás engedélyeinek visszavonásáról a Fürtlétrehozás engedélyének konfigurálása című témakörben olvashat.

Esetspecifikus szabályzatok használata

Kihívás

Egyes számítási feladatok vagy elemzések nem kompatibilisek a meglévő szabályzatokkal, vagy a felhasználók nem ismerik bizonyos számítási feladatokhoz a megfelelő fürtkonfigurációt.

Megoldás

Ha olyan számítási feladatokat talál, amelyek nem működnek jól a meglévő szabályzatokkal, gyakran jobb, ha új szabályzatokat hoz létre, amelyek kifejezetten ezekre a számítási feladatokra irányulnak a meglévő szabályzatok kiterjesztése helyett.

Ha segíteni szeretne a felhasználóknak fürtök létrehozásában ezekkel a szabályzatokkal, segíthet adott használati esetekhez igazított szabályzatok létrehozásában. Leíró neveket rendelhet ezekhez a szabályzatokhoz, hogy a felhasználók könnyebben azonosíthassák őket. Ha például a számítási feladatok olyan adatforrást kérdeznek le, amely támogatja a predikátumleküldést, ajánlott olyan szabályzatot létrehozni, amely az automatikus skálázást alacsony vagy nulla munkavégző minimális értékkel kényszeríti ki. Ez a szabályzat biztosítja, hogy a felhőszolgáltató és az Azure Databricks költségei ne növekedjenek szükségtelenül, miközben arra várnak, hogy az adatforrás kiszámítsa a lekérdezés leküldéses összetevőit.

1. Hozzon létre egy szabályzatot, amely kikényszeríti a használati esetekre vonatkozó ajánlott eljárásokat. Ez a példa egy olyan szabályzatot határoz meg, amelynek rögzített értéke 0 a feldolgozók minimális száma. Ez a szabályzat azt is kikényszeríti, hogy a fürt automatikusan skálázhatóvá válik, megfelelve a predikátum leküldéses példájának ajánlott eljárásának.

   {"autoscale.min_workers": { "type": "fixed", "value": "0", "hidden": false }}
   

2. Rendelje hozzá a szabályzatot azokhoz a felhasználókhoz, akiknek fürtöket kell létrehozniuk ezekhez a használati esetekhez. A házirendeket felhasználó- vagy csoportszinten a fürtszabályzat felhasználói felületén vagy az Permissions API 2.0-val rendelheti hozzá. Ha például ezt a szabályzatot egy adatelemző csoporthoz szeretné hozzárendelni a felhasználói felületen keresztül:

   1. Nyissa meg a fürtszabályzatot, és válassza a Szerkesztés lehetőséget.

   2. Válassza az Engedélyek lapot.

   3. Ha szabályzatot szeretne hozzárendelni egy adott csapathoz, válassza ki a csoport nevét a Felhasználó vagy csoport kiválasztása legördülő menüben.

      

Túlzott erőforrás-használat

Kihívás

A felhasználók szükségtelenül nagy fürtöket hoznak létre, amelyek túlzott és költséges erőforrásokat használnak fel. Ezt gyakran a következő okok okozzák:

• Nem sikerült aktiválni az automatikus skálázást.
• Az automatikus lezáró ablakok helytelen használata.
• A munkavégző csomópontok minimális száma.
• Drága példánytípusok.

Megoldás

A fürtszabályzatok belső jóváhagyási folyamattal való párosítása lehetővé teszi az erőforrások ellenőrzését, és szükség esetén hozzáférést biztosít a nagy számítási erőforrásokhoz.

1. Felülvizsgálati folyamat létrehozása a nagyobb vagy rugalmasabb szabályzatokhoz való hozzáférés biztosításához. A felülvizsgálati folyamatnak rendelkeznie kell egy beviteli űrlappal, amely olyan információkat gyűjt, amelyek támogatják a nagyobb vagy rugalmasabb fürtkonfigurációk szükségességét. A platform tulajdonosi csapatának ki kell értékelnie ezeket az információkat, hogy eldöntse, hogyan támogassa a számítási feladatokra vonatkozó követelményeket. Az alábbi ábra egy pólóméretezést használó jóváhagyási folyamatot szemléltet:

   

2. Rugalmasabb szabályzatokat hozhat létre kevesebb korlátozással, és a szabályozási elemek, például a címkék szabályozására összpontosíthat. Példa egy rugalmas szabályzatra:

   {
     "autoscale.min_workers": {
       "type": "range",
       "maxValue": 20,
       "defaultValue": 2
     },
     "autoscale.max_workers": {
       "type": "range",
       "maxValue": 100,
       "defaultValue": 8
     },
     "autotermination_minutes": {
       "type": "range",
       "maxValue": 120,
       "defaultValue": 60
     },
     "node_type_id": {
       "type": "blocklist",
       "values": ["Standard_E16s_v3", "Standard_E64as_v4", "Standard_E96as_v4", "Standard_E48as_v4"],
       "defaultValue": "i3.xlarge"
     },
     "driver_node_type_id": {
       "type": "blocklist",
       "values": ["Standard_E16s_v3", "Standard_E64as_v4", "Standard_E96as_v4", "Standard_E48as_v4"],
       "defaultValue": "i3.xlarge"
     },
     "spark_version": {
       "type": "fixed",
       "value": "7.3-scala2.12",
       "hidden": true
     },
     "enable_elastic_disk": {
       "type": "fixed",
       "value": true,
       "hidden": true
     },
     "custom_tags.team": {
       "type": "fixed",
       "value": "product"
     }
   }
   

   Ez a szabályzat rugalmasságot biztosít azáltal, hogy lehetővé teszi a felhasználó számára a következő lehetőségeket:

   • Néhánytól eltérő, túlzottan költséges példánytípusok közül választhat.
   • Fürt konfigurálása legfeljebb 100 csomópontig.
   • Állítsa be az automatikus leállítást 120 percre.

   Emellett ésszerű korlátokat is felvesz, és biztosítja a szabályozást:

   • Címke kényszerítése a csapat számára.
   • Automatikus skálázást igényel.
   • Rugalmas lemez automatikus skálázásának engedélyezése.
   • Az Azure Databricks futtatókörnyezet verziójának megadása.

   Ez a szabályzat olyan tapasztaltabb felhasználók számára ideális, akiknek különböző fürtkonfigurációkon kell finomhangolniuk a feladataikat, és jó példa egy jóváhagyási folyamathoz társítandó szabályzatra.

3. Dokumentálja a frissítési és jóváhagyási folyamatot, és ossza meg a felhasználókkal. Az is hasznos, ha útmutatást tesz közzé azoknak a számítási feladatoknak a azonosításához, amelyek nagyobb rugalmasságot vagy nagyobb fürtöket igényelhetnek.

4. A felhasználó jóváhagyása után rendelje hozzá a szabályzatot. A szabályzatok felhasználó- vagy csoportszinten rendelhetők hozzá a fürtszabályzat felhasználói felületén keresztül, vagy egy kérés elküldésével az Permissions API 2.0-nak:

   {
       "access_control_list": {
         "user_name": "users_email@yourdomain.com",
         "permission_level": "CAN_USE"
       }
   }
   

Tudj meg többet

További információ az Azure Databricks fürtszabályzatairól: Fürtszabályzatok kezelése és a fürtszabályzatokról szóló blog: Egyszerű fürtlétrehozás engedélyezése teljes Rendszergazda vezérléssel fürtszabályzatok használatával.