Ajánlott eljárások: Számítási szabályzatok

Figyelmeztetés

Ez a cikk archiválva lett, és lehet, hogy már nem tükrözi a termék aktuális állapotát. A számítási szabályzatokról további információt a számítási szabályzatok létrehozása és kezelése című témakörben talál.

Az Azure Databricks számítási szabályzatai lehetővé teszik a rendszergazdák számára a számítási erőforrások Azure Databricks-munkaterületen való létrehozását. A számítási szabályzatok hatékony használata lehetővé teszi a rendszergazdák számára a következőket:

• Szabványosított számítási konfigurációk kényszerítése.
• Az erőforrások túlzott használatának megakadályozása és a kiadások szabályozása.
• A számítási erőforrások megfelelő címkézésével biztosíthatja a pontos terhelés-visszaterhelést.
• Az elemzés és a feldolgozás megkönnyítése azáltal, hogy előre konfigurált számítási konfigurációkat biztosít a felhasználóknak adott számítási feladatokhoz.

A hatékony előkészítési, jóváhagyási és visszaterhelési folyamatokkal kombinálva a számítási szabályzatok az Azure Databricks platformszabályozásának alapvető összetevői lehetnek. Ez az útmutató javaslatokat és ajánlott eljárásokat mutat be a számítási szabályzatok szabályozási keretrendszerbe való integrálására szolgáló sikeres terv létrehozásához.

Mivel a szabályozás egyedi az egyes szervezetek követelményei és a meglévő irányítási infrastruktúra esetében, ez a cikk a számítási szabályzatokra gyakran alkalmazott javaslatokról szól. A cikk utolsó szakasza a környezetében esetleg felmerülő kihívások kezelésére szolgáló konkrét stratégiákat ismerteti.

Ez a cikk a következő ajánlott eljárásokat és javaslatokat ismerteti a számításirányítás sikeres bevezetésének biztosításához:

• Hozzon létre egy tervet a számítási szabályzatok fázisokban való bevezetéséhez, hogy a felhasználók áttérhessenek egy szabályozott környezetre.
• Hozzon létre egy tervet a számítási szabályzatok bevezetésének minden fázisában bekövetkező változások közléséhez.
• Azonosítsa a számítási szabályozási kihívásokat, és stratégiákat implementáljon ezekre a kihívásokra.

Számítási szabályzatok bevezetése

A számítási szabályzatok implementálása jelentős változást okozhat a felhasználói élményben. A Databricks egy szakaszos megközelítést javasol, amely segít végigvezetni a felhasználókat az áttűnésen:

• Közölje a közelgő módosításokat, és lehetőséget biztosít a felhasználóknak a számítási konfigurációk tesztelésére.
• Helyreállítható bevezetést hajt végre.
• Növekményesen vezessen be további szabályzatmódosításokat.
• Végezzen kemény átállást egy teljes mértékben szabályozott környezetbe.

A fázisos bevezetés lehetővé teszi a felhasználók számára, hogy megismerkedjenek az új szabályzatokkal, és megakadályozzák a meglévő számítási feladatok megszakítását. Az alábbi diagram egy példa erre az ajánlott folyamatra:

A következő szakaszok részletesebb információkat nyújtanak ezekről a szakaszokról:

• Számítási szabályzatok kommunikációja és tesztelése
• Számítási szabályzatok bevezetésének szempontjai
• Végleges bevezetés

Számítási szabályzatok kommunikációja és tesztelése

A folyamat megkezdéséhez közölje a felhasználókkal a közelgő módosításokat. A kommunikációs tervnek tartalmaznia kell a következőket:

• A megjelenő módosítások részletei.
• Miért történnek ezek a változások.
• Mit kell tennie a felhasználóknak a számítási feladatok sikeres áttűnésének biztosításához.
• Visszajelzés küldése a változásokról.
• Ütemterv a bevezetés egyes szakaszaihoz.
• A szakaszos bevezetés minden egyes szakaszának elején közölje az adott szakaszra vonatkozó további részleteket.

Az alábbi diagram egy példa kommunikációs tervet tartalmaz egy szakaszos bevezetéshez:

A terv a környezettől és a számítási szabályzatok stratégiájától függően különböző fázisokkal rendelkezhet. Ez a példa négy szakaszt tartalmaz:

• Az 1. szakasz magában foglalja a terv felhasználókkal való kommunikációját és a tesztelés kezdetét. A felhasználóknak lehetőséget kell adni arra, hogy az új szabályzatoknak megfelelő számítási feladatokon teszteljék a jelenlegi és várható számítási feladatokat. A folyamat korai szakaszában szeretné azonosítani a meglévő és tervezett számítási feladatokkal kapcsolatos problémákat.
• A 2. fázis a számítási címkézési szabályzat bevezetése mellett folytatja a tesztelést.
• A 3. szakasz bemutatja a számítási típusokat, ebben az esetben a számítást pólóméretekkel, például kis, nagy vagy extra nagy számítási típusok használatával adhatja meg.
• A 4. fázis a számítási szabályzatok végleges bevezetése a teljes felhasználói dokumentációval együtt.

A felhasználóknak lehetőséget kell adni arra is, hogy a kezdeti szakaszban a tervezett számítási konfigurációkkal teszteljék a számítási feladatokat. Ez a tesztelés segíthet azonosítani azokat a meglévő számítási feladatokat, amelyek a javasolt szabályzatokkal kapcsolatos problémákat tapasztalnak.

Számítási szabályzatok bevezetésének szempontjai

A számítási szabályzatok kezdeti üzembe helyezésének tervezésekor vegye figyelembe az aktuális felügyeleti szabályzatokat. Különösen gondolja át, hogy olyan környezetből költözik-e át, ahol a felhasználók nem hozhatnak létre számítást vagy nyíltabb környezetet.

Korlátozó környezet

Olyan környezet esetén, ahol a felhasználók nem rendelkeztek számítási engedélyekkel, először hozzon létre korlátozó szabályzatokat, és hozzon létre egy engedélyezési tervet a felhasználók számára. Az engedélyezési terv lehet számítógépalapú betanítás, workshopok vagy dokumentáció. Ha útmutatást ad a felhasználóknak a számítás konfigurálásához szükséges ajánlott eljárásokról, azzal javítják a platform teljes kihasználásának képességét. A szabályzatok enyhíthetők, mivel a felhasználók a platformnak való megfelelőséget és jártasságot tanúsítják.

Korlátlan környezet

A szabályzatok alkalmazása nagyobb kihívást jelenthet a korlátlan környezetben. Egyes meglévő használati esetek és számítások szinte mindig kívül esnek az új szabályzat korlátain, ezért ezeknek a tesztelési vagy soft bevezetési fázisban való azonosítása kulcsfontosságú.

A számítási engedélyekkel vagy a korlátozás nélküli szabályzathoz való hozzáféréssel rendelkező felhasználók a teljes bevezetés során fenntartják a szabályzathoz való hozzáférésüket, hogy az összes számítási feladat továbbra is működjön. A felhasználók a helyreállítható bevezetéssel tesztelhetik az összes számítási feladatot az új szabályzatokkal, amelyeket elérhetővé fognak tenni számukra.

Ügyeljen arra, hogy a felhasználók visszajelzést küldjenek a szabályzatokról. A felhasználókkal együttműködve finomíthatja a szabályzatokat, vagy új szabályzatokat határozhat meg problémák esetén.

Végleges bevezetés

A határidő elérésekor távolítsa el a korlátozás nélküli házirendekhez való hozzáférést a korlátozott felhasználók számára. A számítási szabályzatok bevezetésének végre kell hajtania.

Konkrét kihívások és stratégiák

Az alábbiakban példákat mutatunk be a számítási szabályzatok konkrét kihívások kezelésére való alkalmazására. Ezen stratégiák közül sok egyidejűleg alkalmazható, de minden szabályzatban szükség lesz az egyes stratégiák alkalmazására. Ha például a címkekényszerítési stratégiát használja a pólóméret-stratégiával, minden egyes pólószabályzatnak szabályzatra custom_tag.* is szüksége lesz.

Címke kényszerítése

Kihívás

A felhasználók szabadon hozhatnak létre számításokat, és nincs olyan mechanizmus, amely kényszeríti a szükséges címkék alkalmazását.

Megoldás

1. A számítási létrehozási engedély visszavonása a felhasználóktól.

2. Adjon hozzá egy számítási címkeszabályt a vonatkozó számítási szabályzatokhoz. A számítási címke szabályának szabályzathoz való hozzáadásához használja az custom_tags.<tag-name> attribútumot. Az érték korlátlan házirend alatt bármi lehet, vagy korlátozható rögzített, engedélyezési, tiltólista-, regex- vagy tartományszabályzatokkal. Például a helyes költségvisszatérítés és költség-hozzárendelés biztosításához kényszerítsen ki egy címkét COST_CENTER az egyes szabályzatokon, amelyek az engedélyezett költséghelyértékek listájára korlátozódnak:

   {"custom_tags.COST_CENTER": {"type":"allowlist", "values":["9999", "9921", "9531" ]}}
   

   A szabályzatot használó felhasználóknak ki kell tölteniük egy COST_CENTER 9999-et, 9921-et vagy 9531-et a számítás elindításához.

3. Rendelje hozzá a szabályzatot azokhoz a felhasználókhoz, akiknek a három költséghelyért díjat kell fizetni. A házirendek felhasználó- vagy csoportszinten rendelhetők hozzá a számítási szabályzat felhasználói felületén vagy a Szabályzatok API-n keresztül. A következő példakérési törzs egy szabályzatot rendel az értékesítési részleghez:

   {
     "access_control_list": [
       {
         "user_name": "user@mydomain.com",
         "all_permissions": [
           {
             "permission_level": "CAN_USE"
           }
         ]
       },
       {
         "group_name": "sales",
         "all_permissions": [
           {
             "permission_level": "CAN_USE"
           }
         ]
       }
     ]
   }
   

Tapasztalatlan felhasználók

Kihívás

A felhasználók nem ismerik a számítási vagy felhőinfrastruktúra kiépítését, vagy túlterhelték a számítási létrehozási lehetőségeket.

Megoldás

Számítási szabályzatok használatával definiálhat "póló" méretű számítási konfigurációkat, például kis, közepes vagy nagy méretű számításokat.

1. Hozzon létre egy szabályzatot minden egyes pólómérethez. A pólóméretszabályzatok relatív számítási méretet jeleznek a felhasználók számára, és lehetnek rugalmas sablonok vagy nulla beállítási konfigurációk. A nulla vagy az alacsony beállítású házirendek gyakran rögzített és rejtett szabályzatszabályokkal rendelkeznek. Az alábbi példa egy olyan szabályzatot határoz meg, amelynek rögzített értéke DBR 7.3 a spark_version. hidden A jelölő igaz értékre állítása biztosítja, hogy ez a beállítás ne legyen látható a felhasználók számára.

   {"spark_version": { "type": "fixed", "value": "auto:latest-ml", "hidden": true }}
   

   Rugalmas sablonok definiálásakor tartomány-, tiltólista-, regex- és korlátlan szabályzatszabályzatokkal állíthat be felső határokat, nem választható mezőket és félig korlátozott házirendelemeket. Az alábbi példa egy olyan szabályzatot határoz meg, amely lehetővé teszi a csomópontok automatikus skálázását legfeljebb 25-re. Ezzel a definícióval felső határokat állíthat be az egyes pólóméreteken, miközben némi rugalmasságot biztosít. A számítási sablon megközelítésének további részleteiért lásd: Túlzott erőforrás-használat.

   {"autoscale.max_workers": { "type": "range", "maxValue": "25", "defaultValue": 5}}
   

2. Rendelje hozzá a szabályzatot azokhoz a felhasználókhoz, akiknek engedélyezni kell a pólóméretű számítás létrehozását. A szabályzatok felhasználó- vagy csoportszinten rendelhetők hozzá a szabályzat felhasználói felületén vagy a Szabályzatengedélyek API-n keresztül. Ezt a szabályzatot például a felhasználói felületen keresztül rendelheti hozzá az összes felhasználóhoz:

   1. Nyissa meg a szabályzatot, és válassza a Szerkesztés lehetőséget.

   2. Válassza a Engedélyek lapot.

   3. A legördülő menü Csoportok csoportjában válassza az összes felhasználó lehetőséget.

      

3. Vonja vissza a korlátozás nélküli szabályzathoz való hozzáférést azoktól a csoportoktól, amelyeknek csak ezeket az új szabályzatokat kell használniuk. Miután használatban vannak a számítási szabályzatok, a "számítási létrehozás" engedélyhez való hozzáférés hozzáférést biztosít a felhasználóknak a korlátlan szabályzathoz. Fontos, hogy visszavonja ezt az engedélyt azon felhasználók számára, akiknek nem kellene rendelkezniük vele.

   A számítási létrehozási engedélyek visszavonásáról a Számítási létrehozási engedély konfigurálása című témakörben olvashat.

Esetspecifikus szabályzatok használata

Kihívás

Egyes számítási feladatok vagy elemzések nem kompatibilisek a meglévő szabályzatokkal, vagy a felhasználók nem tudják bizonyos számítási feladatok megfelelő konfigurációját.

Megoldás

Ha olyan számítási feladatokat talál, amelyek nem működnek jól a meglévő szabályzatokkal, gyakran jobb, ha a meglévő szabályzatok bővítése helyett kifejezetten azokra a számítási feladatokra célzott új szabályzatokat hoz létre.

Ha segíteni szeretné a felhasználókat a számítás ezen szabályzatok használatával történő létrehozásában, az segíthet az adott használati esetekre szabott szabályzatok létrehozásában. Leíró neveket rendelhet ezekhez a szabályzatokhoz, hogy a felhasználók könnyebben azonosíthassák őket. Ha például a számítási feladatok olyan adatforrást kérdeznek le, amely támogatja a predikátum leküldését, ajánlott eljárás egy olyan szabályzat létrehozása, amely az automatikus skálázást alacsony vagy nulla munkavégző minimális értékkel kényszeríti ki. Ez a szabályzat biztosítja, hogy a felhőszolgáltató és az Azure Databricks költségei ne növekedjenek szükségtelenül, miközben arra várnak, hogy az adatforrás kiszámítsa a lekérdezés leküldéses összetevőit.

1. Hozzon létre egy szabályzatot, amely kikényszeríti a használati esetspecifikus ajánlott eljárásokat. Ez a példa egy olyan szabályzatot határoz meg, amelynek rögzített értéke 0 a munkavállalók minimális száma. Ez a szabályzat azt is kikényszeríti, hogy a számítás automatikusan skálázni fog, megfelelve a predikátum leküldéses példa ajánlott gyakorlatának.

   {"autoscale.min_workers": { "type": "fixed", "value": "0", "hidden": false }}
   

2. Rendelje hozzá a szabályzatot azokhoz a felhasználókhoz, akiknek számítást kell készíteniük ezekhez a használati esetekhez. A szabályzatokat felhasználó vagy csoportszinten a szabályzat felhasználói felületén vagy az Engedélyek API-n keresztül rendelheti hozzá. Ha például ezt a szabályzatot egy adatelemző csoporthoz szeretné hozzárendelni a felhasználói felületen keresztül:

   1. Nyissa meg a szabályzatot, és válassza a Szerkesztés lehetőséget.

   2. Válassza a Engedélyek lapot.

   3. Ha szabályzatot szeretne hozzárendelni egy adott csapathoz, válassza ki a csoport nevét a Felhasználó vagy csoport kiválasztása legördülő menüben.

      

Túlzott erőforrás-használat

Kihívás

A felhasználók szükségtelenül nagy számítási kapacitást hoznak létre, és túlzott és költséges erőforrásokat használnak fel. Ezt gyakran a következő okok okozzák:

• Nem sikerült aktiválni az automatikus skálázást.
• Az automatikus leállítási ablakok helytelen használata.
• Magas minimális munkavégző csomópontok száma.
• Költséges példánytípusok.

Megoldás

A számítási szabályzatok belső jóváhagyási folyamattal való párosítása lehetővé teszi az erőforrások ellenőrzését, és szükség esetén hozzáférést biztosít a nagy számítási erőforrásokhoz is.

1. Hozzon létre egy felülvizsgálati folyamatot, amely hozzáférést biztosít a nagyobb vagy rugalmasabb szabályzatokhoz. A felülvizsgálati folyamatnak rendelkeznie kell egy beviteli űrlappal, amely olyan információkat gyűjt, amelyek támogatják a nagyobb vagy rugalmasabb számítási konfigurációk szükségességét. A platform tulajdonosi csapatának értékelnie kell ezeket az információkat, hogy eldöntse, hogyan támogatja a számítási feladatra vonatkozó követelményeket. Az alábbi ábra egy pólóméretezést használó jóváhagyási folyamatot szemléltet:

   

2. Hozzon létre rugalmasabb szabályzatokat kevesebb korlátozással, és összpontosítson a szabályozási elemek, például a címkék szabályozására. Példa egy rugalmas szabályzatra:

{
  "autoscale.min_workers": {
    "type": "range",
    "maxValue": 20,
    "defaultValue": 2
  },
  "autoscale.max_workers": {
    "type": "range",
    "maxValue": 100,
    "defaultValue": 8
  },
  "autotermination_minutes": {
    "type": "range",
    "maxValue": 120,
    "defaultValue": 60
  },
  "node_type_id": {
    "type": "blocklist",
    "values": ["Standard_E16s_v3", "Standard_E64as_v4", "Standard_E96as_v4", "Standard_E48as_v4"],
    "defaultValue": "Standard_L8s"
  },
  "driver_node_type_id": {
    "type": "blocklist",
    "values": ["Standard_E16s_v3", "Standard_E64as_v4", "Standard_E96as_v4", "Standard_E48as_v4"],
    "defaultValue": "Standard_L8s_v2"
  },
  "spark_version": {
    "type": "fixed",
    "value": "auto:latest-ml",
    "hidden": true
  },
  "enable_elastic_disk": {
    "type": "fixed",
    "value": true,
    "hidden": true
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

1. Dokumentálja a frissítési és jóváhagyási folyamatot, és ossza meg a felhasználókkal. Hasznos útmutatást is közzétenni azoknak a számítási feladatoknak a azonosításához, amelyek nagyobb rugalmasságot vagy nagyobb számítási kapacitást igényelhetnek.

2. A felhasználó jóváhagyása után rendelje hozzá a szabályzatot. A szabályzatok hozzárendelhetők felhasználó- vagy csoportszinten a szabályzat felhasználói felületén keresztül, vagy egy kérés elküldésével az Engedélyek API-nak:

   {
       "access_control_list": {
         "user_name": "users_email@yourdomain.com",
         "permission_level": "CAN_USE"
       }
   }
   

Tudj meg többet

Az Azure Databricks számítási szabályzataival kapcsolatos további információkért lásd a számítási szabályzatok létrehozását és kezelését, valamint a számítási szabályzatokról szóló blogunkat: Egyszerű fürtlétrehozás engedélyezése teljes Rendszergazda fürtszabályzatok használatával.