Fürtszabályzatok kezelése

Fontos

Ez a funkció a nyilvános előzetes verzióban érhető el.

A fürtszabályzatok olyan eszközök, amellyel a felhasználók vagy csoportok fürtlétrehozásának engedélyeit szabályzatszabályok alapján korlátozhatják.

A fürtszabályzatok a következőket teszik lehetővé:

• Korlátozza a felhasználókat az előírt beállításokkal rendelkező fürtök létrehozására.
• Korlátozza a felhasználókat bizonyos számú fürt létrehozására.
• Egyszerűsítse a felhasználói felületet, és engedélyezze, hogy több felhasználó hozzon létre saját fürtöket (bizonyos értékek javításával és elrejtésével).
• A költségek szabályozása fürtönkénti maximális költség korlátozásával (azoknak az attribútumoknak a korlátozásával, amelyek értékei hozzájárulnak az óránkénti árhoz).

A fürtszabályzatok és a konfigurációs javaslatok ismertetését a Databricks-fürtszabályzatok videójában tekintheti meg:

Ez a cikk a szabályzatok felhasználói felülettel történő kezelésével foglalkozik. A szabályzatok kezeléséhez használhatja a Fürtszabályzatok API 2.0-t és az Permissions API 2.0-t is.

Személyes számítási szabályzat

A Személyes számítás egy Azure Databricks által felügyelt fürtszabályzat, amely alapértelmezés szerint minden Azure Databricks-munkaterületen elérhető. Ha hozzáférést ad a felhasználóknak ehhez a szabályzathoz, az lehetővé teszi számukra, hogy egyéni használatra egygépes számítási erőforrásokat hozzanak létre az Azure Databricksben.

A rendszergazdák kezelhetik a hozzáférést , és testre szabhatják a szabályzatszabályokat a munkaterület igényeinek megfelelően.

Követelmények

A fürtszabályzatokhoz prémium szintű csomagra van szükség.

Kényszerítési szabályok

A szabályzatszabályokban a következő típusú korlátozásokat fejezheti ki:

• Rögzített érték letiltott vezérlőelemmel
• Rögzített érték a felhasználói felületen rejtett vezérlőelemmel (az érték látható a JSON nézetben)
• Értékkészletre korlátozott attribútumérték (lista engedélyezése vagy tiltólista)
• Egy adott regexnek megfelelő attribútumérték
• Adott tartományra korlátozott numerikus attribútum
• A felhasználói felület által használt alapértelmezett érték, amelyen engedélyezve van a vezérlő

Felügyelt fürtattribútumok

A fürtszabályzatok a Clusters API 2.0-val vezérelt összes fürtattribútumot támogatják. A támogatott korlátozások konkrét típusa mezőnként eltérő lehet (a fürt űrlapjának felhasználói felületének elemeihez való viszonyuktól függően).

Emellett a fürtszabályzatok a következő szintetikus attribútumokat támogatják:

• Egy "maximális DBU-óra" metrika, amely a fürt által óránként használható maximális ADATBÁZIS-mennyiség. Ez a metrika közvetlen módszer a költségek szabályozására az egyes fürtök szintjén.
• A fürtöt létrehozó forrásra vonatkozó korlát: Feladatok szolgáltatás (feladatfürtök), Fürtök felhasználói felülete, Fürtök REST API (teljes körű fürtök).

Nem felügyelt fürtattribútumok

A következő fürtattribútumok nem korlátozhatók fürtszabályzatokban:

• Könyvtárak, amelyeket a Libraries API 2.0 kezel. Áthidaló megoldásként egyéni tárolót vagy init szkriptet kell használni.
• A fürtengedélyeket (ACL-eket) egy külön API kezeli.

Fürtszabályzat definiálása

A fürtszabályzatot egy JSON-szabályzatdefinícióban határozhatja meg, amelyet a fürtszabályzat létrehozásakor ad hozzá.

Fürtszabályzat létrehozása

Fürtszabályzatot a fürtszabályzatok felhasználói felületén vagy a Fürtszabályzatok API 2.0-val hozhat létre. Fürtszabályzat létrehozása a felhasználói felületen:

1. Kattintson a Számítás az oldalsávon.
2. Kattintson a Szabályzatok fülre.
3. Kattintson a Fürtszabályzat létrehozása elemre.
4. Nevezze el a szabályzatot. A szabályzatnevek nem különböztetik meg a kis- és nagybetűket.
5. Igény szerint válassza ki a házirendcsaládot a Család legördülő listából. Ez határozza meg azt a sablont, amelyből létrehozza a szabályzatot. Lásd: szabályzatcsalád.
6. Adja meg a szabályzat leírását . Ez segít másoknak a szabályzat céljának megismerésében.
7. A Definíció lapon illessze be a szabályzatdefiníciót.
8. Kattintson a Létrehozás lehetőségre.

Meglévő fürtszabályzat klónozása

Fürtszabályzatot meglévő szabályzat klónozásával hozhat létre. Fürtszabályzat klónozása a felhasználói felületen:

1. Kattintson a Számítás az oldalsávon.
2. Kattintson a Szabályzatok fülre.
3. Válassza ki a klónozni kívánt szabályzatot.
4. Kattintson a Klónozás gombra.
5. A következő lapon minden mező előre fel lesz töltve a meglévő szabályzat értékeivel. Módosítsa a módosítani kívánt mezők értékeit, majd kattintson a Létrehozás gombra.

Fürtszabályzat-engedélyek kezelése

A munkaterület rendszergazdái minden szabályzathoz rendelkeznek engedéllyel.

Fürt létrehozásakor a nem rendszergazdák csak olyan szabályzatokat választhatnak, amelyekhez engedélyt kaptak. Ha egy felhasználó rendelkezik fürtlétrehozás engedéllyel, akkor kiválaszthatja a Korlátlan szabályzatot is, így teljesen konfigurálható fürtöket hozhat létre.

Megjegyzés

Ha a felhasználó nem rendelkezik hozzáféréssel egyetlen szabályzathoz sem, a szabályzat legördülő listája nem jelenik meg.

Fürtszabályzat-engedély hozzáadása

Fürtszabályzat-engedély hozzáadása a felhasználói felületen:

1. Kattintson a Számítás az oldalsávon.
2. Kattintson a Szabályzatok fülre.
3. Válassza ki a frissíteni kívánt szabályzatot.
4. Jelenítse meg az Engedélyek lapot.
5. A Név oszlopban válasszon ki egy tagot.
6. Az Engedély oszlopban válasszon ki egy engedélyt.
7. Kattintson a Hozzáadás parancsra.

Fürtszabályzat-engedély törlése

Fürtszabályzat-engedély törlése a felhasználói felületen:

1. Kattintson a Számítás az oldalsávon.
2. Kattintson a Szabályzatok fülre.
3. Válassza ki a frissíteni kívánt szabályzatot.
4. Jelenítse meg az Engedélyek lapot.
5. Kattintson az ikonjára.

Fürtök számának korlátozása felhasználónként

A szabályzatengedélyek lehetővé teszik a fürtök felhasználónkénti maximális számának beállítását. Ez határozza meg, hogy a felhasználó hány fürtöt hozhat létre ezzel a szabályzattal. Ha a felhasználó túllépi a korlátot, a művelet sikertelen lesz.

A felhasználók által létrehozható fürtök számának korlátozásához használja a Fürtök maximális száma felhasználónként beállítást a fürtszabályzatok felhasználói felületén, az Engedélyek lapon.

Megjegyzés

Az Azure Databricks nem állítja le proaktívan a fürtöket a korlát fenntartása érdekében. Ha egy felhasználó három fürttel rendelkezik a szabályzattal, és a rendszergazda egyre csökkenti a korlátot, a három fürt továbbra is futni fog. Az extra fürtöket manuálisan kell leállíteni, hogy megfeleljenek a korlátnak.

Fürtszabályzat szerkesztése a felhasználói felületen

Fürtszabályzatot a fürtszabályzatok felhasználói felületén vagy a Fürtszabályzatok API 2.0-val szerkeszthet. Fürtszabályzat szerkesztése a felhasználói felületen:

1. Kattintson a Számítás az oldalsávon.

2. Kattintson a Fürtszabályzatok fülre.

   

3. Válassza ki a szerkeszteni kívánt szabályzatot.

4. Kattintson a Szerkesztés gombra.

5. A Definíció lapon szerkessze a szabályzatdefiníciót.

6. Kattintson a Frissítés parancsra.

Fürtszabályzat törlése a felhasználói felületen

A fürtszabályzatok felhasználói felületén vagy a Fürtszabályzatok API 2.0-val törölhet egy fürtszabályzatot. Fürtszabályzat törlése a felhasználói felületen:

1. Kattintson a Számítás az oldalsávon.

2. Kattintson a Fürtszabályzatok fülre.

   

3. Válassza ki a törölni kívánt szabályzatot.

4. Kattintson a Törlés gombra.

5. A megerősítéshez kattintson a Törlés gombra.

Fürtszabályzat-családok

Fürtszabályzat létrehozásakor dönthet úgy, hogy szabályzatcsaládot használ. A házirendcsaládok előre kitöltött szabályzatszabályokat biztosítanak a gyakori számítási használati esetekhez. Létezik például egy személyes számítási házirendcsalád, ahol egyéni szabályzatot hozhat létre a személyes számítási szabályzat alapján.

Szabályzatcsalád használata esetén a szabályzat szabályai a szabályzatcsaládtól öröklődnek. Miután kiválasztotta a szabályzatcsaládot, létrehozhatja a szabályzatot az adott módon, vagy hozzáadhat szabályokat, vagy felülbírálhatja az adott szabályokat.

Egyéni szabályzat létrehozása szabályzatcsalád használatával

Szabályzat testreszabása szabályzatcsalád használatával:

1. Kattintson a Számítás az oldalsávon.
2. Kattintson a Szabályzatok fülre.
3. Kattintson a Fürtszabályzat létrehozása elemre.
4. Nevezze el a szabályzatot. A szabályzatnevek nem különböztetik meg a kis- és nagybetűket.
5. Válassza ki a házirendcsaládot a Család legördülő listából.
6. A Definíciók lapon kattintson a Szerkesztés gombra.
7. Megjelenik egy modális, ahol felülbírálhatja a szabályzatdefiníciókat. A Felülbírálások szakaszban adja hozzá a frissített definíciókat, majd kattintson az OK gombra.

Fürtszabályzat-definíciók

A fürtszabályzat-definíciók JSON-ban kifejezett egyedi szabályzatdefiníciók gyűjteményei.

Ebben a szakaszban:

• Szabályzatdefiníciók
• Szabályzatelemek
• Fürtszabályzat attribútumainak elérési útjai
• Fürtszabályzat virtuális attribútumainak elérési útjai
• Tömbattribútumok

Szabályzatdefiníciók

A szabályzatdefiníció egy attribútumot meghatározó elérésiút-sztring és egy korláttípus közötti térkép. Attribútumonként csak egy korlátozás lehet. Az elérési út az erőforrás típusára jellemző, és az erőforrás-létrehozási API-attribútum nevét tükrözi. Ha az erőforrás létrehozása beágyazott attribútumokat használ, az elérési út pontokkal fűzi össze a beágyazott attribútumneveket. A szabályzatdefinícióban nem definiált attribútumok korlátlanok, ha fürtöt hoz létre a szabályzat használatával.

interface Policy {
  [path: string]: PolicyElement
}

Szabályzatelemek

A szabályzatelemek egy adott attribútum támogatott korláttípusát és opcionálisan egy alapértelmezett értéket határoznak meg. Az alapértelmezett értéket anélkül adhatja meg, hogy korlátozná a szabályzat attribútumát.

type PolicyElement = FixedPolicy | ForbiddenPolicy | (LimitingPolicyBase & LimitingPolicy);
type LimitingPolicy = AllowlistPolicy | BlocklistPolicy | RegexPolicy | RangePolicy | UnlimitedPolicy;

Ez a szakasz a szabályzattípusokat ismerteti:

• Rögzített szabályzat
• Tiltott szabályzat
• Szabályzatok korlátozása: gyakori mezők
• Listaszabályzat engedélyezése
• Listaszabályzat letiltása
• Regex-szabályzat
• Tartományszabályzat
• Korlátlan szabályzat

Rögzített szabályzat

Korlátozza az értéket a megadott értékre. A numerikustól és a logikaitól eltérő attribútumértékek esetében az attribútum értékét sztringgel kell ábrázolni vagy átalakítani. Az attribútum elrejthető a felhasználói felületen, ha a hidden jelölő jelen van, és értékre truevan állítva. A rögzített szabályzatok nem adhatnak meg alapértelmezett értéket.

interface FixedPolicy {
    type: "fixed";
    value: string | number | boolean;
    hidden?: boolean;
}

Példa

{
  "spark_version": { "type": "fixed", "value": "7.3.x-scala2.12", "hidden": true }
}

Tiltott szabályzat

Választható attribútumok esetén tiltsa le az attribútum használatát.

interface ForbiddenPolicy {
    type: "forbidden";
}

Példa

Ez a szabályzat megtiltja, hogy készleteket csatoljon a fürthöz a munkavégző csomópontok számára. Az illesztőcsomópont készletei is tiltottak, mert driver_instance_pool_id öröklik a szabályzatot.

{
  "instance_pool_id": { "type": "forbidden" }
}

Szabályzatok korlátozása: gyakori mezők

Korlátozó szabályzatban két további mezőt adhat meg:

• defaultValue – az az érték, amely feltölti a fürtlétrehozási űrlapot a felhasználói felületen.
• isOptional – az attribútumokra vonatkozó korlátozási szabályzatok megkövetelik. Ha nem kötelezővé szeretné tenni az attribútumot, állítsa a isOptional mezőt true (igaz) értékre.

interface LimitedPolicyBase {
    defaultValue?: string | number | boolean;
    isOptional?: boolean;
}

Példa

{
  "instance_pool_id": { "type": "unlimited", "isOptional": true, "defaultValue": "id1" }
}

Ez a példaszabályzat a munkavégző csomópontok készletének alapértelmezett értékét id1 adja meg, de nem kötelezővé teszi. A fürt létrehozásakor választhat másik készletet, vagy dönthet úgy, hogy nem használ egyet. Ha driver_instance_pool_id nincs definiálva a szabályzatban vagy a fürt létrehozásakor, ugyanazt a készletet használja a rendszer a munkavégző csomópontokhoz és az illesztőprogram-csomóponthoz.

Listaszabályzat engedélyezése

Az engedélyezett értékek listája.

interface AllowlistPolicy {
  type: "allowlist";
  values: (string | number | boolean)[];
}

Példa

{
  "spark_version":  { "type": "allowlist", "values": [ "7.2.x-scala2.12", "7.3.x-scala2.12" ] }
}

Listaszabályzat letiltása

A nem engedélyezett értékek listája. Mivel az értékeknek pontos egyezésnek kell lenniük, előfordulhat, hogy ez a szabályzat nem a várt módon működik, ha az attribútum megengedi az érték ábrázolásának módját (például bevezető és záró szóközök engedélyezését).

interface BlocklistPolicy {
  type: "blocklist";
  values: (string | number | boolean)[];
}

Példa

{
  "spark_version":  { "type": "blocklist", "values": [ "4.0.x-scala2.11" ] }
}

Regex-szabályzat

A regexnek megfelelő értékekre korlátozza az értéket. A biztonság érdekében, ha a regex megfeleltetése mindig a sztringérték elejéhez és végéhez van rögzítve.

interface RegexPolicy {
  type: "regex";
  pattern: string;
}

Példa

{
  "spark_version":  { "type": "regex", "pattern": "5\\.[3456].*" }
}

Tartományszabályzat

Az és attribútumok által megadott tartományra korlátozza az minValuemaxValue értéket. Az értéknek tizedes törtnek kell lennie. A numerikus korlátoknak dupla lebegőpontos értékként kell ábrázolhatóknak lenniük. Egy adott korlát hiányának jelzéséhez kihagyhatja az egyiket.minValuemaxValue

interface RangePolicy {
  type: "range";
  minValue?: number;
  maxValue?: number;
}

Példa

{
  "num_workers":  { "type": "range", "maxValue": 10 }
}

Korlátlan szabályzat

Nem határoz meg értékkorlátokat. Ezzel a szabályzattípussal megkövetelheti az attribútumokat, vagy beállíthatja az alapértelmezett értéket a felhasználói felületen.

interface UnlimitedPolicy {
  type: "unlimited";
}

Példa

A címke hozzáadásának COST_BUCKET megkövetelése:

{
  "custom_tags.COST_BUCKET":  { "type": "unlimited" }
}

Egy Spark-konfigurációs változó alapértelmezett értékének beállításához, de a kihagyás (eltávolítás) engedélyezéséhez is:

{
  "spark_conf.spark.my.conf":  { "type": "unlimited", "isOptional": true, "defaultValue": "my_value" }
}

Fürtszabályzat attribútumainak elérési útjai

Az alábbi táblázat a támogatott fürtszabályzat-attribútumok elérési útvonalait sorolja fel.

Attribútum elérési útja	Típus	Description
autoscale.max_workers	nem kötelező szám	Rejtett állapotban eltávolítja a maximális munkavégzőszám mezőt a felhasználói felületről.
autoscale.min_workers	nem kötelező szám	Rejtett állapotban eltávolítja a minimális munkavégzőszám mezőt a felhasználói felületről.
autotermination_minutes	szám	A 0 érték nem jelent automatikus leállítást. Rejtett állapotban eltávolítja az automatikus leállítás jelölőnégyzetét és az értékbevitelt a felhasználói felületről.
cluster_log_conf.path	sztring	A naplófájlok cél URL-címe.
cluster_log_conf.type	sztring	DBFS
cluster_name	sztring	A fürt neve.
custom_tags.*	sztring	A címke nevének hozzáfűzésével szabályozhatja az adott címkeértékeket, például: custom_tags.<mytag>.
docker_image.basic_auth.password	sztring	A Databricks Container Services rendszerkép alapszintű hitelesítésének jelszava.
docker_image.basic_auth.username	sztring	A Databricks Container Services rendszerkép alapszintű hitelesítésének felhasználóneve.
docker_image.url	sztring	A Databricks Container Services rendszerképÉNEK URL-címét szabályozza. Rejtett állapotban eltávolítja a Databricks Container Services szakaszt a felhasználói felületről.
driver_node_type_id	opcionális sztring	Ha rejtett, eltávolítja az illesztőcsomópont-típus kiválasztását a felhasználói felületről.
enable_local_disk_encryption	boolean	Állítsa be úgy true , hogy engedélyezze vagy false letiltsa a fürthöz helyileg csatolt lemezek titkosítását (az API-n keresztül megadottak szerint).
init_scripts.*.dbfs.destination, init_scripts.*.file.destination	sztring	* az init szkript indexére hivatkozik az attribútumtömbben. Lásd: Tömbattribútumok.
instance_pool_id	sztring	A munkavégző csomópontok által használt készletet szabályozza, ha driver_instance_pool_id az is meg van határozva, vagy ha az összes fürtcsomópont másként van definiálva. Ha munkavégző csomópontokhoz használ készleteket, az illesztőprogram-csomóponthoz is készleteket kell használnia. Rejtett állapotban eltávolítja a készletkijelölést a felhasználói felületről.
driver_instance_pool_id	sztring	Ha meg van adva, az illesztőprogram-csomóponthoz eltérő készletet konfigurál, mint a munkavégző csomópontokhoz. Ha nincs megadva, a örökli a értéket instance_pool_id. Ha munkavégző csomópontokhoz használ készleteket, az illesztőprogram-csomóponthoz is készleteket kell használnia. Rejtett állapotban eltávolítja az illesztőprogram-készlet kijelölését a felhasználói felületről.
node_type_id	sztring	Rejtett állapotban eltávolítja a munkavégző csomópont típusának kijelölését a felhasználói felületről.
num_workers	nem kötelező szám	Rejtett állapotban eltávolítja a feldolgozószám specifikációját a felhasználói felületről.
single_user_name	sztring	A hitelesítő adatok átengedése egyetlen felhasználó hozzáférésének felhasználóneve.
spark_conf.*	opcionális sztring	A konfigurációs kulcs nevének hozzáfűzésével szabályozza a konfigurációs értékeket, például: spark_conf.spark.executor.memory.
spark_env_vars.*	opcionális sztring	A Spark-környezeti változók adott értékeit szabályozza a környezeti változó hozzáfűzésével, például: spark_env_vars.<environment variable name>.
spark_version	sztring	A Spark-rendszerkép verziójának neve (az API-n keresztül megadottak szerint).

Fürtszabályzat virtuális attribútumainak elérési útjai

Attribútum elérési útja	Típus	Description
dbus_per_hour	szám	A fürt DBU-költségét (automatikus skálázási fürtök esetén maximum) képviselő számított attribútum, beleértve az illesztőprogram-csomópontot is. Tartománykorlátozással való használatra.
cluster_type	sztring	A létrehozható fürt típusát jelöli: * all-purpose Az Azure Databricks teljes körű fürtjeihez * job a feladatütemező által létrehozott feladatfürtökhöz * dltDelta Live Tables-folyamatokhoz létrehozott fürtökhöz Adott típusú fürtök létrehozásának engedélyezése vagy letiltása a szabályzatból. Ha az all-purpose érték nem engedélyezett, a szabályzat nem jelenik meg a teljes körű fürtlétrehozás űrlapon. Ha az job érték nem engedélyezett, a szabályzat nem jelenik meg a feladat új fürtűrlapjában.

Tömbattribútumok

A tömbattribútumok szabályzatait kétféleképpen adhatja meg:

• Általános korlátozások az összes tömbelemre vonatkozóan. Ezek a korlátozások a * szabályzat elérési útjának helyettesítő karakterét használják.
• Egy adott index tömbelemére vonatkozó konkrét korlátozások. Ezek a korlátozások egy számot használnak az elérési úton.

A tömbattribútum init_scriptsesetében például az általános elérési utak a következővel init_scripts.* kezdődnek, az adott elérési utak pedig a következővel init_scripts.<n>: , ahol <n> a tömb egész indexe (0-tól kezdve). Kombinálhatja az általános és a konkrét korlátozásokat, ebben az esetben az általános korlátozás minden olyan tömbelemre vonatkozik, amely nem rendelkezik konkrét korlátozással. Minden esetben csak egy szabályzatkorlátozás lesz érvényben.

A tömbszabályzatok tipikus használati esetei a következők:

• Belefoglalás-specifikus bejegyzések megkövetelése. Például:

  {
    "init_scripts.0.dbfs.destination": {
      "type": "fixed",
      "value": "<required-script-1>"
    },
    "init_scripts.1.dbfs.destination": {
      "type": "fixed",
      "value": "<required-script-2>"
    }
  }
  

  A sorrend megadása nélkül nem igényelhet konkrét értékeket.

• A teljes lista rögzített értékének megkövetelése. Például:

  {
    "init_scripts.0.dbfs.destination": {
      "type": "fixed",
      "value": "<required-script-1>"
    },
    "init_scripts.*.dbfs.destination": {
      "type": "forbidden"
    }
  }
  

• Teljesen tiltsa le a használatot.

  {
    "init_scripts.*.dbfs.destination": {
      "type": "forbidden"
    }
  }
  

• Adjon meg tetszőleges számú bejegyzést, de csak egy adott korlátozást követve. Például:

  {
     "init_scripts.*.dbfs.destination": {
      "type": "regex",
      "pattern": ".*<required-content>.*"
    }
  }
  

Elérési utak esetén init_scripts a tömb több struktúra egyikét is tartalmazhatja, amelyekhez a használati esettől függően minden lehetséges változatot kezelni kell. Ha például inicializálási szkriptek egy adott készletét szeretné megkövetelni, és nem szeretné letiltani a másik verzió bármely változatát, az alábbi mintát használhatja:

{
  "init_scripts.1.dbfs.destination": {
    "type": "fixed",
    "value": "dbfs:/<dbfs-path>"
  },
  "init_scripts.*.dbfs.destination": {
    "type": "forbidden"
  },
  "init_scripts.*.file.destination": {
    "type": "forbidden"
  },
}

Példák fürtszabályzatokra

Ebben a szakaszban:

• Általános fürtszabályzat
• Egyszerű, közepes méretű szabályzat
• Csak feladatra vonatkozó szabályzat
• Egycsomópontos szabályzat
• Külső metaadattár-szabályzat

Általános fürtszabályzat

Általános célú fürtszabályzat, amely a felhasználók irányítását és bizonyos funkciók korlátozását szolgálja, címkék megkövetelése, a példányok maximális számának korlátozása és az időtúllépés kényszerítése mellett.

{
  "spark_conf.spark.databricks.cluster.profile": {
    "type": "fixed",
    "value": "singleNode",
    "hidden": true
  },
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "spark_version": {
    "type": "regex",
    "pattern": "7\\.[0-9]+\\.x-scala.*"
  },
  "node_type_id": {
    "type": "allowlist",
    "values": [
      "Standard_L4s",
      "Standard_L8s",
      "Standard_L16s"
    ],
    "defaultValue": "Standard_L16s_v2"
  },
  "driver_node_type_id": {
    "type": "fixed",
    "value": "Standard_L16s_v2",
    "hidden": true
  },
  "autoscale.min_workers": {
    "type": "fixed",
    "value": 1,
    "hidden": true
  },
  "autoscale.max_workers": {
    "type": "range",
    "maxValue": 25,
    "defaultValue": 5
  },
  "autotermination_minutes": {
    "type": "fixed",
    "value": 30,
    "hidden": true
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

Egyszerű közepes méretű szabályzat

Lehetővé teszi a felhasználók számára, hogy minimális konfigurációval hozzanak létre egy közepes méretű fürtöt. A létrehozáskor az egyetlen kötelező mező a fürt neve; a többi rögzített és rejtett.

{
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "spark_conf.spark.databricks.cluster.profile": {
    "type": "forbidden",
    "hidden": true
  },
  "autoscale.min_workers": {
    "type": "fixed",
    "value": 1,
    "hidden": true
  },
  "autoscale.max_workers": {
    "type": "fixed",
    "value": 10,
    "hidden": true
  },
  "autotermination_minutes": {
    "type": "fixed",
    "value": 60,
    "hidden": true
  },
  "node_type_id": {
    "type": "fixed",
    "value": "Standard_L8s_v2",
    "hidden": true
  },
  "driver_node_type_id": {
    "type": "fixed",
    "value": "Standard_L8s_v2",
    "hidden": true
  },
  "spark_version": {
    "type": "fixed",
    "value": "7.3.x-scala2.12",
    "hidden": true
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

Csak feladatra vonatkozó szabályzat

Lehetővé teszi, hogy a felhasználók feladatfürtöket hozzanak létre, és feladatokat futtasson a fürt használatával. A felhasználók ezzel a szabályzattal nem hozhatnak létre teljes körű fürtöt.

{
  "cluster_type": {
    "type": "fixed",
    "value": "job"
  },
  "dbus_per_hour": {
    "type": "range",
    "maxValue": 100
  },
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "num_workers": {
    "type": "range",
    "minValue": 1
  },
  "node_type_id": {
    "type": "regex",
    "pattern": "Standard_[DLS]*[1-6]{1,2}_v[2,3]"
  },
  "driver_node_type_id": {
    "type": "regex",
    "pattern": "Standard_[DLS]*[1-6]{1,2}_v[2,3]"
  },
  "spark_version": {
    "type": "regex",
    "pattern": "7\\.[0-9]+\\.x-scala.*"
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

Egycsomópontos szabályzat

Lehetővé teszi, hogy a felhasználók egy csomópontos fürtöt hozzanak létre munkavégző csomópontok nélkül, helyi módban engedélyezve van a Spark. Például szabályzatok: Egycsomópontos fürtszabályzat.

Külső metaadattár-szabályzat

Lehetővé teszi, hogy a felhasználók olyan fürtöt hozzanak létre, amelyhez már rendszergazda által definiált metaadattár van csatolva. Ez azért hasznos, mert lehetővé teszi a felhasználók számára, hogy további konfiguráció nélkül hozzanak létre saját fürtöket.

{
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionURL": {
      "type": "fixed",
      "value": "jdbc:sqlserver://<jdbc-url>"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionDriverName": {
      "type": "fixed",
      "value": "com.microsoft.sqlserver.jdbc.SQLServerDriver"
  },
  "spark_conf.spark.databricks.delta.preview.enabled": {
      "type": "fixed",
      "value": "true"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionUserName": {
      "type": "fixed",
      "value": "<metastore-user>"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionPassword": {
      "type": "fixed",
      "value": "<metastore-password>"
  }
}