Az Azure Databricks-feladatok beállításainak konfigurálása

Ez a cikk részletesen ismerteti az Azure Databricks-feladatok és az egyes feladatok feladatainak konfigurálását a Feladatok felhasználói felületén. A Feladatbeállítások szerkesztéséhez a Databricks parancssori felületének használatával kapcsolatos információkért futtassa a PARANCSSOR parancsot databricks jobs update -h. A Jobs API használatáról a Jobs API-t tekintheti meg.

A feladatban néhány konfigurációs lehetőség, az egyes tevékenységekhez pedig más beállítások érhetők el. Az egyidejű futtatások maximális száma például csak a feladaton állítható be, míg az újrapróbálkozások szabályzatai minden tevékenységhez meg vannak határozva.

Feladat szerkesztése

Feladat konfigurációjának módosítása:

1. Kattintson a Munkafolyamatok elemre az oldalsávon.
2. A Név oszlopban kattintson a feladat nevére.

Az oldalpanelen megjelennek a Feladat részletei. Módosíthatja a feladat eseményindítóját, a számítási konfigurációt, az értesítéseket, az egyidejű futtatások maximális számát, konfigurálhatja az időtartam küszöbértékeit, és címkéket adhat hozzá vagy módosíthat. Ha a feladathozzáférés-vezérlés engedélyezve van, a feladatengedélyeket is szerkesztheti.

Paraméterek hozzáadása az összes feladathoz

Olyan feladat paramétereit konfigurálhatja, amelyek a feladat bármely olyan feladatának átadva vannak, amelyek kulcs-érték paramétereket fogadnak el, beleértve a kulcsszóargumentumok elfogadására konfigurált Python-kerekes fájlokat is. A feladatszinten beállított paraméterek hozzáadódnak a konfigurált tevékenységszintű paraméterekhez. A tevékenységeknek átadott feladatparaméterek láthatók a tevékenységkonfigurációban, valamint a tevékenységen konfigurált paraméterekkel együtt.

A feladatparamétereket olyan tevékenységeknek is átadhatja, amelyek nincsenek kulcs-érték paraméterekkel konfigurálva, például JAR vagy Spark Submit tevékenységek. Ha feladatparamétereket szeretne átadni ezeknek a tevékenységeknek, formázza az argumentumokat {{job.parameters.[name]}}a paramétert azonosítóval helyettesítve [name]key .

A feladatparaméterek elsőbbséget élveznek a tevékenységparaméterekkel szemben. Ha egy feladatparaméter és egy tevékenységparaméter ugyanazzal a kulccsal rendelkezik, a feladatparaméter felülbírálja a tevékenységparamétert.

Felülbírálhatja a konfigurált feladatparamétereket, vagy új feladatparamétereket adhat hozzá, amikor különböző paraméterekkel futtat egy feladatot, vagy kijavít egy feladatfuttatást.

A feladatok és tevékenységek kontextusát dinamikus értékhivatkozások készletével is megoszthatja.

Feladatparaméterek hozzáadásához kattintson a Paraméterek szerkesztése elemre a Feladat részletei oldalpanelen, és adja meg az egyes paraméterek kulcsát és alapértelmezett értékét. Az elérhető dinamikus értékhivatkozások listájának megtekintéséhez kattintson a Dinamikus értékek tallózása gombra.

Címkék hozzáadása feladathoz

Ha címkéket vagy kulcs:érték attribútumokat szeretne hozzáadni a feladathoz, címkéket adhat hozzá a feladat szerkesztésekor. Címkék használatával szűrheti a feladatokat a Feladatok listában, például egy department címkével szűrheti az adott részleghez tartozó összes feladatot.

Feljegyzés

Mivel a feladatcímkék nem bizalmas információk, például személyazonosításra alkalmas adatok vagy jelszavak tárolására szolgálnak, a Databricks csak a nem bizalmas értékekhez javasolja a címkék használatát.

A címkék a feladat futtatásakor létrehozott feladatfürtökre is propagálásra kerülnek, így címkéket használhat a meglévő fürtfigyeléssel.

Címkék hozzáadásához vagy szerkesztéséhez kattintson a + Címke elemre a Feladat részletei oldalpanelen. A címkét kulcsként és értékként vagy címkeként is hozzáadhatja. Címke hozzáadásához írja be a címkét a Kulcs mezőbe, és hagyja üresen az Érték mezőt.

Megosztott fürtök konfigurálása

A fürthöz társított tevékenységek megtekintéséhez kattintson a Feladatok fülre, és vigye az egérmutatót a fürt fölé az oldalsó panelen. Az összes társított feladat fürtkonfigurációjának módosításához kattintson a Fürt alatti Konfigurálás gombra. Ha új fürtöt szeretne konfigurálni az összes társított tevékenységhez, kattintson a Fürt alatti Felcserélés gombra.

Feladathoz való hozzáférés szabályozása

A feladathozzáférés-vezérlés lehetővé teszi, hogy a feladattulajdonosok és a rendszergazdák részletes engedélyeket adjanak a munkájukhoz. A feladattulajdonosok kiválaszthatják, hogy mely felhasználók vagy csoportok tekinthetik meg a feladat eredményeit. A tulajdonosok kiválaszthatják azt is, hogy ki felügyelheti a feladatfuttatásokat (Futtatás most és Futtatás megszakítása engedélyek).

A feladatengedélyezési szintekről további információt a Feladat ACL-jeiben talál.

Ahhoz, hogy kezelni tudja a feladathoz tartozó engedélyeket, rendelkeznie kell a feladat kezelésével vagy tulajdonosi engedéllyel.

1. Az oldalsávon kattintson a Feladatfuttatások elemre.

2. Kattintson egy feladat nevére.

3. A Feladat részletei panelen kattintson az Engedélyek szerkesztése elemre.

4. Az Engedély Gépház kattintson a Felhasználó, csoport vagy szolgáltatásnév kiválasztása... legördülő menüre, és válasszon ki egy felhasználót, csoportot vagy szolgáltatásnevet.

   

5. Kattintson a Hozzáadás gombra.

6. Kattintson a Mentés gombra.

A feladat tulajdonosának kezelése

A feladat létrehozója alapértelmezés szerint tulajdonosi engedéllyel rendelkezik, és a felhasználó a feladat Futtatás beállításában van. A feladat a Futtatás beállítás felhasználójának identitásaként fut. A Futtatás mint beállításról további információt a Feladat futtatása szolgáltatásnévként című témakörben talál.

A munkaterület rendszergazdái saját maguk módosíthatják a feladat tulajdonosát. A tulajdonjog átadásakor az előző tulajdonos megkapja a CAN MANAGE engedélyt

Feljegyzés

Ha egy munkaterületen a RestrictWorkspaceAdmins beállítás meg van adva ALLOW ALL, a munkaterület rendszergazdái a munkaterületen lévő bármely felhasználóra vagy szolgáltatásnévre módosíthatják a feladat tulajdonosát. Ha azt szeretné, hogy a munkaterület rendszergazdái csak saját maguk módosítsanak egy feladattulajdonost, olvassa el a Munkaterület-rendszergazdák korlátozása című témakört.

Egyidejű futtatások maximális száma

Kattintson az Egyidejű futtatások szerkesztése elemre a Speciális beállítások területen a feladathoz tartozó párhuzamos futtatások maximális számának beállításához. Az Azure Databricks kihagyja a futtatást, ha a feladat már elérte az aktív futtatások maximális számát egy új futtatás indításakor. Állítsa ezt az értéket az alapértelmezett értéknél magasabbra az 1 értéknél, hogy egyszerre több futtatás is fusson ugyanahhoz a feladathoz. Ez például akkor hasznos, ha a feladatot gyakran ütemezve aktiválja, és engedélyezni szeretné, hogy az egymást követő futtatások átfedésben legyenek egymással, vagy több, a bemeneti paraméterektől eltérő futást szeretne aktiválni.

Feladatfuttatások várólistájának engedélyezése

Ha engedélyezni szeretné, hogy egy feladat futtatása egy üzenetsorba kerüljön, hogy később fusson, ha az egyidejűségi korlátok miatt nem tudnak azonnal futni, kattintson az Üzenetsor váltógombra a Speciális beállítások területen. Lásd: Mi a teendő, ha a feladat nem futtatható egyidejűségi korlátok miatt?

Feljegyzés

A várólistázás alapértelmezés szerint engedélyezve van a felhasználói felületen 2024. április 15. után létrehozott feladatok esetében.

Egy feladat várható befejezési idejének vagy időtúllépésének konfigurálása

Konfigurálhatja a feladatok opcionális időtartamküszöbeit, beleértve a feladat várható befejezési idejét és a feladat maximális befejezési idejét. Az időtartam-küszöbértékek konfigurálásához kattintson az Időtartam küszöbértékek beállítása elemre.

A feladat várható befejezési idejének konfigurálásához írja be a várt időtartamot a Figyelmeztetés mezőbe. Ha a feladat túllépi ezt a küszöbértéket, konfigurálhatja a lassan futó feladat értesítéseit. Lásd: Értesítések konfigurálása lassú vagy késedelmes feladatokhoz.

A feladatok maximális befejezési idejének konfigurálásához adja meg a maximális időtartamot az Időtúllépés mezőben. Ha a feladat jelenleg nem fejeződik be, az Azure Databricks "Időtúllépésre" állítja az állapotát, és a feladat leáll.

Tevékenység szerkesztése

Feladatkonfigurációs beállítások megadása:

1. Kattintson a Munkafolyamatok elemre az oldalsávon.
2. A Név oszlopban kattintson a feladat nevére.
3. Kattintson a Feladatok fülre, és válassza ki a szerkeszteni kívánt feladatot.

Tevékenységfüggőségek definiálása

A feladatok végrehajtásának sorrendjét a Függők legördülő menüben határozhatja meg. Ezt a mezőt beállíthatja egy vagy több tevékenységre a feladatban.

Feljegyzés

Attól függ, hogy nem látható-e, ha a feladat csak egy tevékenységből áll.

A tevékenységfüggőségek konfigurálása létrehoz egy irányított Aciklikus gráfot (DAG) a feladatvégrehajtásról, amely a feladatütemezők végrehajtási sorrendjének gyakori módja. Vegyük például a következő feladatot, amely négy tevékenységből áll:

• Az 1. tevékenység a fő tevékenység, és nem függ semmilyen más tevékenységtől.
• A 2. és a 3. feladat az 1. feladat első befejezésétől függ.
• Végül a 4. feladat a 2. és a 3. feladat sikeres befejezésétől függ.

Az Azure Databricks az alsóbb rétegbeli feladatok futtatása előtt futtatja a felsőbb rétegbeli feladatokat, és a lehető legtöbbet párhuzamosan futtatja. Az alábbi ábra az alábbi feladatok feldolgozási sorrendjét szemlélteti:

Fürt konfigurálása feladathoz

Ha azt a fürtöt szeretné konfigurálni, ahol egy feladat fut, kattintson a Fürt legördülő menüre. Szerkesztheti a megosztott feladatfürtöt, de nem törölheti a megosztott fürtöt, ha más feladatok továbbra is használják.

Ha többet szeretne megtudni a fürtök feladatok futtatására való kiválasztásáról és konfigurálásáról, olvassa el az Azure Databricks számítási feladataival való használatát ismertető témakört.

Függő kódtárak konfigurálása

A függő kódtárak a feladat futása előtt települnek a fürtre. A feladat összes függőségét be kell állítania annak biztosításához, hogy a futtatás megkezdése előtt települnek. Kövesse a függőségek megadására vonatkozó kódtár-függőségek kezelése című témakörben található javaslatokat.

Egy tevékenység várható befejezési idejének vagy időtúllépésének konfigurálása

Konfigurálhatja egy tevékenységhez a választható időtartam küszöbértékeit, beleértve a tevékenység várható befejezési idejét és a tevékenység maximális befejezési idejét. Az időtartam küszöbértékeinek konfigurálásához kattintson az Időtartam küszöbértékre.

A tevékenység várható befejezési idejének konfigurálásához írja be az időtartamot a Figyelmeztetés mezőbe. Ha a tevékenység túllépi ezt a küszöbértéket, egy esemény aktiválódik. Ezzel az eseménysel értesítést kaphat, ha egy tevékenység lassan fut. Lásd: Értesítések konfigurálása lassú vagy késedelmes feladatokhoz.

Egy tevékenység maximális befejezési idejének konfigurálásához adja meg a maximális időtartamot az Időtúllépés mezőben. Ha a feladat jelenleg nem fejeződik be, az Azure Databricks az "Időtúllépés" állapotot állítja be.

Feladat újrapróbálkozési szabályzatának konfigurálása

Ha olyan szabályzatot szeretne konfigurálni, amely meghatározza, hogy a rendszer mikor és hányszor hajtja újra a sikertelen feladatfuttatásokat, kattintson a + Hozzáadás gombra az Újrapróbálkozások mellett. Az újrapróbálkozási időköz kiszámítása ezredmásodpercben történik a sikertelen futtatás kezdete és az azt követő újrapróbálkozási futtatás között.

Feljegyzés

Ha az időtúllépést és az újrapróbálkozásokat is konfigurálja, az időtúllépés minden újrapróbálkozásra érvényes.