Databricks-feladatok konfigurálása és szerkesztése
Ez a cikk a munkafolyamatok munkaterület felhasználói felületének használatával történő feladatok létrehozásának, konfigurálásának és szerkesztésének utasításait ismerteti. Az Azure Databricks más belépési pontokkal és eszközökkel is rendelkezik a konfigurációhoz, beleértve a következőket:
- A Databricks parancssori felületének a feladatok létrehozására és futtatására való használatával kapcsolatos további információkért lásd: Mi a Databricks parancssori felület?
- A Feladatok API feladatok létrehozására és futtatására való használatával kapcsolatos további információkért tekintse meg a REST API-referenciában szereplő Feladatok című témakört.
- Ha szeretné megtudni, hogyan futtathat és ütemezhet feladatokat közvetlenül a Databricks-jegyzetfüzetekben, olvassa el az ütemezett jegyzetfüzet-feladatok létrehozását és kezelését ismertető cikket.
Tipp.
Ha YAML-ként szeretne megtekinteni egy feladatot, kattintson a feladat futtatásának bal oldalán található kebab menüre, majd kattintson a Váltás kódverzióra (YAML) parancsra.
Új feladat létrehozása
Ez a szakasz azt a minimális konfigurációt ismerteti, amely egy új feladat létrehozásához szükséges ahhoz, hogy ütemezzen egy jegyzetfüzet-feladatot a munkaterület felhasználói felületén.
A feladatok egy vagy több feladatot tartalmaznak. Új feladatot úgy hozhat létre, hogy konfigurálja a feladat első feladatát.
Feljegyzés
Minden tevékenységtípus dinamikus konfigurációs lehetőségekkel rendelkezik a munkaterület felhasználói felületén. Lásd: Databricks-feladatok konfigurálása és szerkesztése.
- Kattintson a Munkafolyamatok elemre az oldalsávon, és kattintson a gombra .
- Adjon meg egy tevékenységnevet.
- Jelöljön ki egy jegyzetfüzetet az Elérési út mezőhöz.
- Kattintson a Feladat létrehozása gombra.
Ha a munkaterület nincs engedélyezve a kiszolgáló nélküli számítási feladatokhoz, ki kell választania egy Számítási lehetőséget. A Databricks a feladatok konfigurálásakor mindig a feladatok számítását javasolja.
Új feladat jelenik meg a munkaterületi feladatok listájában az alapértelmezett névvel New Job <date> <time>
.
Jelölje ki a munkaterületen szerkeszteni kívánt feladatot
Ha szerkeszteni szeretne egy meglévő feladatot a munkaterület felhasználói felületén, tegye a következőket:
- Kattintson a Munkafolyamatok elemre az oldalsávon.
- A Név oszlopban kattintson a feladat nevére.
A feladatok felhasználói felületén tegye a következőket:
- Feladatbeállítások szerkesztése
- Feladat átnevezése, klónozása vagy törlése
- Új tevékenységek hozzáadása meglévő feladathoz
- Feladatbeállítások szerkesztése
Feljegyzés
A REST API-hoz használható JSON-definíciókat is megtekintheti a végpontok lekéréséhez, létrehozásához és alaphelyzetbe állításához .
Feladatbeállítások szerkesztése
Az oldalpanel tartalmazza a Feladat részleteit. Módosíthatja a feladat-eseményindítót, a számítási konfigurációt, az értesítéseket, az egyidejű futtatások maximális számát, konfigurálhatja az időtartam küszöbértékeit, és címkéket adhat hozzá vagy módosíthat. A feladatengedélyeket akkor is szerkesztheti, ha a feladathozzáférés-vezérlés engedélyezve van.
Paraméterek hozzáadása az összes feladathoz
A feladat szintjén konfigurált paramétereket a rendszer átadja a feladat azon feladatainak, amelyek kulcs-érték paramétereket fogadnak el, beleértve a kulcsszóargumentumok elfogadására konfigurált Python-kerekes fájlokat is. Lásd: Feladatok paraméterezése.
Címkék hozzáadása feladathoz
Ha címkéket vagy kulcs-érték attribútumokat szeretne hozzáadni a feladathoz, címkéket adhat hozzá a feladat szerkesztésekor. Címkék használatával szűrheti a feladatokat a Feladatok listában. Egy címkével például szűrheti department
az adott részleghez tartozó összes feladatot.
Feljegyzés
Mivel a feladatcímkék nem bizalmas információk, például személyazonosításra alkalmas adatok vagy jelszavak tárolására szolgálnak, a Databricks csak a nem bizalmas értékekhez javasolja a címkék használatát.
A címkék a feladat futtatásakor létrehozott feladatfürtökre is propagálásra kerülnek, így címkéket használhat a meglévő fürtfigyeléssel.
Címkék hozzáadásához vagy szerkesztéséhez kattintson a +Címke elemre a Feladat részletei panelen. A címkét címkeként vagy kulcs-érték párként is hozzáadhatja. Címke hozzáadásához írja be a címkét a Kulcs mezőbe, és hagyja üresen az Érték mezőt.
Feladat átnevezése, klónozása vagy törlése
Feladat átnevezéséhez nyissa meg a feladatok felhasználói felületét, és kattintson a feladat nevére.
Egy meglévő feladat klónozásával gyorsan létrehozhat egy új feladatot. A feladatok klónozása a feladat azonos másolatát hozza létre a feladatazonosító kivételével. Feladat klónozásához tegye a következőket:
- Lépjen a feladathoz tartozó feladatok felhasználói felületére.
- Kattintson a Futtatás most gomb mellett.
- Válassza a Klónozás feladatot a legördülő menüben.
- Adja meg a klónozott feladat nevét.
- Kattintson a Klónozás gombra.
Feladat törlése
Feladat törléséhez lépjen a feladatlapra, kattintson a feladat neve mellett, és válassza a Feladat törlése lehetőséget a legördülő menüben.
A Git használata feladatokkal
Ha a feladat olyan feladatokat tartalmaz, amelyek támogatják a távoli Git-szolgáltató használatát, a feladatok felhasználói felülete tartalmaz egy Git-mezőt , valamint a Git-beállítások hozzáadásának vagy szerkesztésének lehetőségét.
A következő feladattípusokat konfigurálhatja távoli Git-adattár használatára:
- Jegyzetfüzetek
- Python-szkriptek
- SQL-fájlok
- dbt
A feladat összes tevékenységének ugyanarra a véglegesítésre kell hivatkoznia a távoli adattárban. Távoli adattárat használó feladatokhoz csak az alábbiak egyikét kell megadnia:
- ág: Az ág neve, például
main
. - címke: A címke neve, például
release-1.0.0
. - véglegesítés: Egy adott véglegesítés kivonata, például
e0056d01
.
Amikor egy feladatfuttatás megkezdődik, a Databricks pillanatkép-véglegesítést készít a távoli adattárról, hogy a teljes feladat ugyanazon a kódverzión fusson.
Ha egy távoli Git-adattárban tárolt kódot futtató tevékenység futtatási előzményeit tekinti meg, a Feladatfuttatás részletei panel gitadatokat tartalmaz, beleértve a futtatáshoz társított véglegesítési SHA-t is. Lásd: Feladatfuttatási előzmények megtekintése.
Feljegyzés
A távoli Git-adattár használatára konfigurált feladatok nem tudnak írni a munkaterület fájljaiba. Ideiglenes adatokat kell írniuk a rövid élettartamú illesztőprogram-tárolóba, valamint állandó adatokat kell írniuk egy kötetbe vagy táblába.
A Databricks azt javasolja, hogy csak a fejlesztés során gyors iteráció és tesztelés céljából hozzon létre olyan feladatokat, amelyekkel munkaterület-útvonalakra hivatkozhat a Git-mappákban. A Databricks azt javasolja, hogy a feladatok újrakonfigurálásával hivatkozzon egy távoli Git-adattárra az előkészítés és az éles környezetbe való áttérés során. További információ a Databricks-feladatok verzióvezérelt forráskódjáról.
Git-szolgáltató konfigurálása
A feladatok felhasználói felületén található egy párbeszédpanel egy távoli Git-adattár konfigurálásához. Ez a párbeszédpanel elérhető a Feladat részletei panelen a Git fejléc alatt, vagy bármely, Git-szolgáltató használatára konfigurált feladatban.
A párbeszédpanel eléréséhez megjelenített beállítások a feladat típusától és attól függően változnak, hogy már konfigurálva van-e git-hivatkozás a feladathoz. A párbeszédpanel elindításához a Git-beállítások hozzáadása, a Szerkesztés vagy a Git-referencia hozzáadása gombot kell használni.
A Git-információk párbeszédpanelen (ha a Feladat részletei panelen csak Git-ként van megjelölve) adja meg a következő adatokat:
- A Git-adattár URL-címe.
- Válassza ki a Git-szolgáltatót a legördülő listából.
- A Git referenciamezőben adja meg a futtatni kívánt forráskód verziójának megfelelő ág, címke vagy véglegesítés azonosítóját.
- Válassza ki az ágat, a címkét vagy a véglegesítést a legördülő listából.
Feljegyzés
A párbeszédpanel a következőt kérheti: Hiányzik a fiókHoz tartozó Git-hitelesítő adatok. Hitelesítő adatok hozzáadása. A távoli Git-adattárat referenciáként való használat előtt konfigurálnia kell. Lásd: Databricks Git-mappák (adattárak) beállítása.
Egy feladat várható befejezési idejének vagy időtúllépésének konfigurálása
Konfigurálhatja a feladatok opcionális időtartamküszöbeit, beleértve a várt és a maximális befejezési időt is. Az időtartam-küszöbértékek konfigurálásához kattintson az Időtartam küszöbértékek beállítása elemre a Feladat részletei panelen.
Adjon meg egy időtartamot a Figyelmeztetés mezőben a feladat várható befejezési idejének konfigurálásához. Ha a feladat túllépi ezt a küszöbértéket, egy esemény aktiválódik. Ezzel az eseménysel értesítést kaphat, ha egy feladat lassan fut. Lásd: Értesítések konfigurálása lassú vagy késedelmes feladatokhoz.
A feladatok maximális befejezési idejének konfigurálásához adja meg a maximális időtartamot az Időtúllépés mezőben. Ha a feladat jelenleg nem fejeződik be, az Azure Databricks az "Időtúllépés" állapotot állítja be.
Igény szerint megadhat időtartam küszöbértékeket a tevékenységekhez. Lásd: A tevékenységek várható befejezési idejének vagy időtúllépésének konfigurálása.