Feladatok aktiválása új fájlok érkezésekor

Cikk
03/22/2024

A fájlbetöltési eseményindítókkal elindíthatja az Azure Databricks-feladat futtatását, amikor új fájlok érkeznek egy külső helyre, például az Amazon S3-ba, az Azure Storage-ba vagy a Google Cloud Storage-ba. Ezt a funkciót akkor használhatja, ha egy ütemezett feladat nem hatékony, mert az új adatok szabálytalan ütemezés szerint érkeznek.

A fájlbetöltési eseményindítók minden percben megpróbálják ellenőrizni az új fájlokat, bár ezt befolyásolhatja a mögöttes felhőbeli tároló teljesítménye. A fájlbetöltési eseményindítók nem járnak a tárhelyen található fájlok listázásával kapcsolatos felhőszolgáltatói költségeken kívül más költségekkel.

A fájlbetöltési eseményindító konfigurálható a Unity Katalógus külső helyének vagy kötetének gyökerének figyelésére, vagy egy külső hely vagy kötet segédútvonalának figyelésére. A Unity Catalog gyökérkötetéhez /Volumes/mycatalog/myschema/myvolume/például a következők érvényesek a fájlbetöltési eseményindítók elérési útjai:

/Volumes/mycatalog/myschema/myvolume/
/Volumes/mycatalog/myschema/myvolume/mydirectory/

Követelmények

A fájl érkezési eseményindítóinak használatához a következők szükségesek:

A munkaterületen engedélyezve kell lennie a Unity-katalógusnak.
Olyan tárolóhelyet kell használnia, amely egy Unity Catalog-kötet vagy egy külső hely, amelyet hozzáadtak a Unity Catalog metaadattárához. Lásd: Külső hely létrehozása a felhőbeli tároló Azure Databrickshez való csatlakoztatásához.
Rendelkeznie READ kell a tárolási helyre vonatkozó engedélyekkel, és kezelnie kell a feladatra vonatkozó engedélyeket. A feladatengedélyekről további információt a Feladat ACL-ekben talál.

Korlátozások

Egy Azure Databricks-munkaterületen legfeljebb ötven feladat konfigurálható fájlérkezés-eseményindítóval.
A fájl érkezési eseményindítóhoz konfigurált tárolási hely legfeljebb 10 000 fájlt tartalmazhat. A több fájllal rendelkező helyek nem figyelhetők az új fájl érkezésekor. Ha a konfigurált tárolási hely egy Unity-katalógus külső helyének vagy kötetének segédpátja, a 10 000 fájlkorlát a mellékútra vonatkozik, nem pedig a tárolási hely gyökerére. A tárolóhely gyökere például több mint 10 000 fájlt tartalmazhat az alkönyvtáraiban, de a konfigurált alkönyvtár nem haladhatja meg a 10 000 fájlkorlátot.
A fájlérkezési triggerhez használt elérési út nem tartalmazhatja katalógusok és sémák külső tábláit vagy felügyelt helyeit.

Fájl érkezési eseményindító hozzáadása

Fájl érkezési eseményindító hozzáadása egy feladathoz:

Az oldalsávon kattintson a Munkafolyamatok elemre.
A Feladatok lap Név oszlopában kattintson a feladat nevére.
A jobb oldali Feladat részletei panelen kattintson az Eseményindító hozzáadása elemre.
Az eseményindító típusában válassza a Fájl érkezése lehetőséget.
A Tárolási helyen adja meg a Unity-katalógus külső helyének vagy egy Unity-katalógus kötetének gyökerének vagy alútjának URL-címét, illetve egy Unity Catalog-kötet gyökér- vagy segédútvonalát a monitorozáshoz.
(Nem kötelező) Speciális beállítások konfigurálása:
- Az eseményindítók közötti minimális idő másodpercben: Az a minimális idő, amíg várni kell a futtatás indítására az előző futtatás befejeződése után. Az ebben az időszakban érkező fájlok csak a várakozási idő lejárta után aktiválják a futtatásokat. Ezzel a beállítással szabályozhatja a futtatás létrehozásának gyakoriságát.
- Várakozás az utolsó módosítás után másodpercben: A futtatás indítására váró idő a fájl érkezése után. Ebben az időszakban egy másik fájl érkezése alaphelyzetbe állítja az időzítőt. Ez a beállítás akkor használható, ha a fájlok kötegekbe érkeznek, és a teljes köteget az összes fájl megérkezése után kell feldolgozni.
A konfiguráció ellenőrzéséhez kattintson a Kapcsolat tesztelése gombra.
Kattintson a Mentés gombra.

Értesítések küldése a sikertelen fájlérkezési triggerekről

Ha értesítést szeretne kapni arról, hogy egy fájlérkezési trigger kiértékelése sikertelen, konfiguráljon e-mail vagy a rendszer célú értesítéseket feladathiba esetén. Lásd: E-mail- és rendszerértesítések hozzáadása feladateseményekhez.