Feladatok aktiválása új fájlok érkezésekor
A fájlbetöltési eseményindítókkal elindíthatja az Azure Databricks-feladat futtatását, amikor új fájlok érkeznek egy külső helyre, például az Amazon S3-ba, az Azure Storage-ba vagy a Google Cloud Storage-ba. Ezt a funkciót akkor használhatja, ha egy ütemezett feladat nem hatékony, mert az új adatok szabálytalan ütemezés szerint érkeznek.
A fájlbetöltési eseményindítók minden percben megpróbálják ellenőrizni az új fájlokat, bár ezt befolyásolhatja a mögöttes felhőbeli tároló teljesítménye. A fájlbetöltési eseményindítók nem járnak a tárhelyen található fájlok listázásával kapcsolatos felhőszolgáltatói költségeken kívül más költségekkel.
A fájlbetöltési eseményindító konfigurálható a Unity Katalógus külső helyének vagy kötetének gyökerének figyelésére, vagy egy külső hely vagy kötet segédútvonalának figyelésére. A Unity Catalog gyökérkötetéhez /Volumes/mycatalog/myschema/myvolume/
például a következők érvényesek a fájlbetöltési eseményindítók elérési útjai:
/Volumes/mycatalog/myschema/myvolume/
/Volumes/mycatalog/myschema/myvolume/mydirectory/
Követelmények
A fájl érkezési eseményindítóinak használatához a következők szükségesek:
- A munkaterületen engedélyezve kell lennie a Unity-katalógusnak.
- Olyan tárolóhelyet kell használnia, amely egy Unity Catalog-kötet vagy egy külső hely, amelyet hozzáadtak a Unity Catalog metaadattárához. Lásd: Külső hely létrehozása a felhőbeli tároló Azure Databrickshez való csatlakoztatásához.
- Rendelkeznie
READ
kell a tárolási helyre vonatkozó engedélyekkel, és kezelnie kell a feladatra vonatkozó engedélyeket. A feladatengedélyekről további információt a Feladat ACL-ekben talál.
Korlátozások
- Csak az új fájlok eseményindítója fut. Az azonos nevű fájllal rendelkező meglévő fájlok felülírása nem indít el futtatást.
- Egy Azure Databricks-munkaterületen legfeljebb ötven feladat konfigurálható fájlérkezés-eseményindítóval.
- A fájl érkezési eseményindítóhoz konfigurált tárolási hely legfeljebb 10 000 fájlt tartalmazhat. A több fájllal rendelkező helyek nem figyelhetők az új fájl érkezésekor. Ha a konfigurált tárolási hely egy Unity-katalógus külső helyének vagy kötetének segédpátja, a 10 000 fájlkorlát a mellékútra vonatkozik, nem pedig a tárolási hely gyökerére. A tárolóhely gyökere például több mint 10 000 fájlt tartalmazhat az alkönyvtáraiban, de a konfigurált alkönyvtár nem haladhatja meg a 10 000 fájlkorlátot.
- A fájlérkezési triggerhez használt elérési út nem tartalmazhatja katalógusok és sémák külső tábláit vagy felügyelt helyeit.
Fájl érkezési eseményindító hozzáadása
Fájl érkezési eseményindító hozzáadása egy feladathoz:
- Az oldalsávon kattintson a Munkafolyamatok elemre.
- A Feladatok lap Név oszlopában kattintson a feladat nevére.
- A jobb oldali Feladat részletei panelen kattintson az Eseményindító hozzáadása elemre.
- Az eseményindító típusában válassza a Fájl érkezése lehetőséget.
- A Tárolási helyen adja meg a Unity-katalógus külső helyének vagy egy Unity-katalógus kötetének gyökerének vagy alútjának URL-címét, illetve egy Unity Catalog-kötet gyökér- vagy segédútvonalát a monitorozáshoz.
- (Nem kötelező) Speciális beállítások konfigurálása:
- Az eseményindítók közötti minimális idő másodpercben: Az a minimális idő, amíg várni kell a futtatás indítására az előző futtatás befejeződése után. Az ebben az időszakban érkező fájlok csak a várakozási idő lejárta után aktiválják a futtatásokat. Ezzel a beállítással szabályozhatja a futtatás létrehozásának gyakoriságát.
- Várakozás az utolsó módosítás után másodpercben: A futtatás indítására váró idő a fájl érkezése után. Ebben az időszakban egy másik fájl érkezése alaphelyzetbe állítja az időzítőt. Ez a beállítás akkor használható, ha a fájlok kötegekbe érkeznek, és a teljes köteget az összes fájl megérkezése után kell feldolgozni.
- A konfiguráció ellenőrzéséhez kattintson a Kapcsolat tesztelése gombra.
- Kattintson a Mentés gombra.
Értesítések küldése a sikertelen fájlérkezési triggerekről
Ha értesítést szeretne kapni arról, hogy egy fájlérkezési trigger kiértékelése sikertelen, konfiguráljon e-mail vagy a rendszer célú értesítéseket feladathiba esetén. Lásd: E-mail- és rendszerértesítések hozzáadása feladateseményekhez.