Trigger úloh při přijetí nových souborů

Článek
03/22/2024

Triggery přijetí souborů můžete použít k aktivaci spuštění úlohy Azure Databricks při příchodu nových souborů do externího umístění, jako je Amazon S3, úložiště Azure nebo Google Cloud Storage. Tuto funkci můžete použít, pokud je plánovaná úloha neefektivní, protože nová data jsou přijímána nepravidelně.

Triggery přijetí souborů se snaží každou minutu zkontrolovat nové soubory, i když to může mít vliv na výkon základního cloudového úložiště. Triggery přijetí souborů neúčtují jiné náklady než náklady na poskytovatele cloudu spojené se výpisem souborů v umístění úložiště.

Aktivační událost přijetí souboru se dá nakonfigurovat tak, aby monitorovala kořen externího umístění nebo svazku katalogu Unity nebo dílčí cestu externího umístění nebo svazku. Například pro kořenový svazek /Volumes/mycatalog/myschema/myvolume/katalogu Unity platí následující cesty pro aktivační událost přijetí souboru:

/Volumes/mycatalog/myschema/myvolume/
/Volumes/mycatalog/myschema/myvolume/mydirectory/

Požadavky

K použití triggerů přijetí souborů jsou potřeba následující:

Pracovní prostor musí mít povolený katalog Unity.
Musíte použít umístění úložiště, které je buď svazek katalogu Unity, nebo externí umístění přidané do metastoru katalogu Unity. Viz Vytvoření externího umístění pro připojení cloudového úložiště k Azure Databricks.
Musíte mít READ oprávnění k umístění úložiště a oprávnění MŮŽE SPRAVOVAT v úloze. Další informace o oprávněních úlohy najdete v tématu Seznamy ACL úloh.

Omezení

V pracovním prostoru Azure Databricks je možné nakonfigurovat maximálně padesát úloh s triggerem přijetí souboru.
Umístění úložiště nakonfigurované pro trigger přijetí souboru může obsahovat pouze 10 000 souborů. Umístění s více soubory nelze monitorovat pro nové přijetí souborů. Pokud je nakonfigurovaným umístěním úložiště dílčí cesta externího umístění nebo svazku katalogu Unity, platí omezení 10 000 souborů na dílčí cestu, nikoli kořen umístění úložiště. Kořen umístění úložiště může například obsahovat více než 10 000 souborů v podadresářích, ale nakonfigurovaný podadresář nesmí překročit limit 10 000 souborů.
Cesta použitá pro trigger přijetí souboru nesmí obsahovat žádné externí tabulky ani spravovaná umístění katalogů a schémat.

Přidání triggeru přijetí souboru

Přidání triggeru přijetí souboru do úlohy:

Na bočním panelu klikněte na Pracovní postupy.
Ve sloupci Název na kartě Úlohy klikněte na název úlohy.
Na panelu Podrobností úlohy na pravé straně klikněte na Tlačítko Přidat aktivační událost.
V typu triggeru vyberte Typ souboru.
Do umístění úložiště zadejte adresu URL kořenového adresáře nebo dílčí cesty externího umístění katalogu Unity nebo kořen nebo dílčí cestu ke svazku katalogu Unity, který chcete monitorovat.
(Volitelné) Konfigurace rozšířených možností:
- Minimální doba mezi aktivačními událostmi v sekundách: Minimální doba čekání na spuštění po dokončení předchozího spuštění. Soubory, které dorazí v tomto období, aktivují spuštění až po vypršení doby čekání. Pomocí tohoto nastavení můžete řídit frekvenci vytváření spuštění.
- Počkejte po poslední změně v sekundách: Doba čekání na aktivaci spuštění po přijetí souboru. Dalším doručením souboru v tomto období se časovač resetuje. Toto nastavení se dá použít při doručení souborů do dávek a po přijetí všech souborů je potřeba zpracovat celou dávku.
Chcete-li ověřit konfiguraci, klikněte na tlačítko Test připojení.
Klikněte na Uložit.

Oznámení o neúspěšných triggerech přijetí souboru

Pokud chcete dostávat oznámení v případě, že se trigger přijetí souboru nepodaří vyhodnotit, nastavte si oznámení o selhání úlohy e-mailem nebo v systému. Viz Přidání e-mailových a systémových oznámení pro události úloh.