Porovnání režimů detekce souborů automatického zavaděče

Automatický zavaděč podporuje dva režimy pro detekci nových souborů: výpis adresáře a oznámení o souborech. Režimy zjišťování souborů můžete přepínat mezi restartováními datových proudů a stále získat záruky zpracování dat přesně jednou.

Režim výpisu adresáře

V režimu výpisu adresáře automaticky zavaděč identifikuje nové soubory výpisem vstupního adresáře. Režim výpisu adresáře umožňuje rychle spustit streamy automatického zavaděče bez jakýchkoli konfigurací oprávnění, než je přístup k datům v cloudovém úložišti.

Ve službě Databricks Runtime 9.1 a novějších může Auto Loader automaticky zjistit, jestli soubory přicházejí s lexikálním řazením do cloudového úložiště, a výrazně snížit množství volání rozhraní API potřebných k detekci nových souborů. Další podrobnosti najdete v tématu Co je režim výpisu adresáře automatického zavaděče?

Režim oznámení souboru

Režim oznámení souborů využívá služby oznámení souborů a front v účtu cloudové infrastruktury. Automatický zavaděč může automaticky nastavit službu oznámení a službu fronty, které se přihlásí k odběru událostí souborů ze vstupního adresáře.

Režim oznámení souborů je výkonnější a škálovatelný pro velké vstupní adresáře nebo velký objem souborů, ale k nastavení vyžaduje další cloudová oprávnění. Další informace naleznete v tématu Co je režim oznámení souboru automatického zavaděče?.

Cloudové úložiště podporované režimy

Dostupnost těchto režimů je uvedená níže.

Pokud migrujete z externího umístění nebo dbFS připojení ke svazku katalogu Unity, automatický zavaděč bude dál poskytovat záruky přesně jednou.

Cloudové úložiště	Výpis adresáře	Oznámení o souborech
AWS S3	Všechny verze	Všechny verze
ADLS Gen2	Všechny verze	Všechny verze
GCS	Všechny verze	Databricks Runtime 9.1 a novější
Azure Blob Storage	Všechny verze	Všechny verze
ADLS Gen1	Všechny verze	Nepodporované
DBFS	Všechny verze	Pouze pro přípojné body
Svazek katalogu Unity	Databricks Runtime 13.3 LTS a vyšší	Nepodporovaný