Jämför filidentifieringslägen för automatisk inläsning

Automatisk inläsning stöder två lägen för att identifiera nya filer: kataloglista och filavisering. Du kan växla filidentifieringslägen mellan strömomstarter och ändå få garantier för databearbetning exakt en gång.

Kataloglistningsläge

I kataloglistningsläge identifierar Auto Loader nya filer genom att visa indatakatalogen. Med kataloglistningsläget kan du snabbt starta automatiska inläsningsströmmar utan några andra behörighetskonfigurationer än åtkomst till dina data i molnlagringen.

I Databricks Runtime 9.1 och senare kan Auto Loader automatiskt identifiera om filer anländer med lexikal beställning till molnlagringen och avsevärt minska mängden API-anrop som behövs för att identifiera nya filer. Mer information finns i Vad är kataloglistningsläge för automatisk inläsning?

Läge för filavisering

I filmeddelandeläget används filmeddelanden och kötjänster i ditt molninfrastrukturkonto. Automatisk inläsning kan automatiskt konfigurera en meddelandetjänst och kötjänst som prenumererar på filhändelser från indatakatalogen.

Filmeddelandeläget är mer högpresterande och skalbart för stora indatakataloger eller en stor mängd filer, men kräver ytterligare molnbehörigheter för att konfigurera. Mer information finns i Vad är meddelandeläget för automatisk inläsningsfil?.

Molnlagring som stöds av lägen

Tillgängligheten för dessa lägen visas nedan.

Om du migrerar från en extern plats eller en DBFS-montering till en Unity Catalog-volym fortsätter Auto Loader att ge garantier exakt en gång.

Molnlagring	Kataloglista	Filmeddelanden
AWS S3	Alla versioner	Alla versioner
ADLS Gen2	Alla versioner	Alla versioner
GCS	Alla versioner	Databricks Runtime 9.1 och senare
Azure Blob Storage	Alla versioner	Alla versioner
ADLS Gen1	Alla versioner	Stöd saknas
DBFS	Alla versioner	Endast för monteringspunkter
Unity Catalog-volym	Databricks Runtime 13.3 LTS och senare	Stöds inte