Porównanie trybów wykrywania plików automatycznego modułu ładującego

  • Artykuł

Moduł automatycznego ładowania obsługuje dwa tryby wykrywania nowych plików: lista katalogów i powiadomienie o plikach. Tryby odnajdywania plików można przełączać między ponownymi uruchomieniami strumienia i nadal uzyskiwać dokładnie jednokrotne gwarancje przetwarzania danych.

Tryb listy katalogów

W trybie listy katalogów funkcja automatycznego ładowania identyfikuje nowe pliki, wyświetlając katalog wejściowy. Tryb listy katalogów umożliwia szybkie uruchamianie strumieni automatycznego modułu ładującego bez żadnych konfiguracji uprawnień innych niż dostęp do danych w magazynie w chmurze.

W środowisku Databricks Runtime 9.1 lub nowszym narzędzie do automatycznego ładowania może automatycznie wykrywać, czy pliki docierają z kolejnością leksykalną do magazynu w chmurze i znacznie zmniejszają ilość wywołań interfejsu API potrzebnych do wykrywania nowych plików. Aby uzyskać więcej informacji, zobacz Co to jest tryb listy katalogów automatycznego ładowania?

Tryb powiadamiania o pliku

Tryb powiadomień plików korzysta z usług powiadomień dotyczących plików i kolejek na koncie infrastruktury chmury. Automatyczne ładowanie może automatycznie skonfigurować usługę powiadomień i usługę kolejki, która subskrybuje zdarzenia plików z katalogu wejściowego.

Tryb powiadomień plików jest bardziej wydajny i skalowalny w przypadku dużych katalogów wejściowych lub dużej liczby plików, ale wymaga dodatkowych uprawnień do chmury do skonfigurowania. Aby uzyskać więcej informacji, zobacz Co to jest tryb powiadomień pliku automatycznego ładowania?.

Magazyn w chmurze obsługiwany przez tryby

Dostępność tych trybów znajduje się poniżej.

W przypadku migracji z lokalizacji zewnętrznej lub instalacji systemu plików DBFS do woluminu wykazu aparatu Unity funkcja automatycznego ładowania nadal zapewnia dokładnie jednokrotne gwarancje.

Magazyn w chmurze Lista katalogów Powiadomienia dotyczące plików
AWS S3 Wszystkie wersje Wszystkie wersje
ADLS Gen2 Wszystkie wersje Wszystkie wersje
GCS Wszystkie wersje Databricks Runtime 9.1 i nowsze
Azure Blob Storage Wszystkie wersje Wszystkie wersje
ADLS Gen1 Wszystkie wersje Nieobsługiwane
DBFS Wszystkie wersje Tylko w przypadku punktów instalacji
Wolumin wykazu aparatu Unity Databricks Runtime 13.3 LTS i nowsze Nieobsługiwane