Che cos'è il caricatore automatico?

L'Autoloader elabora in modo incrementale ed efficiente nuovi file di dati man mano che arrivano nell'archiviazione cloud senza alcuna configurazione aggiuntiva.

Come funziona il caricatore automatico?

Il caricatore automatico elabora in modo incrementale ed efficiente i nuovi file di dati man mano che arrivano nell'archiviazione cloud. Il caricatore automatico può caricare file di dati da AWS S3 (s3://), Azure Data Lake Archiviazione Gen2 (ADLS Gen2, abfss://), Google Cloud Archiviazione (GCS, gs://), Archiviazione BLOB di Azure (wasbs://), ADLS Gen1 (adl://) e Databricks File System (DBFS, dbfs:/). Il caricatore automatico può inserire JSONi formati di file , ORCPARQUETXMLAVROCSVTEXT, , , e .BINARYFILE

Nota

• Il driver BLOB di Windows Archiviazione di Azure legacy (WASB) è stato deprecato. ABFS offre numerosi vantaggi rispetto a WASB. Vedere la documentazione di Azure in ABFS. Per la documentazione relativa all'uso del driver WASB legacy, vedere Connessione per Archiviazione BLOB di Azure con WASB (legacy).
• Azure ha annunciato il ritiro in sospeso di Azure Data Lake Archiviazione Gen1. Databricks consiglia di eseguire la migrazione di tutti i dati da Azure Data Lake Archiviazione Gen1 ad Azure Data Lake Archiviazione Gen2. Se non è ancora stata eseguita la migrazione, vedere Accesso ad Azure Data Lake Archiviazione Gen1 da Azure Databricks.

Il caricatore automatico fornisce un'origine structured streaming denominata cloudFiles. Dato un percorso di directory di input nell'archiviazione file cloud, l'origine cloudFiles elabora automaticamente i nuovi file non appena arrivano, con la possibilità di elaborare anche i file esistenti in tale directory. Il caricatore automatico supporta sia Python che SQL nelle tabelle live Delta.

È possibile usare il caricatore automatico per elaborare miliardi di file per eseguire la migrazione o il riempimento di una tabella. Ridimensionamento automatico del caricatore per supportare l'inserimento quasi in tempo reale di milioni di file all'ora.

In che modo il caricatore automatico tiene traccia dello stato di avanzamento dell'inserimento?

Man mano che vengono individuati i file, i relativi metadati vengono salvati in modo permanente in un archivio chiave-valore scalabile (RocksDB) nel percorso del checkpoint della pipeline del caricatore automatico. Questo archivio chiave-valore garantisce che i dati vengano elaborati esattamente una volta.

In caso di errori, il caricatore automatico può riprendere da dove è stato interrotto dalle informazioni archiviate nella posizione del checkpoint e continuare a fornire garanzie esattamente una volta durante la scrittura di dati in Delta Lake. Non è necessario mantenere o gestire uno stato per ottenere la tolleranza di errore o la semantica esattamente una volta.

Inserimento incrementale tramite il caricatore automatico con tabelle live Delta

Databricks consiglia il caricatore automatico nelle tabelle live Delta per l'inserimento incrementale dei dati. Le tabelle live delta estendono la funzionalità in Apache Spark Structured Streaming e consentono di scrivere solo alcune righe di Python dichiarativo o SQL per distribuire una pipeline di dati di qualità di produzione con:

• Scalabilità automatica dell'infrastruttura di calcolo per risparmiare sui costi
• Controlli di qualità dei dati con aspettative
• Gestione automatica dell'evoluzione dello schema
• Monitoraggio tramite metriche nel registro eventi

Non è necessario specificare uno schema o un percorso di checkpoint perché le tabelle live Delta gestiscono automaticamente queste impostazioni per le pipeline. Vedere Caricare dati con tabelle live Delta.

Databricks consiglia anche il caricamento automatico ogni volta che si usa Apache Spark Structured Streaming per inserire dati dall'archiviazione di oggetti cloud. Le API sono disponibili in Python e Scala.

Introduzione al caricatore automatico di Databricks

Vedere gli articoli seguenti per iniziare a configurare l'inserimento incrementale dei dati usando il caricatore automatico con le tabelle live Delta:

• Esercitazione: Eseguire il primo carico di lavoro ETL in Databricks usando dati di esempio (Python, notebook SQL)

• Caricare i dati dall'archiviazione di oggetti cloud in tabelle di streaming usando il caricatore automatico (notebook: Python, SQL)

• Caricare dati dall'archiviazione di oggetti cloud in tabelle di streaming usando il caricatore automatico (editor SQL di Databricks)

Esempi: modelli comuni di caricatore automatico

Per esempi di modelli comuni di caricamento automatico, vedere Modelli comuni di caricamento dei dati.

Configurare le opzioni del caricatore automatico

È possibile ottimizzare il caricatore automatico in base al volume di dati, alla varietà e alla velocità.

• Configurare l'inferenza e l'evoluzione dello schema nell'Autoloader
• Configurare il caricatore automatico per i carichi di lavoro di produzione

Per un elenco completo delle opzioni del caricatore automatico, vedere:

• Opzioni del caricatore automatico

Se si verificano prestazioni impreviste, vedere le domande frequenti.

Configurare le modalità di rilevamento file del caricatore automatico

Il caricatore automatico supporta due modalità di rilevamento file. Vedere:

• Che cos'è la modalità elenco directory del caricatore automatico?
• Che cos'è la modalità di notifica file del caricatore automatico?

Vantaggi del caricatore automatico sull'uso di Structured Streaming direttamente nei file

In Apache Spark è possibile leggere i file in modo incrementale usando spark.readStream.format(fileFormat).load(directory). Il caricatore automatico offre i vantaggi seguenti rispetto all'origine file:

• Scalabilità: il caricatore automatico può individuare miliardi di file in modo efficiente. I backfill possono essere eseguiti in modo asincrono per evitare di sprecare risorse di calcolo.
• Prestazioni: il costo dell'individuazione dei file con il caricatore automatico viene ridimensionato con il numero di file inseriti invece del numero di directory in cui possono essere inseriti i file. Vedere Che cos'è la modalità elenco directory del caricatore automatico?.
• Supporto dell'inferenza e dell'evoluzione dello schema: il caricatore automatico può rilevare le deviazioni dello schema, notificare quando si verificano modifiche dello schema e salvare i dati che sarebbero stati altrimenti ignorati o persi. Vedere Funzionamento dell'inferenza dello schema del caricatore automatico?
• Costo: il caricatore automatico usa API cloud native per ottenere elenchi di file esistenti nell'archiviazione. Inoltre, la modalità di notifica file del caricatore automatico può contribuire a ridurre ulteriormente i costi del cloud evitando completamente l'elenco delle directory. Il caricatore automatico può configurare automaticamente i servizi di notifica file nell'archiviazione per rendere l'individuazione dei file molto più economica.