Streaming in Azure Databricks
È possibile usare Azure Databricks per l'inserimento dati, l'elaborazione, l'apprendimento automatico e l'IA in near real-time per dati di streaming.
Azure Databricks offre numerose ottimizzazioni per lo streaming e l'elaborazione incrementale, tra cui:
- Le Delta Live Tables forniscono una sintassi dichiarativa per processi incrementali. Che cos'è Delta Live Tables?.
- Il caricatore automatico semplifica l'inserimento incrementale dall'archiviazione di oggetti cloud. Vedere Che cos'è l’Autoloader?.
- Unity Catalog aggiunge la governance dei dati ai carichi di lavoro di streaming. Vedere Utilizzo di Unity Catalog con Structured Streaming.
Delta Lake offre il livello di archiviazione per queste integrazioni. Vedere Letture e scritture di streaming di tabelle Delta.
Per la gestione dei modelli in tempo reale, si veda Gestione dei modelli con Azure Databricks.
-
Informazioni di base sull'elaborazione near real-time e incrementale con Structured Streaming in Azure Databricks.
-
Informazioni sui concetti di base per la configurazione di carichi di lavoro incrementali e quasi in tempo reale con Structured Streaming.
-
La gestione delle informazioni di stato intermedie delle query di Structured Streaming con stato può contribuire ad evitare problemi di latenza e produzione imprevisti.
Considerazioni sulla produzione
Questo articolo contiene raccomandazioni per configurare carichi di lavoro di elaborazione incrementali relativamente alla produzione con flusso strutturato in Azure Databricks per soddisfare i requisiti di latenza e costi per applicazioni batch o in tempo reale.
-
Informazioni su come monitorare le applicazioni structured streaming in Azure Databricks.
-
Informazioni su come sfruttare Unity Catalog insieme a Structured Streaming in Azure Databricks.
-
Informazioni su come usare le tabelle Delta Lake come origini di streaming e sink.
-
Vedere esempi di uso di Spark Structured Streaming con Cassandra, Azure Synapse Analytics, notebook Python e notebook Scala in Azure Databricks.
Azure Databricks include funzionalità specifiche per l'uso di campi di dati semistrutturati contenuti in Avro, buffer di protocollo e payload di dati JSON. Per altre informazioni, vedere:
- Leggere e scrivere dati Avro in streaming
- Buffer del protocollo di lettura e scrittura
- Eseguire query su stringhe JSON
Risorse aggiuntive
Apache Spark offre una Guida per programmare Structured Streaming con altre informazioni sullo Structured Streaming.
Per informazioni di riferimento su Structured Streaming, Azure Databricks consiglia di vedere la seguente documentazione di riferimento API di Apache Spark: