Streaminggegevensbronnen configureren
Azure Databricks kan worden geïntegreerd met stream messaging-services voor gegevensopname in bijna realtime in Databricks Lakehouse. Azure Databricks kan ook verrijkte en getransformeerde gegevens in het lakehouse synchroniseren met andere streamingsystemen.
Structured Streaming biedt systeemeigen streamingtoegang tot bestandsindelingen die worden ondersteund door Apache Spark, maar Databricks raadt AutoLoader aan voor de meeste gestructureerde streamingbewerkingen die gegevens lezen uit de opslag van cloudobjecten. Zie Wat is automatisch laadprogramma?
Als u streamingberichten naar Delta Lake opneemt, kunt u berichten voor onbepaalde tijd bewaren, zodat u gegevensstromen opnieuw kunt afspelen zonder dat u bang bent dat u gegevens kwijtraakt vanwege retentiedrempels.
Zie voor meer informatie over specifieke configuraties voor streaming vanuit berichtenwachtrijen: