Konfigurieren von Streamingdatenquellen
Azure Databricks kann in Stream-Messaging-Dienste integriert werden, um Daten nahezu in Echtzeit in Databricks Lakehouse zu erfassen. Azure Databricks kann auch angereicherte und transformierte Daten im Lakehouse mit anderen Streamingsystemen synchronisieren.
Strukturiertes Streaming bietet nativen Streamingzugriff auf Dateiformate, die von Apache Spark unterstützt werden, aber Databricks empfiehlt Autoloader für die meisten strukturierten Streamingvorgänge, die Daten aus dem Cloudobjektspeicher lesen. Weitere Informationen finden Sie unter Automatisches Laden.
Durch die Aufnahme von Streaming-Nachrichten in Delta Lake können Sie Nachrichten unbegrenzt aufbewahren, sodass Sie Datenströme wiedergeben können, ohne befürchten zu müssen, dass Daten aufgrund von Aufbewahrungsschwellenwerten verloren gehen.
Weitere Informationen zu bestimmten Konfigurationen für das Streaming von Nachrichtenwarteschlangen finden Sie unter: