設定串流數據源
Azure Databricks 可以與串流傳訊服務整合,以便近乎實時數據擷取至 Databricks Lakehouse。 Azure Databricks 也可以與其他串流系統同步處理 lakehouse 中擴充和轉換的數據。
結構化串流提供原生串流存取 Apache Spark 所支援的檔案格式,但 Databricks 建議針對從雲端物件記憶體讀取數據的大部分結構化串流作業使用自動載入器。 請參閱 什麼是自動載入器?。
將串流訊息擷取至 Delta Lake 可讓您無限期地保留訊息,讓您重新執行數據流,而不必擔心因為保留閾值而遺失數據。
若要深入瞭解從消息佇列串流的特定組態,請參閱: