Настройка источников данных потоковой передачи
Azure Databricks может интегрироваться со службами потоковой передачи сообщений для приема данных почти в реальном времени в Databricks lakehouse. Azure Databricks также может синхронизировать обогащенные и преобразованные данные в lakehouse с другими системами потоковой передачи.
Структурированная потоковая передача предоставляет собственный потоковый доступ к форматам файлов, поддерживаемым Apache Spark, но Databricks рекомендует автозагрузчик для большинства структурированных операций потоковой передачи, которые считывают данные из облачного хранилища объектов. См. статью об автозагрузчике.
Прием сообщений потоковой передачи в Delta Lake позволяет хранить сообщения неопределенно долго, благодаря чему вы можете воспроизводить потоки данных без потерь из-за пороговых значений хранения.
Дополнительные сведения о конкретных конфигурациях потоковой передачи из очередей сообщений см. в следующей статье: