ストリーミング データ ソースを構成する
Azure Databricks を使用すると、Databricks レイクハウスへのほぼリアルタイムのデータ インジェストを目的として、ストリーム メッセージング サービスと統合することができます。 Azure Databricks では、レイクハウス内のエンリッチおよび変換されたデータを他のストリーミング システムと同期することもできます。
構造化ストリーミングでは、Apache Spark でサポートされているファイル形式へのネイティブ ストリーミング アクセス権が付与されますが、Databricks では、クラウド オブジェクト ストレージからデータを読み取るほとんどの構造化ストリーミング操作で自動ローダーを使用することをお勧めします。 「自動ローダー」を参照してください。
Delta Lake にストリーミング メッセージをインジェストすると、メッセージを無期限に保持できるため、保持しきい値によるデータの損失を恐れることなく、データ ストリームを再生できます。
メッセージ キューからのストリーミングに関する特定の構成の詳細については、次を参照してください。