構造化ストリーミングで Unity Catalog を使用する

Unity Catalog で構造化ストリーミングを使用して、Azure Databricks の増分およびストリーミング ワークロードのデータ ガバナンスを管理します。 このドキュメントでは、サポートされている機能の概要と、Unity Catalog と構造化ストリーミングを一緒に使用するための推奨されるベスト プラクティスについて説明します。

Unity Catalog でサポートされている構造化ストリーミング機能

Unity Catalog では、Azure Databricks で使用できる構造化ストリーミング ソースとシンクに対する明示的な制限は追加されません。 Unity Catalog データ ガバナンス モデルを使用すると、Unity Catalog のマネージドおよび外部のテーブルからデータをストリーミングできます。 Unity Catalog で管理されている外部の場所を使用して、オブジェクト ストレージ URI を使用してデータを操作することもできます。 外部テーブルには、テーブル名またはファイル パスを使用して書き込むことができます。 Unity Catalog 上のマネージド テーブルは、テーブル名を使用して操作する必要があります。

構造化ストリーミング チェックポイントのパスを指定するときには、Unity Catalog によって管理される外部の場所を使用します。 Unity Catalog を使用してストレージを安全に接続する方法の詳細については、「Unity Catalog を使用してクラウド オブジェクト ストレージに接続する」を参照してください。

構造化ストリーミング機能のサポートは、実行している Databricks Runtime のバージョン、および割り当て済み アクセス モードと共有クラスター アクセス モードのどちらを使用しているかによって異なります。 詳細については、「Unity Catalog のストリーミングの制限事項」を参照してください。

Unity Catalog で構造化ストリーミングを使用するエンド ツー エンドのデモについては、「チュートリアル: エンド ツー エンドのレイクハウス分析パイプラインを実行する」を参照してください。

Unity Catalog でサポートされていない構造化ストリーミング機能

Unity Catalog でサポートされていない構造化ストリーミング機能の一覧については、「Unity Catalog のストリーミングの制限事項」を参照してください。