Verwenden von Unity Catalog mit strukturiertem Streaming

Verwenden Sie das strukturierte Streaming mit Unity Catalog, um die Datengovernance für Ihre inkrementellen und Streamingworkloads in Azure Databricks zu verwalten. Dieses Dokument beschreibt die unterstützten Funktionen und schlägt bewährte Methoden für die gemeinsame Nutzung von Unity Catalog und strukturiertem Streaming vor.

Welche Funktionen von strukturiertem Streaming unterstützt Unity Catalog?

Unity Catalog fügt keine expliziten Grenzwerte für Quellen und Senken von strukturiertem Streaming hinzu, die in Azure Databricks verfügbar sind. Mit dem Unity Catalog-Datengovernancemodell können Sie Daten aus verwalteten und externen Tabellen in Unity Catalog streamen. Sie können auch externe, von Unity Catalog verwaltete Speicherorte verwenden, um über Objektspeicher-URIs mit Daten zu interagieren. Sie können Tabellennamen oder Dateipfade zum Schreiben in externe Tabellen verwenden. Sie müssen mit verwalteten Tabellen in Unity Catalog über den Tabellennamen interagieren.

Verwenden Sie von Unity Catalog verwaltete externe Speicherorte, wenn Sie Pfade für Prüfpunkte des strukturierten Streamings angeben. Weitere Informationen zum sicheren Herstellen einer Verbindung mit dem Unity-Katalog finden Sie unter Verbinden mit Cloudobjektspeicher mithilfe von Unity Catalog.

Die Unterstützung der Funktion für strukturiertes Streaming hängt von der Databricks Runtime-Version ab, die Sie verwenden, und davon, ob Sie den zugewiesenen oder gemeinsamen Clusterzugriffsmodus verwenden. Ausführliche Informationen finden Sie unter Streamingeinschränkungen für Unity Catalog.

Eine End-to-End-Demo mit strukturiertem Streaming in Unity Catalog finden Sie unter Tutorial: Ausführen einer End-to-End-Lakehouse-Analysepipeline.

Welche Funktionen von strukturiertem Streaming werden von Unity Catalog nicht unterstützt?

Eine Liste der Features für strukturiertes Streaming, die in Unity Catalog nicht unterstützt werden, finden Sie unter Streamingeinschränkungen für Unity Catalog.