Använda Unity Catalog med strukturerad direktuppspelning

Använd Structured Streaming med Unity Catalog för att hantera datastyrning för dina inkrementella och strömmande arbetsbelastningar på Azure Databricks. Det här dokumentet beskriver funktioner som stöds och föreslår metodtips för att använda Unity Catalog och Strukturerad direktuppspelning tillsammans.

Vilka funktioner för strukturerad direktuppspelning stöder Unity Catalog?

Unity Catalog lägger inte till några explicita gränser för strukturerade direktuppspelningskällor och mottagare som är tillgängliga i Azure Databricks. Med datastyrningsmodellen för Unity Catalog kan du strömma data från hanterade och externa tabeller i Unity Catalog. Du kan också använda externa platser som hanteras av Unity Catalog för att interagera med data med hjälp av objektlagrings-URI:er. Du kan skriva till externa tabeller med antingen tabellnamn eller filsökvägar. Du måste interagera med hanterade tabeller i Unity Catalog med tabellnamnet.

Använd externa platser som hanteras av Unity Catalog när du anger sökvägar för kontrollpunkter för strukturerad direktuppspelning. Mer information om hur du ansluter lagring på ett säkert sätt med Unity Catalog finns i Anslut till molnobjektlagring med hjälp av Unity Catalog.

Stöd för strukturerad direktuppspelning skiljer sig åt beroende på vilken Databricks Runtime-version du kör och om du använder tilldelat eller delat klusteråtkomstläge. Mer information finns i Begränsningar för strömning för Unity Catalog.

En demo från slutpunkt till slutpunkt med structured streaming på Unity Catalog finns i Självstudie: Kör en lakehouse-analyspipeline från slutpunkt till slutpunkt.

Vilka funktioner för strukturerad direktuppspelning stöds inte i Unity Catalog?

En lista över funktioner för strukturerad direktuppspelning som inte stöds i Unity Catalog finns i Begränsningar för strömning för Unity Catalog.