Optimera tillståndslösa strömningsfrågor

På den här sidan beskrivs optimeringsfunktioner som är tillgängliga för tillståndslösa strömningsfrågor i Databricks Runtime 18.0 och senare.

Tillståndslösa strukturerade strömningsfrågor bearbetar data utan att upprätthålla mellanliggande tillstånd. De här frågorna använder inte tillståndskänsliga operatorer som strömningsaggregeringar, dropDuplicateseller stream-stream-kopplingar. Exempel är frågor som använder ström-statiska kopplingar, MERGE INTO med Delta-tabeller och andra åtgärder som endast spårar vilka rader som har bearbetats från källa till mottagare.

Adaptiv frågeutförande och automatisk optimerad uppdelning

Azure Databricks stöder AQE (Adaptive Query Execution) och AOS (Auto Optimized Shuffle) för tillståndslösa strömningsfrågor. De här funktionerna bidrar till att optimera strömmande arbetsbelastning som använder ström-statiska sammanslagningar, MERGE INTO med Delta-tabeller och liknande operationer.

Om du vill aktivera AQE för tillståndslösa strömningsfrågor anger du följande konfiguration till true. Detta är aktiverat som standard:

spark.sql.adaptive.streaming.stateless.enabled true

Om du vill aktivera AOS för tillståndslösa strömningsfrågor aktiverar du AQE och anger följande konfiguration:

spark.sql.shuffle.partitions auto

Ändra shuffle-partitioner under omstart av frågan

"Stateless" strömningsförfrågningar stöder ändring av antalet shuffle-partitioner när du startar om en förfrågan. På så sätt kan du justera parallellitet för att hantera olika indatavolymer.

Den här funktionen är särskilt användbar för historiska återfyllnadsscenarier. Du kan till exempel bearbeta historisk återfyllnad med högre parallellitet och sedan minska parallelliteten för realtidsindata.

Om du vill ändra antalet shuffle-partitioner anger du följande konfiguration till önskat värde och startar om frågan:

spark.sql.shuffle.partitions <number>