Lakeflow Spark Deklarativa pipelines versionsanteckningar 2026

Följande funktioner, förbättringar och felkorrigeringar i Lakeflow Spark Deklarativa Pipelines släpptes 2026.

Anmärkning

Eftersom versioner av Lakeflow Spark Declarative Pipelines-kanalen följer en löpande uppgraderingsprocess distribueras kanaluppgraderingar till olika regioner vid olika tidpunkter. Din version, inklusive Databricks Runtime-versioner, kanske inte uppdateras förrän en vecka eller mer efter det första lanseringsdatumet. Information om hur du hittar Databricks Runtime-versionen för en pipeline finns i Runtime-information.

Januari 2026

De här funktionerna och förbättringarna av Lakeflow Spark deklarativa pipelines släpptes mellan 14 november 2025 och 13 januari 2026.

Databricks Runtime-versioner som används av den här versionen

Kanal:

• CURRENT (standard): Databricks Runtime 16.4
• FÖRHANDSVERSION: Databricks Runtime 17.3

Nya funktioner och förbättringar

• Nu kan du lagra och hantera datakvalitetsförväntningar direkt i Unity Catalog-tabeller och centralisera datakvalitetsregler med ditt ramverk för datastyrning. Detta möjliggör versionsstyrda, granskningsbara kvalitetsregler som kan delas över flera pipelines.

• Kontinuerliga pipelines som körs längre än 7 dagar startas nu om på ett smidigt sätt med minimal stilleståndstid och en explicit uppdateringsorsak (INFRASTRUCTURE_MAINTENANCE), i stället för att plötsligt startas om när den underliggande beräkningen behöver uppdateras.

• Pipelines stöder nu körningsläge i kö, där flera uppdateringsbegäranden placeras i kö automatiskt och körs sekventiellt i stället för att misslyckas med konflikter. Detta förenklar åtgärder för pipelines med frekventa uppdateringsutlösare och eliminerar behovet av samordning av manuella återförsök.

• Nu kan du materialisera flera SCD Typ 2-vyer från en datakälla med en enda ändring, vilket förbättrar effektiviteten när du skapar flera historiska vyer av samma data. Detta eliminerar behovet av att bearbeta källdata för varje SCD Typ 2-utdata.

• Pipelinescheman och konfiguration kan nu lagras och läsas från tabellegenskaperna i Unity Catalog, vilket möjliggör centraliserad inställningshantering via datastyrning. På så sätt kan du hantera pipelinebeteendet tillsammans med dina datadefinitioner.

• MANAGE behörigheter sprids nu automatiskt till materialiserade vyer och strömmande tabeller i Unity Catalog, vilket förenklar behörighetshanteringen för pipelineutdata. Detta säkerställer konsekvent åtkomstkontroll utan manuella behörighetsbidrag.

• SCD Typ 2-åtgärder samlar nu automatiskt duplicerade poster med samma naturliga nyckel, vilket säkerställer datakonsekvens och förhindrar dubbletter av historiska poster i dina långsamt föränderliga dimensionstabeller.

• Pipelines har nu ett alternativ för att automatiskt släppa inaktiva tabeller som inte längre ingår i pipelinedefinitionen. Detta hjälper till att underhålla rena informationslager och minskar lagringskostnaderna från föråldrade tabeller. Se Använd Unity Catalog med pipelines.

• Pipelinedefinition, korrigeringsåtgärder och kör som-identitetsändringar ingår nu i granskningsloggen, vilket ger omfattande spårning av konfigurationsändringar för efterlevnad och säkerhetsövervakning. Se Händelselogg för pipeline.

Felkorrigeringar

Inga betydande felkorrigeringar ingick i den här lanseringsperioden. Alla ändringar var nya funktioner och förbättringar.