Releaseopmerkingen voor Lakeflow Spark Declarative Pipelines 2026

De volgende functies, verbeteringen en bugfixes van Lakeflow Spark Declarative Pipelines zijn uitgebracht in 2026.

Opmerking

Omdat kanaalreleases van Lakeflow Spark Declarative Pipelines een rolling upgradeproces volgen, worden kanaalupgrades op verschillende tijdstippen geïmplementeerd in verschillende regio's. Uw release, inclusief Databricks Runtime-versies, wordt mogelijk pas na een week of meer bijgewerkt na de eerste releasedatum. Zie Runtime-informatie om de Databricks Runtime-versie voor een pijplijn te vinden.

Februari 2026

Deze functies en verbeteringen in Lakeflow Spark Declarative Pipelines zijn uitgebracht tussen 14 januari 2026 en 25 februari 2026.

Databricks Runtime-versies die door deze release worden gebruikt

Kanaal:

• CURRENT (standaard): Databricks Runtime 16.4
• PREVIEW: Databricks Runtime 17.3

Nieuwe functies en verbeteringen

• Pijplijnen bieden nu ondersteuning voor het uitbreiden van typen voor Delta-tabellen, zodat kolomgegevenstypen veilig kunnen worden uitgebreid (bijvoorbeeld INT tot , naar LONGFLOATDOUBLE) zonder dat een volledige pijplijn opnieuw hoeft te worden ingesteld. Hierdoor zijn werkstromen voor schemaontwikkeling mogelijk waarvoor eerder handmatige interventie is vereist.
• U kunt nu SCD Type 1-materalisatie gebruiken met AUTO CDC, waardoor een eenvoudiger CDC-patroon wordt geboden dat de meest recente waarde toevoegt of bijwerkt zonder de volledige geschiedenis van wijzigingen te bewaren. Dit vermindert de opslagoverhead voor gebruiksvoorbeelden waarvoor geen volledige geschiedenis is vereist.
• Pijplijnen hergebruiken nu bestaande clusters bij het opnieuw proberen van mislukte updates, waardoor de latentie voor opnieuw proberen wordt verminderd en de rekenkosten worden verlaagd door de opstarttijd van redundante clusters te elimineren.
• De activering van voorspellende optimalisatie wordt nu correct weergegeven in gerealiseerde weergaven en streamingtabellen, als deze in de afgelopen maand zijn vernieuwd.
• Pijplijnen valideren nu meerdere stromen samen, waarbij configuratieconflicten en afhankelijkheidsproblemen tussen stromen worden opgespoord tijdens de testfase voordat de uitvoering begint.
• Alterable metadata worden nu behouden tijdens updates van de opnamepijplijn, waardoor volledige ondersteuning voor ALTER-opdrachten op opnamestreamingtabellen mogelijk is.
• Python-fouten in pijplijnen bevatten nu SQL-statuscodes, waardoor de foutdiagnose wordt verbeterd en betere programmatische foutafhandeling in downstream hulpprogramma's mogelijk wordt.
• Pijplijnen ondersteunen nu ARM-exemplaren voor klassieke berekeningen.

Fouten opgelost

• Waarden voor identiteitskolommen in append-only streamingtabellen worden nu correct gegenereerd tijdens de eerste update-uitvoering.

Januari 2026

Deze functies en verbeteringen in Lakeflow Spark Declarative Pipelines zijn uitgebracht tussen 14 november 2025 en 13 januari 2026.

Databricks Runtime-versies die door deze release worden gebruikt

Kanaal:

• CURRENT (standaard): Databricks Runtime 16.4
• PREVIEW: Databricks Runtime 17.3

Nieuwe functies en verbeteringen

• U kunt nu de verwachtingen van gegevenskwaliteit rechtstreeks opslaan en beheren in Unity Catalog-tabellen, waarbij u regels voor gegevenskwaliteit centraliseert met uw datagovernanceframework. Dit maakt versiebeheerde, controleerbare kwaliteitsregels mogelijk die kunnen worden gedeeld via meerdere pijplijnen.

• Continue pijplijnen die langer dan zeven dagen worden uitgevoerd, worden nu probleemloos opnieuw opgestart met minimale downtime en een expliciete updateoorzaak (INFRASTRUCTURE_MAINTENANCE) in plaats van plotseling opnieuw op te starten wanneer de onderliggende berekening moet worden vernieuwd.

• Pijplijnen ondersteunen nu de uitvoeringsmodus in de wachtrij, waarbij meerdere updateaanvragen automatisch in de wachtrij worden geplaatst en opeenvolgend worden uitgevoerd in plaats van te mislukken met conflicten. Dit vereenvoudigt bewerkingen voor pijplijnen met frequente updatetriggers en elimineert de noodzaak voor handmatige coördinatie van nieuwe pogingen.

• U kunt nu meerdere SCD Type 2-weergaven van één gegevensbron wijzigen, waardoor de efficiëntie wordt verbeterd bij het maken van meerdere historische weergaven van dezelfde gegevens. Dit elimineert de noodzaak om brongegevens voor elke SCD Type 2-uitvoer opnieuw te verwerken.

• Pijplijnplanningen en -configuratie kunnen nu worden opgeslagen en gelezen uit eigenschappen van de Unity Catalog-tabel, waardoor gecentraliseerd instellingenbeheer via gegevensbeheer mogelijk is. Hiermee kunt u het gedrag van pijplijnen naast uw gegevensdefinities beheren.

• MANAGE machtigingen worden nu automatisch doorgegeven aan gerealiseerde weergaven en streamingtabellen in Unity Catalog, waardoor machtigingsbeheer voor pijplijnuitvoer wordt vereenvoudigd. Dit zorgt voor consistent toegangsbeheer zonder handmatige machtigingen.

• SCD Type 2-bewerkingen samenvoegen nu automatisch dubbele records met dezelfde natuurlijke sleutel, waardoor gegevensconsistentie wordt gegarandeerd en dubbele historische records in uw langzaam veranderende dimensietabellen worden voorkomen.

• Pijplijnen hebben nu de mogelijkheid om inactieve tabellen die geen deel meer uitmaken van de pijplijndefinitie automatisch te verwijderen. Dit helpt bij het onderhouden van schone datawarehouses en vermindert de opslagkosten van verouderde tabellen. Zie Unity Catalog gebruiken met pijplijnen.

• Pijplijndefinitie, patchbewerkingen en run-as-identiteitswijzigingen worden nu opgenomen in het auditlogboek en bieden uitgebreide tracering van configuratiewijzigingen voor naleving en beveiligingsbewaking. Zie het gebeurtenislogboek van de pijplijn.

Fouten opgelost

Er zijn geen belangrijke bugfixes opgenomen in deze releaseperiode. Alle wijzigingen waren nieuwe functies en verbeteringen.