Releaseopmerkingen voor Lakeflow-pijplijnen 2026

De volgende functies, verbeteringen en bugfixes van Lakeflow-pijplijnen zijn uitgebracht in 2026.

Opmerking

Omdat de channel releases voor Lakeflow-pijplijnen een gefaseerd upgradeproces volgen, worden channel upgrades in verschillende regio's op verschillende momenten uitgerold. Uw release, inclusief Databricks Runtime-versies, wordt mogelijk pas na een week of meer bijgewerkt na de eerste releasedatum. Zie Runtime-informatie om de huidige Databricks Runtime-versie voor een pijplijn te vinden.

Juli 2026

Deze functies en verbeteringen aan Lakeflow-pijpleidingen werden uitgebracht tussen 7 juli 2026 en 12 augustus 2026.

Databricks Runtime-versies die door deze release worden gebruikt

De volgende versies waren actueel per 12 augustus 2026.

Kanaal:

• CURRENT (standaard): Databricks Runtime 17.3
• PREVIEW: Databricks Runtime 18

Nieuwe functies en verbeteringen

• Pipelines ondersteunen nu versieloze modus, waarbij Azure Databricks de Databricks Runtime-versie automatisch beheert in plaats van dat je een specifieke versie vastpint. Dit houdt de pipelines op een onderhouden runtime zonder handmatige versie-upgrades.
• Catalog-commits zijn nu in Public Preview beschikbaar in alle werkruimten, voor streamingtabellen en gematerialiseerde weergaven. Je kunt DML-bewerkingen uitvoeren op streamingtabellen waarvoor cataloguscommits zijn ingeschakeld, binnen transacties met meerdere tabellen en meerdere instructies. Zie Cataloguscommits.
• Pijplijnen kunnen nu een bestaand checkpoint importeren, wat migratie- en herstelscenario's vereenvoudigt.
• Continue pijplijnen integreren nu met de querygeschiedenis, wat de traceerbaarheid verbetert voor wijzigingen veroorzaakt door langdurige continue updates.
• Je kunt nu het maximale aantal gelijktijdig actieve pipeline-updates configureren, waardoor je meer controle hebt over de gelijktijdigheid van de pipeline.
• Nieuwe pijplijnen schakelen nu automatisch automatisch over op de huidige publicatiemodus, wat het aanmaken van pijplijnen vereenvoudigt.
• Geplande verversingen zijn nu uitgeschakeld voor zelfstandige gematerialiseerde weergaven en streamingtabellen die naar tijdelijke weergaven verwijzen, om verversingsfouten te voorkomen.

Fouten opgelost

Er zijn geen belangrijke bugfixes opgenomen in deze releaseperiode. Alle wijzigingen waren nieuwe functies en verbeteringen.

Juni 2026

Deze functies en verbeteringen in Lakeflow-pijplijnen zijn uitgebracht tussen 10 juni 2026 en 7 juli 2026.

Databricks Runtime-versies die door deze release worden gebruikt

De volgende versies waren vanaf 7 juli 2026 actueel.

Kanaal:

• CURRENT (standaard): Databricks Runtime 17.3
• PREVIEW: Databricks Runtime 18

Nieuwe functies en verbeteringen

• AUTO CDC doeltabellen ondersteunen nu liquid clustering, dat u kunt inschakelen op basis van de primaire sleutel of via de ingestiespecificatie. Dit verbetert de queryprestaties op change-data-capture-doelen zonder handmatig onderhoud van clustering.
• U kunt nu verwachtingen van gegevenskwaliteit toevoegen aan zelfstandige gerealiseerde weergaven met behulp van de CONSTRAINT expectation_name EXPECT (expectation_expr) component. Hiermee kunt u regels voor gegevenskwaliteit afdwingen voor zelfstandige gerealiseerde weergaven zonder een pijplijndefinitie.
• REPLACE WHERE flows ondersteunen nu incrementeel vernieuwen. Geschikte stromen herberekenen alleen de gewijzigde gegevens in plaats van de volledige invoer opnieuw te verwerken, waardoor de vernieuwingskosten afnemen.
• Pijplijnen die worden uitgevoerd op klassieke berekeningen ondersteunen nu omgevingsversies, waardoor u meer controle hebt over afhankelijkheidsbeheer op klassieke berekeningen.

Fouten opgelost

• Er is een probleem opgelost waarbij een vastgelegde cursor vastliep wanneer een niet-actieve connector werd hervat, waardoor de opnamevoortgang kon worden onderbroken.

Mei 2026

Deze functies en verbeteringen in Lakeflow-pijplijnen zijn uitgebracht tussen 6 mei 2026 en 9 juni 2026.

Databricks Runtime-versies die door deze release worden gebruikt

De volgende versies waren vanaf 9 juni 2026 actueel.

Kanaal:

• CURRENT (standaard): Databricks Runtime 17.3
• PREVIEW: Databricks Runtime 18.1

Nieuwe functies en verbeteringen

• AUTO CDC ondersteunt nu bitemporale registratie, waarbij voor elke rij zowel systeemtijd (wanneer een record werd opgeslagen) als geldigheidstijd (wanneer deze van toepassing was) wordt bijgehouden. Dit maakt correctheid op een bepaald moment mogelijk voor financiële, controle- en regelgevende workloads.
• Python pijplijnen gebruiken nu virtuele omgevingen uit eerdere updates opnieuw. Warm-pool-REPL's laden vooraf in cache geplaatste omgevingen, zodat ze de installatie van afhankelijkheden overslaan wanneer de omgeving ongewijzigd blijft tussen updates. Dit vermindert de opstarttijd.
• U kunt afhankelijkheden van Python-bibliotheken nu rechtstreeks in uw pijplijndefinitie opgeven, in plaats van %pip install-aanroepen te gebruiken in cellen in notebooks. Afhankelijkheden worden aan het begin van een update geïnstalleerd in de Python-omgeving. Zie Python-afhankelijkheden voor pijplijnen beheren.
• Pijplijnen die gebruikmaken van automatische liquide clustering (CLUSTER BY AUTO) verwijderen nu automatisch clusteringkolommen wanneer deze kolommen worden verwijderd uit het gerealiseerde weergaveschema. Hiervoor was een handmatige volledige vernieuwing vereist.
• U kunt nu de eigenaar van een gematerialiseerde weergave of streamingtabel wijzigen naar een service-principal met ALTER MATERIALIZED VIEW of ALTER STREAMING TABLE ... SET OWNER TO. Voorheen kon het eigendom alleen worden gewijzigd via Catalog Explorer.
• ALTER TABLE ... DROP FEATURE wordt nu ondersteund voor gematerialiseerde weergaven en streamingtabellen.

Fouten opgelost

• Er is een racevoorwaarde opgelost waarbij dubbele StartUpdate aanroepen meerdere gelijktijdige pijplijnupdates konden activeren. Idempotentietokens worden nu gevalideerd en opgeslagen om dubbele uitvoeringen te voorkomen.

April 2026

Deze functies en verbeteringen in Lakeflow-pijplijnen zijn uitgebracht tussen 5 april 2026 en 6 mei 2026.

Databricks Runtime-versies die door deze release worden gebruikt

De volgende versies waren vanaf 6 mei 2026 actueel.

Kanaal:

• CURRENT (standaard): Databricks Runtime 17.3
• PREVIEW: Databricks Runtime 18.1

Nieuwe functies en verbeteringen

• Zelfstandige gerealiseerde weergaven en streamingtabellen (voorheen pijplijnen in Databricks SQL) zijn nu beschikbaar op serverloze compute (bèta), zodat u deze objecten kunt maken en beheren zonder toegewezen pijplijnclusters in te richten. Dit vermindert de operationele overhead en kosten voor zelfstandige declaratieve objecten.
• Pijplijnen en op zichzelf staande streamingtabellen ondersteunen nu REPLACE WHERE-stromen (Beta). REPLACE WHERE stromen zijn geschikt voor incrementele batchverwerking van joins en aggregaties. Zie Batchverwerking met REPLACE-flowsWHERE.
• SCD Type 2-verwerking laat nu null-vermeldingen uit versietoewijzingen weg tijdens zowel lees- als schrijfbewerkingen, waardoor de opslagefficiëntie en queryprestaties worden verbeterd voor langzaam veranderende dimensieworkloads.

• De Databricks SQL-editor bevat nu een speciale vaardigheid voor het maken van gerealiseerde weergaven, met begeleide hulp en syntaxishulp rechtstreeks in de editor. Dit stroomlijnt de werkstroom voor het definiëren en configureren van gerealiseerde weergaven.
• De Databricks SQL-editor bevat nu een AUTO CDC vaardigheid waarmee u CDC-pijplijnen (Change Data Capture) kunt instellen. Dit vermindert de leercurve voor het configureren van CDC-pijplijnen.

Fouten opgelost

Er zijn geen belangrijke bugfixes opgenomen in deze releaseperiode. Alle wijzigingen waren nieuwe functies en verbeteringen.

Maart 2026

Deze functies en verbeteringen in Lakeflow-pijplijnen zijn uitgebracht tussen 26 februari 2026 en 31 maart 2026.

Databricks Runtime-versies die door deze release worden gebruikt

De volgende versies waren vanaf 31 maart 2026 actueel.

Kanaal:

• CURRENT (standaard): Databricks Runtime 17.3.8
• PREVIEW: Databricks Runtime 18.1.0

Nieuwe functies en verbeteringen

• Serverloze pijplijnen ondersteunen nu verticale automatische schaalaanpassing op basis van CPU. De functie past clusterresources dynamisch aan op basis van het werkelijke CPU-gebruik om de stabiliteit van de werkbelasting te verbeteren.
• U kunt nu Unity Catalog-tabellen behouden bij het verwijderen van een pijplijn, waarbij uw gegevensassets behouden blijven, zelfs nadat de pijplijn is verwijderd. Dit biedt meer flexibiliteit bij het beheren van levenscycluss van pijplijnen zonder risico op gegevensverlies.
• U kunt nu streamingtabellen maken met behulp van de nieuwe stroomsyntaxis, die een meer directe, declaratieve manier biedt om pijplijnen voor streaminggegevens te definiëren. Dit vereenvoudigt het ontwerpen van pijplijnen en is afgestemd op de huidige patronen voor data engineering.
• Pijplijnen behouden nu configuraties voor rijfilters en kolommaskers tijdens tabelupdates, zodat uw Unity Catalog-beveiligingsbeleid intact blijft tijdens pijplijnvernieuwingen. Dit voorkomt onbedoeld verwijderen van beveiligingsbeleid tijdens de ontwikkeling van het schema.
• CDC past nu wijzigingen toe in en ondersteunt nu de datumbasis-modus. De functie verwerkt tijdstempelconversies tussen verouderde en moderne kalendersystemen correct. Dit voorkomt inconsistenties van gegevens bij het verwerken van historische datum/tijd-gegevens via gegevensopnamestromen voor wijzigingen.
• U kunt nu SQL-instructies gebruiken in foreachBatch bewerkingen in streamingpijplijnen, waardoor u flexibelere microbatchverwerkingslogica kunt inschakelen. Dit verwijdert eerdere beperkingen die vereisten dat Python of Scala nodig was voor aangepaste batchverwerking.
• Pijplijnen bieden nu ondersteuning voor vooruitverwijzingen in sinkregistratie. U kunt gegevensstromen definiëren die verwijzen naar downstreamtabellen voordat ze worden gedeclareerd. Dit vereenvoudigt complexe pijplijndefinities en verwijdert bestelbeperkingen.
• Append-once flows worden nu gevalideerd tijdens proefuitvoeringen, waarbij configuratiefouten worden opgevangen voordat de pijplijnuitvoering begint. Dit verbetert de ontwikkelervaring door eerder in de werkstroom voor het ontwerpen van pijplijnen problemen op te lossen.

Fouten opgelost

Er zijn geen belangrijke bugfixes opgenomen in deze releaseperiode. Alle wijzigingen waren nieuwe functies en verbeteringen.

Februari 2026

Deze functies en verbeteringen in Lakeflow-pijplijnen zijn uitgebracht tussen 14 januari 2026 en 25 februari 2026.

Databricks Runtime-versies die door deze release worden gebruikt

De volgende versies waren vanaf 25 februari 2026 actueel.

Kanaal:

• CURRENT (standaard): Databricks Runtime 17.3
• PREVIEW: Databricks Runtime 17.3

Nieuwe functies en verbeteringen

• Pijplijnen bieden nu ondersteuning voor het uitbreiden van typen voor Delta-tabellen, zodat kolomgegevenstypen veilig kunnen worden uitgebreid (bijvoorbeeld INT tot , naar LONGFLOATDOUBLE) zonder dat een volledige pijplijn opnieuw hoeft te worden ingesteld. Hierdoor zijn werkstromen voor schemaontwikkeling mogelijk waarvoor eerder handmatige interventie is vereist.
• U kunt nu SCD Type 1-materalisatie gebruiken met AUTO CDC, waardoor een eenvoudiger CDC-patroon wordt geboden dat de meest recente waarde toevoegt of bijwerkt zonder de volledige geschiedenis van wijzigingen te bewaren. Dit vermindert de opslagoverhead voor gebruiksvoorbeelden waarvoor geen volledige geschiedenis is vereist.
• Pijplijnen hergebruiken nu bestaande clusters bij het opnieuw proberen van mislukte updates, waardoor de latentie voor opnieuw proberen wordt verminderd en de rekenkosten worden verlaagd door de opstarttijd van redundante clusters te elimineren.
• De activering van voorspellende optimalisatie wordt nu correct weergegeven in gerealiseerde weergaven en streamingtabellen, als deze in de afgelopen maand zijn vernieuwd.
• Pijplijnen valideren nu meerdere stromen samen, waarbij configuratieconflicten en afhankelijkheidsproblemen tussen stromen worden opgespoord tijdens de testfase voordat de uitvoering begint.
• Alterable metadata worden nu behouden tijdens updates van de opnamepijplijn, waardoor volledige ondersteuning voor ALTER-opdrachten op opnamestreamingtabellen mogelijk is.
• Python fouten in pijplijnen bevatten nu SQL-statuscodes, waardoor foutdiagnose wordt verbeterd en de verwerking van programmatische fouten in downstreamhulpprogramma's wordt verbeterd.
• Pijplijnen ondersteunen nu ARM-exemplaren voor klassieke berekeningen.

Fouten opgelost

• Waarden voor identiteitskolommen in append-only streamingtabellen worden nu correct gegenereerd tijdens de eerste update-uitvoering.

Januari 2026

Deze functies en verbeteringen in Lakeflow-pijplijnen zijn uitgebracht tussen 14 november 2025 en 13 januari 2026.

Databricks Runtime-versies die door deze release worden gebruikt

De volgende versies waren vanaf 13 januari 2026 actueel.

Kanaal:

• CURRENT (standaard): Databricks Runtime 17.3
• PREVIEW: Databricks Runtime 17.3

Nieuwe functies en verbeteringen

• U kunt nu de verwachtingen van gegevenskwaliteit rechtstreeks opslaan en beheren in Unity Catalog-tabellen, waarbij u regels voor gegevenskwaliteit centraliseert met uw datagovernanceframework. Dit maakt versiebeheerde, controleerbare kwaliteitsregels mogelijk die kunnen worden gedeeld via meerdere pijplijnen.

• Continue pijplijnen die langer dan zeven dagen worden uitgevoerd, worden nu probleemloos opnieuw opgestart met minimale downtime en een expliciete updateoorzaak (INFRASTRUCTURE_MAINTENANCE) in plaats van plotseling opnieuw op te starten wanneer de onderliggende berekening moet worden vernieuwd.

• Pijplijnen ondersteunen nu de uitvoeringsmodus in de wachtrij, waarbij meerdere updateaanvragen automatisch in de wachtrij worden geplaatst en opeenvolgend worden uitgevoerd in plaats van te mislukken met conflicten. Dit vereenvoudigt bewerkingen voor pijplijnen met frequente updatetriggers en elimineert de noodzaak voor handmatige coördinatie van nieuwe pogingen.

• U kunt nu meerdere SCD Type 2-weergaven van één gegevensbron wijzigen, waardoor de efficiëntie wordt verbeterd bij het maken van meerdere historische weergaven van dezelfde gegevens. Dit elimineert de noodzaak om brongegevens voor elke SCD Type 2-uitvoer opnieuw te verwerken.

• Pijplijnplanningen en -configuratie kunnen nu worden opgeslagen en gelezen uit eigenschappen van de Unity Catalog-tabel, waardoor gecentraliseerd instellingenbeheer via gegevensbeheer mogelijk is. Hiermee kunt u het gedrag van pijplijnen naast uw gegevensdefinities beheren.

• MANAGE machtigingen worden nu automatisch doorgegeven aan gerealiseerde weergaven en streamingtabellen in Unity Catalog, waardoor machtigingsbeheer voor pijplijnuitvoer wordt vereenvoudigd. Dit zorgt voor consistent toegangsbeheer zonder handmatige machtigingen.

• SCD Type 2-bewerkingen samenvoegen nu automatisch dubbele records met dezelfde natuurlijke sleutel, waardoor gegevensconsistentie wordt gegarandeerd en dubbele historische records in uw langzaam veranderende dimensietabellen worden voorkomen.

• Pijplijnen hebben nu de mogelijkheid om inactieve tabellen die geen deel meer uitmaken van de pijplijndefinitie automatisch te verwijderen. Dit helpt bij het onderhouden van schone datawarehouses en vermindert de opslagkosten van verouderde tabellen. Zie Unity Catalog gebruiken met pijplijnen.

• Pijplijndefinitie, patchbewerkingen en run-as-identiteitswijzigingen worden nu opgenomen in het auditlogboek en bieden uitgebreide tracering van configuratiewijzigingen voor naleving en beveiligingsbewaking. Zie het gebeurtenislogboek van de pijplijn.

Fouten opgelost

Er zijn geen belangrijke bugfixes opgenomen in deze releaseperiode. Alle wijzigingen waren nieuwe functies en verbeteringen.