Triggat vs. kontinuerligt pipelineläge

Utlösta och kontinuerliga pipelinelägen styr hur en pipeline bearbetar data: utlöst läge uppdaterar tillgängliga data och stopp, medan kontinuerligt läge håller tabellerna fräscha när nya data kommer. Information om arbetsbelastningar som kräver svarstid på millisekunder finns i Använda realtidsläge i Lakeflow-pipelines.

Pipelineläget är oberoende av vilken typ av tabell som beräknas. Både materialiserade vyer och strömmande tabeller kan uppdateras i båda pipelinelägena.

Note

Uppdateringsåtgärder för fristående materialiserade vyer och strömmande tabeller körs alltid med utlöst pipelineläge.

Vad är utlösarläge för pipeline?

Om pipelinen använder läget utlöst stoppas systemet efter att alla tabeller har uppdaterats baserat på de data som var tillgängliga när uppdateringen startade.

Vad är kontinuerligt pipelineläge?

Om pipelinen använder kontinuerlig körning bearbetar den nya data när de tas emot i datakällor för att hålla tabellerna i hela pipelinen uppdaterade.

För att undvika onödig bearbetning i läget för kontinuerlig körning övervakar pipelines automatiskt beroende Delta-tabeller och utför endast en uppdatering när innehållet i de beroende tabellerna har ändrats.

För att kontrollera när plattformsinitierade uppdateringar och omstarter sker på en kontinuerlig pipeline, konfigurera ett underhållsfönster på jobbet som kör pipelinen. Se Hantera uppdateringar för kontinuerliga pipelines.

Välj ett datapipelineläge

I följande tabell visas skillnaderna mellan utlösta och kontinuerliga pipelinelägen:

Viktiga frågor	Aktiverad	Kontinuerlig
När stoppas uppdateringen?	Automatiskt när det är klart.	Körs kontinuerligt tills den stoppas manuellt.
Vilka data bearbetas?	Tillgängliga data när uppdateringen startar.	Alla data när de kommer till konfigurerade källor.
Vilka krav på aktualitet av data är detta bäst för?	Datauppdateringar körs var 10:e minut, varje timme eller varje dag.	Datauppdateringar önskas mellan var 10:e sekund och några minuter.

Utlösta pipelines kan minska resursförbrukningen och kostnaderna eftersom klustret endast körs tillräckligt länge för att uppdatera pipelinen. Nya data bearbetas dock inte förrän pipelinen har utlösts. Kontinuerliga pipelines kräver ett kluster som alltid körs, vilket är dyrare men minskar bearbetningsfördröjningen.

Kör en kontinuerlig pipeline med ett kontinuerligt jobb

Databricks rekommenderar att köra kontinuerliga pipelines med ett kontinuerligt jobb istället för att sätta värdet i Pipeline-läget till kontinuerligt. När ett kontinuerligt jobb orkestrerar en pipeline hanterar jobbet pipelinens exekveringslivscykel och låser upp serverlösa prestandalägen, såsom Standardläge, som pipelinens inbyggda kontinuerliga läge inte stödjer.

Note

jobborkestrering styr endast exekveringsläget för Lakeflow-pipelines. Fristående materialiserade vyer och strömningstabeller körs alltid i triggat läge, oavsett jobborkestrering.

När ett jobb orkestrerar en pipeline bestämmer jobbet exekveringsläget och har företräde framför pipelinens Pipeline-läge . Ett kontinuerligt jobb kör sin pipeline kontinuerligt även om pipelinens pipeline-läge triggas, och ett triggat eller schemalagt jobb kör sin pipeline som en enda uppdatering även om pipelinens pipeline-läge är kontinuerligt.

Eftersom jobbet åsidosätter pipeline-läget, ställ pipelinens pipeline-läge till triggat (standard) när du kapslar in det i ett kontinuerligt jobb. Detta undviker oväntat beteende om pipelinen körs utanför jobbet.

Om du vill konfigurera ett kontinuerligt jobb för en pipeline läser du Köra en pipeline kontinuerligt med ett kontinuerligt jobb.

Kör en pipeline med det inbyggda kontinuerliga läget

Pipelinens inbyggda kontinuerliga inställning tas inte bort, men Databricks avråder från att använda den för nya pipelines till förmån för det kontinuerliga jobbmönstret. Om du vill ändra mellan utlöst och kontinuerlig använder du alternativet Pipeline-läge i pipelineinställningarna när du skapar eller redigerar en pipeline. Se Konfigurera arbetsflöden.

Ställ in utlösarintervall för kontinuerliga pipelines

När du konfigurerar pipelines för kontinuerligt läge kan du ange utlösarintervall för att styra hur ofta pipelinen startar en uppdatering för varje flöde. Triggerintervallet är en konfigurationsinställning för pipelinen som används oavsett om pipelinen körs i kontinuerligt läge via inställningen Pipeline mode eller via ett kontinuerligt jobb.

Du kan använda pipelines.trigger.interval för att styra utlösarintervallet för ett flöde som uppdaterar en tabell eller en hel pipeline. Eftersom en triggad pipeline behandlar varje tabell en enda gång används pipelines.trigger.interval endast med kontinuerliga pipelines. Databricks rekommenderar att man sätter det på individuella tabeller, eftersom streaming- och batchförfrågningar har olika standardinställningar. Ange värdet på en pipeline endast när bearbetningen kräver kontroll av uppdateringar för hela pipelinediagrammet.

För standardvärden efter flödestyp och exempel på inställningar pipelines.trigger.interval i SQL, Python och pipeline-konfigurationen, se Pipelines trigger interval.