Skapa fullständigt hanterade pipelines med Delta Live Tables med serverlös beräkning

Viktigt!

Serverlösa DLT-pipelines finns i offentlig förhandsversion. Om du vill veta mer om hur du aktiverar serverlösa DLT-pipelines kontaktar du ditt Azure Databricks-kontoteam.

Den här artikeln beskriver hur du använder Delta Live Tables med serverlös beräkning för att köra pipelineuppdateringar med fullständigt hanterad beräkning och information om serverlösa beräkningsfunktioner som förbättrar prestandan för dina pipelines.

Använd serverlösa DLT-pipelines för att köra dina Delta Live Tables-pipelines utan att konfigurera och distribuera infrastrukturen. Med serverlösa DLT-pipelines fokuserar du på att implementera datainmatning och transformering, och Azure Databricks hanterar effektivt beräkningsresurser, inklusive optimering och skalning av beräkning för dina arbetsbelastningar. Serverlösa DLT-pipelines innehåller följande funktioner:

• Automatiskt optimerad beräkning som endast körs när det behövs.
• Tillförlitliga och fullständigt hanterade beräkningsresurser.
• Mer effektiva datamängdsuppdateringar med inkrementell uppdatering för materialiserade vyer.
• Snabbare start för beräkningsresurserna som kör en pipelineuppdatering.

Serverlösa DLT-pipelines har också följande funktioner för att optimera bearbetningsprestanda för pipelines, stödja effektivare användning av beräkningsresurser och minska kostnaden för att köra pipelinen:

• Stream pipelining: För att förbättra användningen, dataflödet och svarstiden för strömmande dataarbetsbelastningar, till exempel datainmatning, pipelines mikrobatcher. Med andra ord, i stället för att köra mikrobatcher sekventiellt som Standard Spark Structured Streaming, kör serverlösa DLT-pipelines mikrobatcher samtidigt, vilket leder till bättre beräkningsresursanvändning. Stream pipelining är aktiverat som standard i serverlösa DLT-pipelines.
• Lodrät autoskalning: Serverlösa DLT-pipelines lägger till den vågräta autoskalning som tillhandahålls av Databricks Enhanced Autoscaling genom att automatiskt allokera de mest kostnadseffektiva instanstyperna som kan köra din Delta Live Tables-pipeline utan att misslyckas på grund av minnesfel. Se Vad är lodrät autoskalning?

Eftersom behörighet för att skapa kluster inte krävs kan alla arbetsyteanvändare använda serverlösa DLT-pipelines för att köra sina arbetsflöden.

Krav

• Om du vill använda serverlösa DLT-pipelines måste din arbetsyta ha Unity Catalog aktiverat.

• Arbetsytan måste vara i en serverlös aktiverad region.

Köra en pipelineuppdatering med serverlösa DLT-pipelines

Viktigt!

Eftersom beräkningsresurser hanteras fullständigt för serverlösa DLT-pipelines är beräkningsinställningarna inte tillgängliga i Delta Live Tables-användargränssnittet för en serverlös pipeline. När du aktiverar serverlös tas alla beräkningsinställningar som du har konfigurerat för en pipeline bort. Om du växlar tillbaka en pipeline till icke-serverlösa uppdateringar måste dessa beräkningsinställningar läggas till igen i pipelinekonfigurationen. Du kan inte heller lägga till beräkningsinställningar manuellt i ett clusters objekt i JSON-konfigurationen för pipelinen.

Om du vill köra en pipelineuppdatering som använder serverlösa DLT-pipelines markerar du kryssrutan Serverlös när du skapar eller redigerar en pipeline.

Hur uppdateras materialiserade vyer i serverlösa DLT-pipelines?

När det är möjligt uppdateras frågeresultat stegvis för materialiserade vyer i en serverlös pipeline. När en inkrementell uppdatering utförs motsvarar resultatet en fullständig omkomputation. Om den materialiserade vyn inte kan uppdateras stegvis använder uppdateringsprocessen en fullständig uppdatering i stället. Se Uppdatera åtgärder för materialiserade vyer.

Vad är lodrät autoskalning?

Lodrät automatisk skalning av serverlösa DLT-pipelines allokerar automatiskt de mest kostnadseffektiva tillgängliga instanstyperna för att köra dina Delta Live Tables-pipelineuppdateringar utan att misslyckas på grund av minnesfel. Lodrät autoskalning skalas upp när större instanstyper krävs för att köra en pipelineuppdatering och skalas även ned när den fastställer att uppdateringen kan köras med mindre instanstyper. Lodrät autoskalning avgör om drivrutinsnoder, arbetsnoder eller både drivrutins- och arbetsnoder ska skalas upp eller ned.

Lodrät autoskalning används för alla serverlösa DLT-pipelines, inklusive pipelines som används av Databricks SQL-materialiserade vyer och strömmande tabeller.

Lodrät autoskalning fungerar genom att identifiera pipelineuppdateringar som har misslyckats på grund av minnesfel. När dessa fel identifieras allokerar lodrät automatisk skalning större instanstyper baserat på de out-of-memory-data som samlats in från den misslyckade uppdateringen. I produktionsläge startas en ny uppdatering som använder de nya beräkningsresurserna automatiskt. I utvecklingsläge används de nya beräkningsresurserna när du startar en ny uppdatering manuellt.

Om lodrät autoskalning upptäcker att minnet för de allokerade instanserna är konsekvent underutnyttat, kommer instanstyperna att skalas ned som ska användas i nästa pipelineuppdatering.