Hantera konfiguration av Delta Live Tables-pipelines

Eftersom Delta Live Tables automatiserar driftskomplexiteter som infrastrukturhantering, uppgiftsorkestrering, felåterställning och prestandaoptimering, kan många av dina pipelines köras med minimal manuell konfiguration. Med Delta Live Tables kan du dock också hantera konfigurationen för pipelines som kräver konfigurationer som inte är standard eller optimera prestanda och resursanvändning. De här artiklarna innehåller information om hur du hanterar konfigurationer för dina Delta Live Tables-pipelines, inklusive inställningar som avgör hur pipelines körs, alternativ för beräkning som kör en pipeline och hantering av externa beroenden som Python-bibliotek.

Använda serverlös beräkning för att köra fullständigt hanterade pipelines

Använd serverlösa DLT-pipelines för att köra pipelines med tillförlitliga och fullständigt hanterade beräkningsresurser. Med serverlös beräkning optimeras och skalas den beräkning som kör pipelinen automatiskt upp och ned baserat på de resurser som krävs för att köra en pipeline. Serverlösa DLT-pipelines stöder ytterligare funktioner för att förbättra prestanda, till exempel inkrementell uppdatering för materialiserade vyer, snabbare starttid för beräkningsresurser och förbättrad bearbetning av strömmande arbetsbelastningar. Se Skapa fullständigt hanterade pipelines med Delta Live Tables med serverlös beräkning.

Hantera pipelineinställningar

Konfigurationen för en Delta Live Tables-pipeline innehåller inställningar som definierar källkoden som implementerar pipelinen. Den innehåller även inställningar som styr pipelineinfrastruktur, beroendehantering, hur uppdateringar bearbetas och hur tabeller sparas på arbetsytan. De flesta konfigurationer är valfria, men vissa kräver noggrann uppmärksamhet.

Mer information om konfigurationsalternativen för pipelines och hur du använder dem finns i Konfigurera pipelineinställningar för Delta Live Tables.

Detaljerade specifikationer för Delta Live Tables-inställningar, egenskaper som styr hur tabeller hanteras och beräkningsalternativ som inte kan anges finns i Egenskaper för Delta Live Tables.

Hantera externa beroenden för pipelines som använder Python

Delta Live Tables stöder användning av externa beroenden i dina pipelines, till exempel Python-paket och bibliotek. Mer information om alternativ och rekommendationer för användning av beroenden finns i Hantera Python-beroenden för Delta Live Tables-pipelines.

Använda Python-moduler som lagras på din Azure Databricks-arbetsyta

Förutom att implementera Python-koden i Databricks-notebook-filer kan du använda Databricks Git-mappar eller arbetsytefiler för att lagra koden som Python-moduler. Det är särskilt användbart att lagra koden som Python-moduler när du har vanliga funktioner som du vill använda i flera pipelines eller notebook-filer i samma pipeline. Information om hur du använder Python-moduler med dina pipelines finns i Importera Python-moduler från Git-mappar eller arbetsytefiler.

Optimera användning av pipelineberäkning

Använd Förbättrad autoskalning för att optimera klusteranvändningen för dina pipelines. Förbättrad autoskalning lägger bara till resurser om systemet fastställer att dessa resurser ökar bearbetningshastigheten för pipelinen. Resurser frigörs när de inte längre behövs och kluster stängs av så snart alla pipelineuppdateringar har slutförts.

Mer information om förbättrad autoskalning, inklusive konfigurationsinformation, finns i Optimera klusteranvändningen av Delta Live Tables-pipelines med förbättrad autoskalning.