Versionsinformation för Lakeflow pipelines och processen för versionsuppgradering

Den här artikeln beskriver lanseringsprocessen för Lakeflow-pipelines, hur körningsmiljön hanteras och innehåller länkar till versionsinformation för varje version.

Aktuella Databricks Runtime-kanalversioner

De aktuella Databricks Runtime-versionerna för varje kanal är:

För listan över paket som installeras för varje runtime – Python-, R- och Java-bibliotek – se motsvarande versionsinformation för Databricks Runtime som det länkas till ovan.

Viktig information om Lakeflow-pipelines

Versionsinformation organiseras efter månad. Eftersom pipelines är versionslösa sker både arbetsyte- och körningsändringar automatiskt. Följande versionsanteckningar ger en översikt över ändringar och felkorrigeringar i varje utgåva:

Tidigare organiserades versionsinformationen efter år och veckonummer.

Äldre viktig information

Kanaler för körningsmiljö för Lakeflow-pipelines

Pipelinekluster använder runtimes baserat på Databricks Runtime versionsanteckningar och kompatibilitet. Azure Databricks uppgraderar automatiskt pipelinekörningsmiljöerna för att stödja förbättringar och uppgraderingar av plattformen. Du kan använda fältet channel i pipelineinställningarna för att styra körningsversionen som kör pipelinen. De värden som stöds är:

  • current att använda den aktuella körversionen.
  • preview för att testa din pipeline med kommande ändringar i körmiljön.

Som standardinställning, körs dina pipelines med current runtime-versionen. Databricks rekommenderar att du använder current körmiljö för produktionsbelastningar. Information om hur du använder inställningen preview för att testa dina pipelines med nästa körningsversion finns i Automatisera testning av dina pipelines med nästa körningsversion.

Important

Funktioner som är markerade som allmänt tillgängliga eller som offentlig förhandsversion är tillgängliga i kanalen current.

Mer information om pipelinekanaler finns i fältet channel i pipelineinställningarna.

Mer information om hur uppgraderingar hanteras för varje version finns i How do Lakeflow pipeline upgrades work?.

Hur hittar jag Databricks Runtime-versionen för en pipelineuppdatering?

Du kan fråga händelseloggen för pipelinen för att hitta Databricks Runtime-versionen för en specifik pipelineuppdatering. Se Körningsinformation.

Hur fungerar uppgraderingar av Lakeflow-pipelinen?

Lakeflow pipelines är utan versionshantering, vilket innebär att Azure Databricks automatiskt uppgraderar körningsmiljön för att stödja förbättringar och uppgraderingar av plattformen. Databricks rekommenderar att du begränsar externa beroenden.

Databricks arbetar proaktivt för att förhindra att automatiska uppgraderingar introducerar fel eller problem i produktionspipelines. Se Uppgraderingsprocessen för Lakeflow-pipelines.

Databricks rekommenderar att särskilt användare som distribuerar pipelines med externa beroenden proaktivt testar pipelines med preview kanaler. Se Automatisera testning av dina pipelines med nästa körningsversion.

Uppgraderingsprocess för Lakeflow-pipelines

Azure Databricks hanterar Databricks Runtime som används av pipeline-beräkningsresurser. Den uppgraderar automatiskt körningsmiljön i dina Azure Databricks-arbetsytor och övervakar statusen för dina pipelines efter uppgraderingen.

Om Azure Databricks upptäcker att en pipeline inte kan starta på grund av en uppgradering återgår körningsversionen för pipelinen till den tidigare versionen som är känd för att vara stabil och följande steg utlöses automatiskt:

  • Pipelineens körningsmiljö är låst till den tidigare verifierat fungerande versionen.
  • Databricks-supporten är meddelad om problemet.
    • Om problemet är relaterat till en regression i körmiljön löser Databricks problemet.
    • Om problemet orsakas av ett anpassat bibliotek eller paket som används av pipelinen kontaktar Databricks dig för att lösa problemet.
  • När problemet är löst initierar Azure Databricks uppgraderingen igen.

Important

Azure Databricks återställer endast pipelines som körs i produktionsläge med kanalen inställd på current.

Automatisera testning av dina pipelines med nästa körningsversion

Om du vill se till att ändringar i nästa körningsversion inte påverkar dina pipelines använder du funktionen pipelinekanaler:

  1. Skapa en mellanlagringspipeline och ställ in kanalen på preview.
  2. I pipelinegränssnittet skapar du ett schema för att köra pipelinen varje vecka och aktivera aviseringar för att ta emot ett e-postmeddelande om pipelinefel. Databricks rekommenderar att du schemalägger veckovisa testkörningar av pipelines, speciellt om du använder anpassade beroenden för pipelines .
  3. Om du får ett meddelande om ett fel och inte kan lösa det öppnar du ett supportärende med Databricks.

Note

Om du ändrar pipelinen medan du löser förhandsgranskningskanalfel, validera dessa ändringar mot current-kanalen innan du implementerar dem i produktionen som körs på current. En ändring som fungerar på preview kan bete sig annorlunda på current.

Pipelineberoenden

Pipelines stöder externa beroenden. Du kan till exempel installera valfritt Python paket med hjälp av %pip install kommandot . De stöder också användning av globala och klusteromfattande init-skript. Dessa externa beroenden, särskilt init-skript, ökar dock risken för problem med körningsuppgraderingar. Minimera användningen av init-skript i dina pipelines för att minimera dessa risker. Om bearbetningen kräver init-skript kan du automatisera testningen av pipelinen för att upptäcka problem tidigt. se Automatisera testning av dina pipelines med nästa körningsversion. Om du använder init-skript rekommenderar Databricks att du ökar testfrekvensen.

  • Last updated on