Hantera uppdateringar för kontinuerliga pipelines

En kontinuerlig pipeline körs utan avbrott, så Azure Databricks kan inte vänta tills den är klar innan plattformsuppdateringar som nya runtime-versioner eller infrastrukturunderhåll appliceras. För att tillämpa dessa uppdateringar startar Azure Databricks om pipelinen. Ett underhållsfönster låter dig kontrollera när dessa omstarter sker: du väljer en veckodag, en starttid och en tidszon, och Azure Databricks startar underhåll endast inom det fönstret.

Underhållsfönstret är en inställning för det kontinuerliga jobbet som kör pipen. Om du inte sätter in en kan underhållet köras när som helst.

Hur Azure Databricks tillämpar uppdateringar

För att uppdatera en kontinuerlig pipeline startar Azure Databricks en ny pipelineuppdatering på ett nytt kluster och stänger ner det tidigare. Eftersom kontinuerliga pipelines spårar sin progression i en streamingkontrollpunkt fortsätter den nya uppdateringen där den föregående slutade. Databehandlingen pausar kort under bytet och fortsätter sedan utan att förlora data.

Azure Databricks startar underhåll endast inom ett en-timmes fönster som börjar vid starttimmen på den dag du väljer. Själva omstarten är oftast kort.

Välj en dag och starta en timme när en kort omstart är acceptabel för din arbetsbelastning.

Vilka uppdateringar ingår?

Underhåll för en kontinuerlig ledning kan inkludera:

• Databricks Runtime-versionuppgraderingar
• Säkerhetskorrigeringar och uppdateringar
• Uppdateringar av operativsystemet
• Spark Declarative Pipelines i Lakeflow – funktioner och förbättringar
• Underhåll av serverlös infrastruktur, såsom periodisk omstart av långlivade serverlösa kluster

Både runtime-uppgraderingar (serviceuppgraderingar) och underhåll av serverless infrastruktur respekterar det underhållsfönster du konfigurerar.

Viktigt!

Serverlösa kluster har maximal livslängd. Om den gränsen nås innan ditt nästa underhållsfönster startar, startar Azure Databricks om pipelinen för att hålla sig inom gränsen, även om den aktuella tidpunkten ligger utanför ditt underhållsfönster. Detta säkerställer att en pipeline som har körts länge till slut återställs.

Hur ofta tillämpas uppdateringar?

Azure Databricks applicerar en uppdatering endast när underhåll behövs. Nya versioner släpps periodiskt, och serverlös infrastrukturunderhåll sker i en återkommande takt. Hur ofta en enskild pipeline startas om beror på:

• Frekvensen för nya versioner av Databricks Runtime som gäller för din pipeline
• För serverlösa pipelines, återvinningsschema för serverlösa kluster
• Hur ofta ditt underhållsfönster inträffar

När ditt underhållsfönster kommer och ingen uppdatering väntar, passerar fönstret utan omstart.

Konfigurera ett underhållsfönster

Du kan ställa in ett underhållsfönster i Azure Databricks UI eller med Jobs REST API.

Ett underhållsfönster har tre nödvändiga delar:

Inställning	Beskrivning
Dag i veckan	En enda dag, från måndag till söndag.
Starttid	Timmen då fönstret startar, som ett heltal från 0 till 23, i 24-timmarstid.
Tidszon	Ett Java-tidszons-ID, såsom America/New_York. Azure Databricks utvärderar fönstret i denna tidszon.

Note

Underhållsfönster gäller endast för kontinuerliga jobb och pipelines. Inställningen är inte tillgänglig för jobb som körs enligt schema eller en annan triggertyp.

Konfigurera ett underhållsfönster i användargränssnittet

Du kan konfigurera ett underhållsfönster antingen från Jobs UI eller Pipelines UI.

Från jobbgränssnittet

1. I sidofältet i din Azure Databricks-arbetsyta klickar du på ikonen Arbetsflöden.Jobb & Pipelines.
2. Klicka på jobbets namn.
3. I fönstret Jobbinformation öppnar du utlösaren Kontinuerlig och expanderar Avancerat för att hitta Underhållsfönster.
4. Välj en veckodag, en starttid och en tidszon.
5. Klicka på Spara.

Från gränssnittet för Pipelines

1. I sidofältet i din Azure Databricks-arbetsyta klickar du på ikonen Arbetsflöden.Jobb & Pipelines.
2. Klicka på pipelinens namn.
3. Öppna schema och expandera Avancerade inställningar för att hitta underhållsfönstret.
4. Välj en veckodag, en starttid och en tidszon.
5. Klicka på Spara.

Konfigurera ett underhållsfönster med Jobs API

Ställ in maintenance_window fältet i inställningarna continuous när du skapar eller uppdaterar ett jobb med Jobs REST API. Följande exempel konfigurerar underhåll så att det startar kl. 02.00 amerikansk östkusttid på tisdagar:

{
  "continuous": {
    "pause_status": "UNPAUSED",
    "maintenance_window": {
      "start_hour": 2,
      "day_of_week": "TUESDAY",
      "timezone_id": "America/New_York"
    }
  }
}

Alla tre fält (start_hour, day_of_week, och timezone_id) krävs när du sätter ett underhållsfönster. start_hour måste vara ett heltal från 0 till 23.

Konfigurera underhållsnotiser

Azure Databricks kan meddela dig när en underhållsomstart startar och när den är klar. Underhållsnotiser använder det standardiserade Lakeflow Jobs-notifikationssystemet, så du kan leverera dem till e-postadresser eller till systemdestinationer som Slack, PagerDuty eller Microsoft Teams. Se Lägg till meddelanden på ett jobb.

Två evenemang är tillgängliga under ett kontinuerligt jobb:

• Underhållsstart: skickas när en omstart för underhåll påbörjas. Inkluderar jobbet, orsaken (till exempel en serviceuppgradering) och starttid.
• Underhåll klart: skickas när omstarten är klar. Inkluderar orsaken, slutförandetiden, omstartens längd och pipelinens status efter omstarten.

Övergångar till sommartid

Azure Databricks utvärderar underhållsfönstret i den tidszon du konfigurerar, så fönstret följer den zonens sommartidsövergångar. De flesta dagar börjar tidsfönstret vid den lokala timme som du har konfigurerat. När dagklockorna byts kan starten flyttas med upp till en timme. Välj en tidszon som matchar ditt arbetsschema.

Hantera störningar under uppdateringar

En underhållsomstart pausar databehandlingen medan den nya uppdateringen tar över. Strömningskällor samlar kontinuerligt data under pausen, och den nya uppdateringen återupptas från pipelinens kontrollpunkt, så ingen data går förlorad.

Om din pipeline har strikta latenskrav, välj ett underhållsfönster under en period då en kort paus är acceptabel. För att bekräfta att pipelinen återgick till ett friskt tillstånd efter en omstart, övervaka aviseringen om att underhållet är komplett .