Průběžné spouštění úloh

Pomocí průběžného režimu naplánujte úlohy tak, aby běžely nepřetržitě. Databricks doporučuje používat nepřetržitý režim pro úlohy s trvalým streamováním.

Nepřetržitý režim nahrazuje starší doporučení pro úlohy strukturovaného streamování za účelem konfigurace úloh neomezenými zásadami opakování a maximálně jednoho souběžného spuštění.

Důležité

Úlohy s průběžnými plány na bezserverovém výpočetním prostředí pracují s časovanými spouštěči ohraničeného strukturovaného streamování, jako je například Trigger.AvailableNow. Plánovač úloh po dokončení restartuje úlohu a kontrolní bod streamování zajistí, že se nezpracovává žádná data.

Triggery založené na čase, jako Trigger.ProcessingTime je například a Trigger.Continuous, nejsou podporovány na výpočetních prostředcích bez serveru. Viz Omezení výpočetních prostředků bez serveru.

Pro průběžné streamování s nízkou latencí na bezserverové výpočty použijte Triggered vs. continuous pipeline mode v kontinuálním režimu.

Konfigurace úlohy pro spuštění v průběžném režimu

Pokud chcete nakonfigurovat úlohu tak, aby běžela v nepřetržitém režimu, postupujte takto:

1. Na bočním panelu pracovního prostoru Azure Databricks klikněte na Jobs & Pipelines.

2. Volitelně můžete vybrat filtry Práce a Vlastním.

3. Klikněte na odkaz Název vaší úlohy.

4. V podokně podrobností úlohy klikněte na Tlačítko Přidat aktivační událost, vyberte Typ triggeru průběžný

5. Volitelně můžete vybrat režim opakování úkolu. Můžete se rozhodnout pro opakování při selhání neúspěšných úkolů v rámci úlohy, nebo můžete vybrat Nikdy a opakovat pouze na úrovni úlohy. Režim opakování úlohy je ve výchozím nastavení při selhání pro průběžný režim.

   Poznámka:

   U již existující úlohy možná budete muset nejprve kliknout na konfigurovat režim opakování a pak vybrat režim opakování úkolu.

6. Klikněte na Uložit.

Chcete-li zastavit nepřetržitou úlohu, klikněte na tlačítko Pozastavit . Kliknutím na Pokračovat restartujte úlohu v nepřetržitém režimu.

Poznámka:

• Může existovat pouze jedna spuštěná instance průběžné úlohy.
• Mezi dokončením běhu a zahájením nového běhu existuje zpoždění. Toto zpoždění by mělo být kratší než 60 sekund.
• Nelze použít závislosti úkolů s průběžnou úlohou.
• Politiky opakování nelze použít v průběžné úloze. Místo toho průběžné úlohy automaticky opakují celou úlohu při selhání pomocí exponenciálního algoritmu zpoždování .
• Opakování můžete také nakonfigurovat na úrovni úlohy nastavením režimu opakování úkolu na Při selhání.
• Výběrem možnosti Spustit teď aktivujete spuštění nové úlohy v pozastavené průběžné úloze.
• Pokud chcete, aby vaše nepřetržitá úloha načetla novou konfiguraci, zrušte aktuální běh. Automaticky se spustí nový běh. Můžete také kliknout na Restartovat běh pro restartování průběhu úlohy s aktualizovanou konfigurací.

Řešení selhání pro kontinuální úlohy

Selhání se spravují pomocí exponenciálního algoritmu zpoždnění .

Pokud je režim opakování úkolu nastavený na Při selhání, neúspěšné úkoly se opakují s exponenciálně rostoucím zpožděním, dokud se nedosáhne maximálního počtu povolených opakování (tři pro jednotlivý úkol). Po dosažení maximálního počtu opakování se spuštění zruší a aktivuje se nové spuštění. U úloh s více úkoly aktivuje neúspěšný úkol nové spuštění, pokud nejsou spuštěné žádné jiné úkoly nebo všechny ostatní nedokončené úkoly jsou také ve stavu selhání nebo opakování.

Po sobě jdoucí selhání na úrovni úlohy se také spravují pomocí exponenciálního zpoždění, což umožňuje nepřerušované spouštění úloh a návrat do dobrého stavu, když dojde k obnovitelným selháním.

Pokud průběžná úloha překročí povolenou prahovou hodnotu pro po sobě jdoucí selhání, následující popisuje správu následných spuštění úloh:

1. Úloha se restartuje po uplynutí doby opakování nastavené systémem.
2. Pokud další spuštění úlohy selže, doba opakování se zvýší a úloha se restartuje po tomto novém období opakování.
   1. U každého dalšího selhání spuštění úlohy se doba opakování zvýší až na maximální dobu opakování nastavenou systémem. Po dosažení maximální doby opakování se úloha bude opakovat pomocí maximální doby opakování. Počet opakovaných pokusů pro průběžnou úlohu není nijak omezený.
   2. Pokud se spuštění úlohy úspěšně dokončí a spustí nové spuštění nebo pokud spuštění překročí prahovou hodnotu bez selhání, považuje se úloha za v pořádku a sekvence backoff se resetuje.

Průběžnou úlohu můžete restartovat v exponenciálním stavu zpožďování v uživatelském rozhraní úloh nebo předáním ID úlohy do požadavku run-now v rozhraní API úloh.