Ciągłe uruchamianie zadań

Użyj trybu ciągłego, aby zaplanować uruchamianie obciążeń w trybie ciągłym. Databricks rekomenduje używanie trybu ciągłego dla zawsze aktywnych obciążeń przesyłania strumieniowego.

Tryb ciągły zastępuje starsze zalecenia dla obciążeń Structured Streaming, aby skonfigurować zadania z polityką nieograniczonych ponowień i maksymalnie jednym współbieżnym uruchomieniem.

Ważne

Zadania z ciągłymi harmonogramami obliczeń bezserwerowych współpracują z ograniczonymi wyzwalaczami Structured Streaming, takimi jak Trigger.AvailableNow. Harmonogram zadań ponownie uruchamia zadanie po jego zakończeniu, a punkt kontrolny streamingu gwarantuje nieprzetwarzanie ponowne danych.

Wyzwalacze oparte na czasie, takie jak Trigger.ProcessingTime i Trigger.Continuous, nie są obsługiwane w przypadku obliczeń bezserwerowych. Zobacz Ograniczenia obliczeń bezserwerowych.

W przypadku ciągłego przesyłania strumieniowego z wymaganiami dotyczącymi małych opóźnień w obliczeniach bezserwerowych użyj trybu wyzwalanego i ciągłego potoku w trybie ciągłym.

Konfigurowanie zadania do uruchamiania w trybie ciągłym

Aby skonfigurować zadanie do uruchamiania w trybie ciągłym, wykonaj następujące czynności:

1. Na pasku bocznym obszaru roboczego Azure Databricks kliknij pozycję Zadania i Potoki.

2. Opcjonalnie wybierz filtry Zadania i Należące do mnie .

3. Kliknij link Nazwa swojego zadania.

4. Kliknij pozycję Dodaj wyzwalacz na panelu Szczegóły zadania , wybierz pozycję Ciągływ typie wyzwalacza

5. Opcjonalnie wybierz tryb ponawiania zadań. Możesz spróbować ponowić próbę Po niepowodzeniu ponawiania nieudanych zadań w ramach zadania lub wybrać pozycję Nigdy, aby ponowić próbę tylko na poziomie zadania. Dla trybu ciągłego, tryb ponawiania zadań domyślnie jest ustawiony na w przypadku niepowodzenia.

   Uwaga

   W przypadku już istniejącego zadania może być konieczne najpierw kliknięcie pozycji Konfiguruj tryb ponawiania prób , a następnie wybranie trybu ponawiania zadania.

6. Kliknij przycisk Zapisz.

Aby zatrzymać zadanie ciągłe, kliknij przycisk Wstrzymaj. Kliknij przycisk Wznów , aby ponownie uruchomić zadanie w trybie ciągłym.

Uwaga

• Może istnieć tylko jedno uruchomione wystąpienie zadania ciągłego.
• Występuje opóźnienie między zakończeniem przebiegu a rozpoczęciem nowego przebiegu. To opóźnienie powinno być mniejsze niż 60 sekund.
• Zależności zadań nie można używać z pracą ciągłą.
• Nie można użyć zasad ponawiania w zadaniu ciągłym. Zamiast tego zadania ciągłe automatycznie ponawiają próbę wykonania całego zadania w przypadku awarii przy użyciu algorytmu wycofywania wykładniczego .
• Można dodatkowo skonfigurować ponawianie prób na poziomie zadania, ustawiając tryb ponawiania prób zadania na Po awarii.
• Wybierz pozycję Uruchom teraz, aby wyzwolić nowe zadanie uruchomione w wstrzymanym ciągłym zadaniu.
• Aby ciągłe zadanie pobierało nową konfigurację, anuluj istniejące uruchomienie. Zostanie automatycznie uruchomione nowe uruchomienie. Możesz również kliknąć pozycję Uruchom ponownie, aby ponownie uruchomić zadanie przy użyciu zaktualizowanej konfiguracji.

W jaki sposób są obsługiwane błędy dla zadań ciągłych?

Błędy są zarządzane przy użyciu algorytmu wycofywania wykładniczego .

Gdy tryb ponawiania zadań jest ustawiony na Wartość Po awarii, zadania, które zakończyły się niepowodzeniem, są ponawiane z wykładniczo rosnącym opóźnieniem do osiągnięcia maksymalnej liczby dozwolonych ponownych prób (trzy dla pojedynczego zadania zadania). Po osiągnięciu maksymalnej liczby ponownych prób przebieg zostaje anulowany, a nowe uruchomienie jest wyzwalane. W przypadku prac składających się z wielu zadań, zadanie, które zakończyło się niepowodzeniem, wyzwala nowy przebieg, jeśli nie są uruchomione żadne inne zadania lub wszystkie inne nieukończone zadania również są w stanie niepowodzenia lub próby ponowienia.

Kolejne błędy na poziomie zadania są również zarządzane przy użyciu wycofywania wykładniczego, co umożliwia ciągłe uruchamianie zadań bez wstrzymania i powrotu do stanu dobrej kondycji po wystąpieniu możliwych do odzyskania awarii.

Gdy zadanie ciągłe przekracza dozwolony próg dla kolejnych niepowodzeń, poniżej opisano sposób zarządzania kolejnymi przebiegami zadań:

1. Zadanie jest uruchamiane ponownie po upływie okresu ponawiania próby ustawionego przez system.
2. Jeśli kolejne uruchomienie zadania zakończy się niepowodzeniem, okres ponawiania zostanie zwiększony, a zadanie zostanie uruchomione ponownie po tym nowym okresie ponawiania prób.
   1. W przypadku każdego kolejnego niepowodzenia uruchomienia zadania okres ponawiania jest zwiększany do maksymalnego okresu ponawiania próby ustawionego przez system. Po osiągnięciu maksymalnego okresu ponawiania próby zadanie będzie nadal ponawiane przy użyciu maksymalnego okresu ponawiania prób. Nie ma limitu liczby ponownych prób dla zadania ciągłego.
   2. Jeśli przebieg zadania zakończy się pomyślnie i rozpocznie nowe przebiegi, lub przekroczy próg bez awarii, zadanie jest uznawane za sprawne, a sekwencja wycofywania zostaje zresetowana.

Zadanie ciągłe można zrestartować w stanie opóźnienia wykładniczego w interfejsie użytkownika zadań (Jobs UI) lub przekazując identyfikator zadania do żądania natychmiastowego wykonania w API zadań.