Konfigurowanie ustawień dla zadań usługi Azure Databricks

Ten artykuł zawiera szczegółowe informacje na temat konfigurowania zadań usługi Azure Databricks i poszczególnych zadań podrzędnych w interfejsie użytkownika zadań. Aby dowiedzieć się więcej na temat edytowania ustawień zadania przy użyciu interfejsu wiersza polecenia usługi Databricks, uruchom polecenie interfejsu wiersza polecenia databricks jobs update -h. Aby dowiedzieć się więcej o korzystaniu z interfejsu API zadań, zobacz Interfejs API zadań.

Niektóre opcje konfiguracji są dostępne w zadaniu, a inne opcje są dostępne w poszczególnych zadaniach. Na przykład maksymalna liczba współbieżnych przebiegów można ustawić tylko w zadaniu, podczas gdy zasady ponawiania prób są definiowane dla każdego zadania.

Edytowanie zadania

Aby zmienić konfigurację zadania:

1. Kliknij pozycję Przepływy pracy na pasku bocznym.
2. W kolumnie Nazwa kliknij nazwę zadania.

Na panelu bocznym są wyświetlane szczegóły zadania. Wyzwalacz zadania, konfiguracji obliczeniowej, powiadomień, maksymalnej liczby współbieżnych przebiegów, konfigurowania progów czasu trwania i dodawania lub zmieniania tagów. Jeśli kontrola dostępu do zadania jest włączona, możesz również edytować uprawnienia zadania.

Dodawanie parametrów dla wszystkich zadań zadań

Można skonfigurować parametry zadania, które są przekazywane do dowolnego zadania zadania, które akceptują parametry klucz-wartość, w tym pliki koła języka Python skonfigurowane do akceptowania argumentów słów kluczowych. Parametry ustawione na poziomie zadania są dodawane do skonfigurowanych parametrów na poziomie zadania. Parametry zadania przekazywane do zadań są widoczne w konfiguracji zadania wraz z dowolnymi parametrami skonfigurowanymi w zadaniu.

Parametry zadania można również przekazać do zadań, które nie są skonfigurowane z parametrami klucz-wartość, takimi jak JAR lub Spark Submit zadania. Aby przekazać parametry zadania do tych zadań, sformatuj argumenty jako {{job.parameters.[name]}}, zastępując [name] element parametrem key , który identyfikuje parametr .

Parametry zadania mają pierwszeństwo przed parametrami zadania. Jeśli parametr zadania i parametr zadania mają ten sam klucz, parametr zadania zastępuje parametr zadania.

Parametry skonfigurowanego zadania można zastąpić lub dodać nowe parametry zadania podczas uruchamiania zadania z różnymi parametrami lub naprawiać przebieg zadania.

Kontekst zadań i zadań można również udostępniać przy użyciu zestawu odwołań do wartości dynamicznych.

Aby dodać parametry zadania, kliknij pozycję Edytuj parametry w panelu bocznym Szczegóły zadania i określ klucz i wartość domyślną każdego parametru. Aby wyświetlić listę dostępnych odwołań do wartości dynamicznych, kliknij przycisk Przeglądaj wartości dynamiczne.

Dodawanie tagów do zadania

Aby dodać etykiety lub atrybuty key:value do zadania, możesz dodawać tagi podczas edytowania zadania. Tagów można używać do filtrowania zadań na liście Zadania. Na przykład można użyć department tagu do filtrowania wszystkich zadań należących do określonego działu.

Uwaga

Ponieważ tagi zadań nie są przeznaczone do przechowywania poufnych informacji, takich jak dane osobowe lub hasła, usługa Databricks zaleca używanie tagów tylko dla wartości niewrażliwych.

Tagi są również propagowane do klastrów zadań utworzonych podczas uruchamiania zadania, co umożliwia używanie tagów z istniejącym monitorowaniem klastra.

Aby dodać lub edytować tagi, kliknij pozycję + Tag w panelu bocznym Szczegóły zadania. Tag można dodać jako klucz i wartość lub etykietę. Aby dodać etykietę, wprowadź etykietę w polu Klucz i pozostaw puste pole Wartość .

Konfigurowanie udostępnionych klastrów

Aby wyświetlić zadania skojarzone z klastrem, kliknij kartę Zadania i umieść kursor na klastrze w panelu bocznym. Aby zmienić konfigurację klastra dla wszystkich skojarzonych zadań, kliknij przycisk Konfiguruj w obszarze klastra. Aby skonfigurować nowy klaster dla wszystkich skojarzonych zadań, kliknij przycisk Zamień w obszarze klastra.

Kontrolowanie dostępu do zadania

Kontrola dostępu do zadań umożliwia właścicielom zadań i administratorom udzielanie precyzyjnych uprawnień do swoich zadań. Właściciele zadań mogą wybrać, którzy inni użytkownicy lub grupy mogą wyświetlać wyniki zadania. Właściciele mogą również wybrać, kto może zarządzać uruchomionymi zadaniami (Uruchom teraz i Anuluj uprawnienia uruchamiania).

Aby uzyskać informacje na temat poziomów uprawnień zadania, zobacz Listy ACL zadań.

Aby zarządzać uprawnieniami w zadaniu, musisz mieć uprawnienie MOŻE ZARZĄDZAĆ lub WŁAŚCICIELEM IS.

1. Na pasku bocznym kliknij pozycję Uruchomienia zadań.

2. Kliknij nazwę zadania.

3. W panelu Szczegóły zadania kliknij pozycję Edytuj uprawnienia.

4. W obszarze Uprawnienia Ustawienia kliknij menu rozwijane Wybierz użytkownika, grupę lub jednostkę usługi... i wybierz użytkownika, grupę lub jednostkę usługi.

   

5. Kliknij przycisk Dodaj.

6. Kliknij przycisk Zapisz.

Zarządzanie właścicielem zadania

Domyślnie twórca zadania ma uprawnienie WŁAŚCICIEL IS i jest użytkownikiem w ustawieniu Uruchom jako zadania. Zadanie jest uruchamiane jako tożsamość użytkownika w ustawieniu Uruchom jako . Aby uzyskać więcej informacji na temat ustawienia Uruchom jako , zobacz Uruchamianie zadania jako jednostki usługi.

Administratorzy obszaru roboczego mogą zmienić właściciela zadania na siebie. Po przeniesieniu własności poprzedni właściciel otrzymuje uprawnienie CAN MANAGE

Uwaga

RestrictWorkspaceAdmins Gdy ustawienie w obszarze roboczym jest ustawione na ALLOW ALL, administratorzy obszaru roboczego mogą zmienić właściciela zadania na dowolnego użytkownika lub jednostki usługi w swoim obszarze roboczym. Aby ograniczyć administratorom obszaru roboczego tylko zmianę właściciela zadania na siebie, zobacz Ograniczanie administratorów obszaru roboczego.

Konfigurowanie maksymalnej liczby współbieżnych przebiegów

Kliknij pozycję Edytuj współbieżne uruchomienia w obszarze Ustawienia zaawansowane, aby ustawić maksymalną liczbę przebiegów równoległych dla tego zadania. Usługa Azure Databricks pomija przebieg, jeśli zadanie osiągnęło już maksymalną liczbę aktywnych przebiegów podczas próby uruchomienia nowego przebiegu. Ustaw tę wartość wyższą niż domyślna 1, aby jednocześnie wykonywać wiele uruchomień tego samego zadania. Jest to przydatne, na przykład jeśli wyzwalasz zadanie według częstego harmonogramu i chcesz zezwolić na nakładanie się kolejnych przebiegów na siebie lub chcesz wyzwolić wiele przebiegów, które różnią się od ich parametrów wejściowych.

Włączanie kolejkowania przebiegów zadań

Aby umożliwić uruchamianie uruchomień zadania w kolejce później, gdy nie mogą być uruchamiane natychmiast z powodu limitów współbieżności, kliknij przełącznik Kolejka w obszarze Ustawienia zaawansowane. Zobacz Co zrobić, jeśli nie można uruchomić zadania z powodu limitów współbieżności?.

Uwaga

Kolejkowanie jest domyślnie włączone dla zadań utworzonych za pośrednictwem interfejsu użytkownika po 15 kwietnia 2024 r.

Konfigurowanie oczekiwanego czasu ukończenia lub limitu czasu dla zadania

Możesz skonfigurować opcjonalne progi czasu trwania zadania, w tym oczekiwany czas ukończenia zadania i maksymalny czas ukończenia zadania. Aby skonfigurować progi czasu trwania, kliknij pozycję Ustaw progi czasu trwania.

Aby skonfigurować oczekiwany czas ukończenia zadania, wprowadź oczekiwany czas trwania w polu Ostrzeżenie . Jeśli zadanie przekroczy ten próg, możesz skonfigurować powiadomienia dotyczące wolno działającego zadania. Zobacz Configure notifications for slow running or late jobs (Konfigurowanie powiadomień dla wolnych lub opóźnionych zadań).

Aby skonfigurować maksymalny czas ukończenia zadania, wprowadź maksymalny czas trwania w polu Limit czasu . Jeśli zadanie nie zostanie ukończone w tym czasie, usługa Azure Databricks ustawia jego stan na "Upłynął limit czasu", a zadanie zostanie zatrzymane.

Edytowanie zadania

Aby ustawić opcje konfiguracji zadania:

1. Kliknij pozycję Przepływy pracy na pasku bocznym.
2. W kolumnie Nazwa kliknij nazwę zadania.
3. Kliknij kartę Zadania i wybierz zadanie do edycji.

Definiowanie zależności zadań

Kolejność wykonywania zadań w zadaniu można zdefiniować przy użyciu menu rozwijanego Zależy od . To pole można ustawić na co najmniej jedno zadanie w zadaniu.

Uwaga

Zależy od tego, czy zadanie składa się tylko z jednego zadania.

Konfigurowanie zależności zadań powoduje utworzenie grafu Acyklicznego (DAG) wykonywania zadań w sposób typowy reprezentujący kolejność wykonywania zadań w harmonogramach zadań. Rozważmy na przykład następujące zadanie składające się z czterech zadań:

• Zadanie 1 jest zadaniem głównym i nie zależy od żadnego innego zadania.
• Zadanie 2 i Zadanie 3 zależą od pierwszego ukończenia zadania 1.
• Na koniec zadanie 4 zależy od pomyślnego ukończenia zadania 2 i zadania 3.

Usługa Azure Databricks uruchamia zadania nadrzędne przed uruchomieniem podzadań podrzędnych, uruchamiając jak najwięcej z nich równolegle. Na poniższym diagramie przedstawiono kolejność przetwarzania dla tych zadań:

Konfigurowanie klastra dla zadania

Aby skonfigurować klaster, w którym jest uruchamiane zadanie, kliknij menu rozwijane Klaster . Klaster zadań udostępnionych można edytować, ale nie można usunąć udostępnionego klastra, jeśli inne zadania nadal go używają.

Aby dowiedzieć się więcej na temat wybierania i konfigurowania klastrów do uruchamiania zadań, zobacz Używanie obliczeń usługi Azure Databricks z zadaniami.

Konfigurowanie bibliotek zależnych

Biblioteki zależne zostaną zainstalowane w klastrze przed uruchomieniem zadania. Należy ustawić wszystkie zależności zadań, aby upewnić się, że są zainstalowane przed uruchomieniem przebiegu. Postępuj zgodnie z zaleceniami w temacie Zarządzanie zależnościami biblioteki, aby określić zależności.

Konfigurowanie oczekiwanego czasu ukończenia lub limitu czasu dla zadania

Można skonfigurować opcjonalne progi czasu trwania zadania, w tym oczekiwany czas ukończenia zadania i maksymalny czas ukończenia zadania. Aby skonfigurować progi czasu trwania, kliknij pozycję Próg czasu trwania.

Aby skonfigurować oczekiwany czas ukończenia zadania, wprowadź czas trwania w polu Ostrzeżenie . Jeśli zadanie przekroczy ten próg, zostanie wyzwolone zdarzenie. To zdarzenie służy do powiadamiania, gdy zadanie działa wolno. Zobacz Configure notifications for slow running or late jobs (Konfigurowanie powiadomień dla wolnych lub opóźnionych zadań).

Aby skonfigurować maksymalny czas ukończenia zadania, wprowadź maksymalny czas trwania w polu Limit czasu . Jeśli zadanie nie zostanie ukończone w tym czasie, usługa Azure Databricks ustawia jego stan na "Przekroczono limit czasu".

Konfigurowanie zasad ponawiania dla zadania

Aby skonfigurować zasady określające, kiedy i ile razy nie powiodło się ponowne uruchomienie zadania, kliknij pozycję + Dodaj obok pozycji Ponawianie prób. Interwał ponawiania prób jest obliczany w milisekundach między rozpoczęciem nieudanego uruchomienia a kolejnym uruchomieniem ponawiania.

Uwaga

Jeśli skonfigurujesz zarówno limit czasu, jak i ponawianie prób, limit czasu ma zastosowanie do każdego ponawiania próby.