Wizualne monitorowanie fabryk danych platformy Azure

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Po utworzeniu i opublikowaniu potoku w usłudze Azure Data Factory możesz skojarzyć go z wyzwalaczem lub ręcznie uruchomić uruchamianie ad hoc. Wszystkie uruchomienia potoku można monitorować natywnie w interfejsie użytkownika usługi Azure Data Factory. Aby otworzyć środowisko monitorowania, wybierz kafelek Monitorowanie i zarządzanie w bloku fabryki danych w witrynie Azure Portal. Jeśli jesteś już w środowisku ADF, kliknij ikonę Monitor na lewym pasku bocznym.

Domyślnie wszystkie operacje w fabryce danych są wyświetlane w lokalnej strefie czasowej przeglądarki. Jeśli zmienisz strefę czasową, wszystkie pola daty/godziny zostaną dopasowane do wybranej strefy czasowej.

Monitorowanie uruchomień potoku

Domyślny widok monitorowania to lista uruchomionych przebiegów potoków w wybranym okresie. Możesz zmienić zakres czasu i filtrować według stanu, nazwy potoku lub adnotacji. Zatrzymaj wskaźnik myszy na określonym przebiegu potoku, aby uzyskać akcje specyficzne dla przebiegu, takie jak ponowne uruchamianie i raport użycia.

Tabela uruchomienia ciągu zawiera następujące kolumny:

Nazwa kolumny	Opis
Nazwa rurociągu	Nazwa rurociągu
Rozpoczęcie uruchamiania	Data i godzina rozpoczęcia przebiegu potoku (MM/DD/RRRR, GG:MM:SS AM/PM)
Zakończenie przebiegu	Data i godzina zakończenia przebiegu potoku (MM/DD/RRRR, GG:MM:SS AM/PM)
Czas trwania	Czas trwania uruchomienia (HH:MM:SS)
Wyzwolone przez	Nazwa wyzwalacza, który uruchomił pipelinę
Status	Niepowodzenie, Powodzenie, W toku, Anulowane lub W kolejce
Adnotacje	Tagi z możliwością filtrowania powiązane z rurociągiem
Parametry	Parametry uruchomienia pipeline'u (pary nazwa i wartość)
Błąd	Jeśli potok nie powiedzie się, błąd podczas uruchomienia
Uruchom	Oryginalny, uruchom ponownie lub uruchom ponownie (najnowsza wersja)
Identyfikator uruchomienia	Identyfikator przebiegu potoku

Aby odświeżyć listę przebiegów potoków i działań, należy ręcznie wybrać przycisk Odśwież. Autorefresh nie jest obecnie obsługiwany.

Aby wyświetlić wyniki przebiegu debugowania, wybierz kartę Debugowanie .

Monitorowanie wykonania operacji

Aby uzyskać szczegółowy widok poszczególnych uruchomień działań określonego przebiegu potoku, kliknij nazwę potoku.

Widok listy pokazuje uruchomienia działań odpowiadające poszczególnym uruchomieniom potoku. Najedź kursorem myszy na określone uruchomienie działania, aby uzyskać informacje dotyczące tego uruchomienia, takie jak dane wejściowe JSON, dane wyjściowe JSON oraz szczegółowe opcje monitorowania związane z działaniem.

Nazwa kolumny	Opis
Nazwa działania	Nazwa działania wewnątrz rurociągu
Typ działania	Typ działania, takiego jak Copy, ExecuteDataFlow lub AzureMLExecutePipeline
Akcje	Ikony umożliwiające wyświetlanie informacji wejściowych JSON, informacji wyjściowych JSON lub szczegółowych doświadczeń monitorowania specyficznych dla działania
Rozpoczęcie uruchamiania	Data i godzina rozpoczęcia uruchomienia działania (MM/DD/RRRR, HH:MM:SS AM/PM)
Czas trwania	Czas trwania przebiegu (HH:MM:SS)
Stan	Niepowodzenie, Powodzenie, W toku lub Anulowane
Integration Runtime	Na którym środowisku Integration Runtime uruchomiono działanie
Właściwości użytkownika	Właściwości działania zdefiniowane przez użytkownika
Błąd	Jeśli działanie nie powiodło się, błąd uruchomienia
Identyfikator przebiegu	Identyfikator wykonania zadania

Jeśli działanie nie powiodło się, możesz wyświetlić szczegółowy komunikat o błędzie, klikając ikonę w kolumnie błędu.

Promowanie właściwości użytkownika do monitorowania

Zaproponuj dowolną właściwość działania potoku jako właściwość użytkownika, aby stała się encją, którą monitorujesz. Na przykład możesz podwyższyć poziom właściwości Źródło i Miejsce docelowe działania kopiowania w potoku jako właściwości użytkownika.

Uwaga

Można promować tylko do pięciu właściwości aktywności potoku jako właściwości użytkownika.

Po utworzeniu właściwości użytkownika można je monitorować w widokach listy monitorowania.

Jeśli źródłem działania kopiowania jest nazwa tabeli, możesz monitorować nazwę tabeli źródłowej jako kolumnę w widoku listy dla przebiegów działań.

Ponowne uruchamianie potoków i działań

Zachowanie działań kontenera w przypadku ponownego uruchomienia wygląda następująco:

• Wait- Działanie zachowa się tak jak wcześniej.
• Set Variable - Działanie będzie zachowywać się tak jak wcześniej.
• Filter - Działanie będzie zachowywać się tak jak wcześniej.
• Until Działanie obliczy wyrażenie i będzie wykonywane w pętli do momentu spełnienia warunku. Działania wewnętrzne mogą być nadal pomijane zgodnie z regułami ponownego uruchamiania.
• Foreach Działanie zawsze będzie przetwarzać otrzymane elementy w pętli. Działania wewnętrzne mogą być nadal pomijane zgodnie z regułami ponownego uruchamiania.
• If and switch - Warunki będą zawsze oceniane. Wszystkie działania wewnętrzne zostaną ocenione. Działania wewnętrzne mogą być nadal pomijane na podstawie reguł ponownego uruchamiania, ale działania, takie jak Execute Pipeline, zostaną uruchomione ponownie.
• Execute pipeline activity — Potok podrzędny zostanie uruchomiony, ale wszystkie działania w potoku podrzędnym mogą być nadal pomijane zgodnie z zasadami ponownego uruchomienia.

Aby ponownie uruchomić potok, który został wcześniej uruchomiony od początku, umieść kursor na określonym przebiegu potoku i wybierz pozycję Uruchom ponownie. Jeśli wybierzesz wiele potoków, możesz użyć przycisku Uruchom ponownie , aby uruchomić je wszystkie.

Jeśli chcesz ponownie uruchomić proces od określonego punktu, możesz to zrobić z widoku przebiegów działań. Wybierz działanie, od którego chcesz rozpocząć, i wybierz pozycję Uruchom ponownie z działania.

Możesz ponownie uruchomić potok i zmienić parametry. Wybierz przycisk Nowe parametry, aby zmienić parametry.

Uwaga

Ponowne uruchomienie potoku z nowymi parametrami zostanie uznane za nowe uruchomienie, dlatego nie będzie widoczne w grupowaniu ponownych uruchomień danego potoku.

Ponowne uruchamianie działania zakończonego niepowodzeniem

Jeśli działanie zakończy się niepowodzeniem lub zostanie anulowane, możesz ponownie uruchomić potok z poziomu tego działania zakończonego niepowodzeniem, wybierając pozycję Uruchom ponownie z poziomu działania, które zakończyło się niepowodzeniem.

Wyświetlanie historii ponownego uruchomiania

Możesz wyświetlić historię powtórnych uruchomień dla wszystkich przebiegów potoku w widoku w formie listy.

Można również wyświetlić historię ponownego uruchamiania dla określonego uruchomienia potoku.

Monitorowanie użycia

Zasoby używane przez przebieg potoku można wyświetlić, klikając ikonę zużycia obok przebiegu.

Kliknięcie ikony powoduje otwarcie raportu użycia zasobów używanych przez uruchomienie tego potoku.

Możesz wprowadzić te wartości do kalkulatora cen Azure, aby oszacować koszt uruchomienia potoku. Aby uzyskać więcej informacji na temat cennika usługi Azure Data Factory, zobacz Omówienie cen.

Uwaga

Te wartości zwracane przez kalkulator cen to oszacowanie. Nie odzwierciedla on dokładnej kwoty naliczanej przez usługę Azure Data Factory

Widoki wykresu Gantta

Wykres Gantta to widok, który umożliwia przeglądanie historii przebiegów w określonym przedziale czasowym. Po przełączeniu się do widoku Gantta widać wszystkie przebiegi potoku pogrupowane według nazw wyświetlanych jako paski wskazujące, jak długo trwał dany przebieg. Możesz również grupować według adnotacji/tagów utworzonych w potoku. Widok Gantta jest również dostępny na poziomie uruchomienia działania.

Długość belki informuje o okresie trwania procesu. Możesz również wybrać pasek, aby wyświetlić więcej szczegółów.

Alerty

Dla obsługiwanych metryk w usłudze Data Factory można skonfigurować alerty. Wybierz Monitor>alerty i metryki na stronie monitorowania usługi Data Factory, aby rozpocząć pracę.

Aby zapoznać się z siedmiominutowym wprowadzeniem i pokazem tej funkcji, obejrzyj następujący film wideo:

Tworzenie alertów

1. Wybierz Nową regułę alertu, aby utworzyć nowy alert.

   

2. Określ nazwę reguły i wybierz ważność alertu.

   

3. Wybierz kryteria alertu.

   

   

   

   Możesz tworzyć alerty dotyczące różnych metryk, w tym liczby jednostek usługi ADF/rozmiaru, przebiegów aktywności/potoku/wyzwalacza, wykorzystania procesora CPU, pamięci/liczby węzłów/kolejki środowiska uruchomieniowego Integration Runtime (IR), a także wykonań pakietów SSIS oraz operacji uruchamiania/zatrzymywania środowiska SSIS IR.

4. Skonfiguruj logikę alertu. Możesz utworzyć alert dla wybranej metryki dla wszystkich potoków i powiązanych działań. Możesz również wybrać określony typ działania, nazwę działania, nazwę potoku lub typ błędu.

   

5. Skonfiguruj powiadomienia e-mail, SMS, push i głosowe dla powiadomień o alercie. Utwórz grupę akcji lub wybierz istniejącą dla powiadomień o alertach.

   

   

6. Utwórz regułę alertu.

   

Powiązana zawartość

Aby dowiedzieć się więcej na temat monitorowania potoków i zarządzania nimi, zobacz artykuł Monitorowanie potoków i zarządzanie nimi programowo .