Udostępnij za pośrednictwem


Wizualne monitorowanie fabryk danych platformy Azure

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Po utworzeniu i opublikowaniu potoku w usłudze Azure Data Factory możesz skojarzyć go z wyzwalaczem lub ręcznie uruchomić uruchamianie ad hoc. Wszystkie uruchomienia potoku można monitorować natywnie w interfejsie użytkownika usługi Azure Data Factory. Aby otworzyć środowisko monitorowania, wybierz kafelek Monitorowanie i zarządzanie w bloku fabryki danych w witrynie Azure Portal. Jeśli jesteś już w środowisku ADF, kliknij ikonę Monitor na lewym pasku bocznym.

Domyślnie wszystkie operacje w fabryce danych są wyświetlane w lokalnej strefie czasowej przeglądarki. Jeśli zmienisz strefę czasową, wszystkie pola daty/godziny zostaną dopasowane do wybranej strefy czasowej.

Monitorowanie uruchomień potoku

Domyślny widok monitorowania to lista uruchomionych przebiegów potoków w wybranym okresie. Możesz zmienić zakres czasu i filtrować według stanu, nazwy potoku lub adnotacji. Zatrzymaj wskaźnik myszy na określonym przebiegu potoku, aby uzyskać akcje specyficzne dla przebiegu, takie jak ponowne uruchamianie i raport użycia.

Zrzut ekranu przedstawiający widok listy na potrzeby monitorowania przebiegów potoków.

Tabela uruchomienia ciągu zawiera następujące kolumny:

Nazwa kolumny Opis
Nazwa rurociągu Nazwa rurociągu
Rozpoczęcie uruchamiania Data i godzina rozpoczęcia przebiegu potoku (MM/DD/RRRR, GG:MM:SS AM/PM)
Zakończenie przebiegu Data i godzina zakończenia przebiegu potoku (MM/DD/RRRR, GG:MM:SS AM/PM)
Czas trwania Czas trwania uruchomienia (HH:MM:SS)
Wyzwolone przez Nazwa wyzwalacza, który uruchomił pipelinę
Status Niepowodzenie, Powodzenie, W toku, Anulowane lub W kolejce
Adnotacje Tagi z możliwością filtrowania powiązane z rurociągiem
Parametry Parametry uruchomienia pipeline'u (pary nazwa i wartość)
Błąd Jeśli potok nie powiedzie się, błąd podczas uruchomienia
Uruchom Oryginalny, uruchom ponownie lub uruchom ponownie (najnowsza wersja)
Identyfikator uruchomienia Identyfikator przebiegu potoku

Aby odświeżyć listę przebiegów potoków i działań, należy ręcznie wybrać przycisk Odśwież. Autorefresh nie jest obecnie obsługiwany.

 Zrzut ekranu przedstawiający przycisk odświeżenia.

Aby wyświetlić wyniki przebiegu debugowania, wybierz kartę Debugowanie .

Zrzut ekranu przedstawiający ikonę przeglądu aktywnych sesji debugowania.

Monitorowanie wykonania operacji

Aby uzyskać szczegółowy widok poszczególnych uruchomień działań określonego przebiegu potoku, kliknij nazwę potoku.

Zrzut ekranu przedstawiający uruchomienia aktywności przeglądania.

Widok listy pokazuje uruchomienia działań odpowiadające poszczególnym uruchomieniom potoku. Najedź kursorem myszy na określone uruchomienie działania, aby uzyskać informacje dotyczące tego uruchomienia, takie jak dane wejściowe JSON, dane wyjściowe JSON oraz szczegółowe opcje monitorowania związane z działaniem.

Zrzut ekranu przedstawiający informacje o działaniu SalesAnalyticsMLPipeline, a następnie listę uruchomień działań.

Nazwa kolumny Opis
Nazwa działania Nazwa działania wewnątrz rurociągu
Typ działania Typ działania, takiego jak Copy, ExecuteDataFlow lub AzureMLExecutePipeline
Akcje Ikony umożliwiające wyświetlanie informacji wejściowych JSON, informacji wyjściowych JSON lub szczegółowych doświadczeń monitorowania specyficznych dla działania
Rozpoczęcie uruchamiania Data i godzina rozpoczęcia uruchomienia działania (MM/DD/RRRR, HH:MM:SS AM/PM)
Czas trwania Czas trwania przebiegu (HH:MM:SS)
Stan Niepowodzenie, Powodzenie, W toku lub Anulowane
Integration Runtime Na którym środowisku Integration Runtime uruchomiono działanie
Właściwości użytkownika Właściwości działania zdefiniowane przez użytkownika
Błąd Jeśli działanie nie powiodło się, błąd uruchomienia
Identyfikator przebiegu Identyfikator wykonania zadania

Jeśli działanie nie powiodło się, możesz wyświetlić szczegółowy komunikat o błędzie, klikając ikonę w kolumnie błędu.

Zrzut ekranu przedstawiający powiadomienie ze szczegółami błędu, w tym kodem błędu, typem błędu i szczegółami błędu.

Promowanie właściwości użytkownika do monitorowania

Zaproponuj dowolną właściwość działania potoku jako właściwość użytkownika, aby stała się encją, którą monitorujesz. Na przykład możesz podwyższyć poziom właściwości Źródło i Miejsce docelowe działania kopiowania w potoku jako właściwości użytkownika.

Uwaga

Można promować tylko do pięciu właściwości aktywności potoku jako właściwości użytkownika.

Zrzut ekranu przedstawiający tworzenie właściwości użytkownika.

Po utworzeniu właściwości użytkownika można je monitorować w widokach listy monitorowania.

Zrzut ekranu przedstawiający dodawanie kolumn dotyczących właściwości użytkownika do listy przebiegów czynności.

Jeśli źródłem działania kopiowania jest nazwa tabeli, możesz monitorować nazwę tabeli źródłowej jako kolumnę w widoku listy dla przebiegów działań.

Zrzut ekranu przedstawiający listę przebiegów działań z kolumnami dla właściwości użytkownika.

Ponowne uruchamianie potoków i działań

Zachowanie działań kontenera w przypadku ponownego uruchomienia wygląda następująco:

  • Wait- Działanie zachowa się tak jak wcześniej.
  • Set Variable - Działanie będzie zachowywać się tak jak wcześniej.
  • Filter - Działanie będzie zachowywać się tak jak wcześniej.
  • Until Działanie obliczy wyrażenie i będzie wykonywane w pętli do momentu spełnienia warunku. Działania wewnętrzne mogą być nadal pomijane zgodnie z regułami ponownego uruchamiania.
  • Foreach Działanie zawsze będzie przetwarzać otrzymane elementy w pętli. Działania wewnętrzne mogą być nadal pomijane zgodnie z regułami ponownego uruchamiania.
  • If and switch - Warunki będą zawsze oceniane. Wszystkie działania wewnętrzne zostaną ocenione. Działania wewnętrzne mogą być nadal pomijane na podstawie reguł ponownego uruchamiania, ale działania, takie jak Execute Pipeline, zostaną uruchomione ponownie.
  • Execute pipeline activity — Potok podrzędny zostanie uruchomiony, ale wszystkie działania w potoku podrzędnym mogą być nadal pomijane zgodnie z zasadami ponownego uruchomienia.

Aby ponownie uruchomić potok, który został wcześniej uruchomiony od początku, umieść kursor na określonym przebiegu potoku i wybierz pozycję Uruchom ponownie. Jeśli wybierzesz wiele potoków, możesz użyć przycisku Uruchom ponownie , aby uruchomić je wszystkie.

Zrzut ekranu przedstawiający ponowne uruchamianie potoku.

Jeśli chcesz ponownie uruchomić proces od określonego punktu, możesz to zrobić z widoku przebiegów działań. Wybierz działanie, od którego chcesz rozpocząć, i wybierz pozycję Uruchom ponownie z działania.

Zrzut ekranu przedstawiający ponowne uruchamianie działania.

Możesz ponownie uruchomić potok i zmienić parametry. Wybierz przycisk Nowe parametry, aby zmienić parametry.

Zrzut ekranu przedstawiający ponowne uruchamianie działania z nowymi parametrami.

Uwaga

Ponowne uruchomienie potoku z nowymi parametrami zostanie uznane za nowe uruchomienie, dlatego nie będzie widoczne w grupowaniu ponownych uruchomień danego potoku.

Ponowne uruchamianie działania zakończonego niepowodzeniem

Jeśli działanie zakończy się niepowodzeniem lub zostanie anulowane, możesz ponownie uruchomić potok z poziomu tego działania zakończonego niepowodzeniem, wybierając pozycję Uruchom ponownie z poziomu działania, które zakończyło się niepowodzeniem.

Zrzut ekranu z ponownego uruchomienia nieudanej aktywności.

Wyświetlanie historii ponownego uruchomiania

Możesz wyświetlić historię powtórnych uruchomień dla wszystkich przebiegów potoku w widoku w formie listy.

Zrzut ekranu przedstawiający historię wyświetlania.

Można również wyświetlić historię ponownego uruchamiania dla określonego uruchomienia potoku.

Zrzut ekranu historii przeglądania przebiegu potoku.

Monitorowanie użycia

Zasoby używane przez przebieg potoku można wyświetlić, klikając ikonę zużycia obok przebiegu.

Zrzut ekranu pokazujący, gdzie można sprawdzić zasoby zużywane przez potok.

Kliknięcie ikony powoduje otwarcie raportu użycia zasobów używanych przez uruchomienie tego potoku.

Zrzut ekranu przedstawiający użycie monitora.

Możesz wprowadzić te wartości do kalkulatora cen Azure, aby oszacować koszt uruchomienia potoku. Aby uzyskać więcej informacji na temat cennika usługi Azure Data Factory, zobacz Omówienie cen.

Uwaga

Te wartości zwracane przez kalkulator cen to oszacowanie. Nie odzwierciedla on dokładnej kwoty naliczanej przez usługę Azure Data Factory

Widoki wykresu Gantta

Wykres Gantta to widok, który umożliwia przeglądanie historii przebiegów w określonym przedziale czasowym. Po przełączeniu się do widoku Gantta widać wszystkie przebiegi potoku pogrupowane według nazw wyświetlanych jako paski wskazujące, jak długo trwał dany przebieg. Możesz również grupować według adnotacji/tagów utworzonych w potoku. Widok Gantta jest również dostępny na poziomie uruchomienia działania.

Zrzut ekranu przedstawiający przykład wykresu Gantta.

Długość belki informuje o okresie trwania procesu. Możesz również wybrać pasek, aby wyświetlić więcej szczegółów.

Zrzut ekranu przedstawiający czas trwania wykresu Gantta.

Alerty

Dla obsługiwanych metryk w usłudze Data Factory można skonfigurować alerty. Wybierz Monitor>alerty i metryki na stronie monitorowania usługi Data Factory, aby rozpocząć pracę.

Zrzut ekranu strony Monitor Data Factory.

Aby zapoznać się z siedmiominutowym wprowadzeniem i pokazem tej funkcji, obejrzyj następujący film wideo:

Tworzenie alertów

  1. Wybierz Nową regułę alertu, aby utworzyć nowy alert.

    Zrzut ekranu przedstawiający przycisk Nowa reguła alertu.

  2. Określ nazwę reguły i wybierz ważność alertu.

    Zrzut ekranu przedstawiający okienka z nazwą reguły i jej dotkliwością.

  3. Wybierz kryteria alertu.

    Zrzut ekranu przedstawiający pole wyboru kryteriów docelowych.

    Zrzut ekranu przedstawiający miejsce wybrania jednej metryki w celu skonfigurowania warunku alertu.

    Zrzut ekranu przedstawiający listę kryteriów.

    Możesz tworzyć alerty dotyczące różnych metryk, w tym liczby jednostek usługi ADF/rozmiaru, przebiegów aktywności/potoku/wyzwalacza, wykorzystania procesora CPU, pamięci/liczby węzłów/kolejki środowiska uruchomieniowego Integration Runtime (IR), a także wykonań pakietów SSIS oraz operacji uruchamiania/zatrzymywania środowiska SSIS IR.

  4. Skonfiguruj logikę alertu. Możesz utworzyć alert dla wybranej metryki dla wszystkich potoków i powiązanych działań. Możesz również wybrać określony typ działania, nazwę działania, nazwę potoku lub typ błędu.

    Zrzut ekranu przedstawiający opcje konfigurowania logiki alertu.

  5. Skonfiguruj powiadomienia e-mail, SMS, push i głosowe dla powiadomień o alercie. Utwórz grupę akcji lub wybierz istniejącą dla powiadomień o alertach.

    Zrzut ekranu przedstawiający opcje konfigurowania powiadomień.

    Zrzut ekranu przedstawiający opcje dodawania powiadomienia.

  6. Utwórz regułę alertu.

    Zrzut ekranu przedstawiający opcje tworzenia reguły alertu.

Aby dowiedzieć się więcej na temat monitorowania potoków i zarządzania nimi, zobacz artykuł Monitorowanie potoków i zarządzanie nimi programowo .