Wizualne monitorowanie fabryk danych platformy Azure

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Po utworzeniu i opublikowaniu potoku w usłudze Azure Data Factory możesz skojarzyć go z wyzwalaczem lub ręcznie uruchomić uruchamianie ad hoc. Wszystkie uruchomienia potoku można monitorować natywnie w środowisku użytkownika usługi Azure Data Factory. Aby otworzyć środowisko monitorowania, wybierz kafelek Monitorowanie i zarządzanie w bloku fabryki danych w witrynie Azure Portal. Jeśli jesteś już w środowisku użytkownika usługi ADF, kliknij ikonę Monitor na lewym pasku bocznym.

Domyślnie wszystkie przebiegi fabryki danych są wyświetlane w lokalnej strefie czasowej przeglądarki. Jeśli zmienisz strefę czasową, wszystkie pola daty/godziny zostaną dopasowane do wybranej strefy czasowej.

Monitorowanie uruchomień potoku

Domyślny widok monitorowania to lista wyzwolonych przebiegów potoków w wybranym okresie. Możesz zmienić zakres czasu i filtrować przebiegi według stanu, nazwy potoku lub adnotacji. Zatrzymaj wskaźnik myszy na określonym przebiegu potoku, aby uzyskać akcje specyficzne dla przebiegu, takie jak ponowne uruchamianie i raport użycia.

Siatka uruchamiania potoku zawiera następujące kolumny:

Nazwa kolumny	Opis
Nazwa potoku	Nazwa potoku
Rozpoczęcie uruchamiania	Data i godzina rozpoczęcia przebiegu potoku (MM/DD/RRRR, GG:MM:SS AM/PM)
Zakończenie przebiegu	Data i godzina zakończenia przebiegu potoku (MM/DD/RRRR, GG:MM:SS AM/PM)
Czas trwania	Czas trwania przebiegu (HH:MM:SS)
Wyzwolone przez	Nazwa wyzwalacza, który uruchomił potok
Stan	Niepowodzenie, powodzenie, w toku, anulowane lub w kolejce
Adnotacje	Tagi z możliwością filtrowania skojarzone z potokiem
Parametry	Parametry przebiegu potoku (pary nazwa/wartość)
Błąd	Jeśli potok nie powiedzie się, błąd uruchomienia
Uruchom	Oryginalny, uruchom ponownie lub uruchom ponownie (najnowsza wersja)
Identyfikator przebiegu	Identyfikator przebiegu potoku

Aby odświeżyć listę przebiegów potoku i działań, musisz ręcznie wybrać przycisk Odśwież . Autorefresh nie jest obecnie obsługiwany.

Aby wyświetlić wyniki przebiegu debugowania, wybierz kartę Debugowanie .

Monitorowanie uruchomień działania

Aby uzyskać szczegółowy widok poszczególnych uruchomień działań określonego przebiegu potoku, kliknij nazwę potoku.

Widok listy zawiera uruchomienia działań, które odpowiadają każdemu uruchomieniu potoku. Zatrzymaj wskaźnik myszy na określonym uruchomieniu działania, aby uzyskać informacje specyficzne dla przebiegu, takie jak dane wejściowe JSON, dane wyjściowe JSON i szczegółowe środowiska monitorowania specyficzne dla działania.

Nazwa kolumny	Opis
Nazwa działania	Nazwa działania wewnątrz potoku
Typ działania	Typ działania, takiego jak Copy, ExecuteDataFlow lub AzureMLExecutePipeline
Akcje	Ikony, które umożliwiają wyświetlanie informacji wejściowych JSON, informacji wyjściowych JSON lub szczegółowych środowisk monitorowania specyficznych dla działania
Rozpoczęcie uruchamiania	Data i godzina rozpoczęcia uruchomienia działania (MM/DD/RRRR, HH:MM:SS AM/PM)
Czas trwania	Czas trwania przebiegu (HH:MM:SS)
Stan	Niepowodzenie, powodzenie, w toku lub anulowane
Środowisko Integration Runtime	Na którym środowisku Integration Runtime uruchomiono działanie
Właściwości użytkownika	Właściwości zdefiniowane przez użytkownika działania
Błąd	Jeśli działanie nie powiodło się, błąd uruchomienia
Identyfikator przebiegu	Identyfikator przebiegu działania

Jeśli działanie nie powiodło się, możesz wyświetlić szczegółowy komunikat o błędzie, klikając ikonę w kolumnie błędu.

Podwyższanie poziomu właściwości użytkownika do monitorowania

Podwyższ poziom dowolnej właściwości działania potoku, na przykład właściwości użytkownika, aby stała się monitorowanym obiektem. Na przykład możesz podwyższyć poziom właściwości Źródło i Miejsce docelowe działania kopiowania w potoku jako właściwości użytkownika.

Uwaga

Można podwyższyć poziom tylko do pięciu właściwości działania potoku jako właściwości użytkownika.

Po utworzeniu właściwości użytkownika można je monitorować w widokach listy monitorowania.

Jeśli źródłem działania kopiowania jest nazwa tabeli, możesz monitorować nazwę tabeli źródłowej jako kolumnę w widoku listy dla przebiegów działań.

Ponowne uruchamianie potoków i działań

Ponowne uruchamianie działań kontenera jest następujące:

• Wait- Działanie będzie zachowywać się tak jak wcześniej.
• Set Variable - Działanie będzie zachowywać się tak jak wcześniej.
• Filter - Działanie będzie zachowywać się tak jak wcześniej.
• Until Działanie obliczy wyrażenie i będzie wykonywane w pętli do momentu spełnienia warunku. Działania wewnętrzne mogą być nadal pomijane zgodnie z regułami ponownego uruchamiania.
• Foreach Działanie zawsze będzie wykonywane w pętli na otrzymanych elementach. Działania wewnętrzne mogą być nadal pomijane zgodnie z regułami ponownego uruchamiania.
• If and switch - Warunki będą zawsze oceniane. Wszystkie działania wewnętrzne zostaną ocenione. Działania wewnętrzne mogą być nadal pomijane na podstawie reguł ponownego uruchamiania, ale elementy, takie jak Execute Pipeline, zostaną uruchomione ponownie.
• Execute pipeline activity — Potok podrzędny zostanie wyzwolony, ale wszystkie działania w potoku podrzędnym mogą być nadal pomijane na podstawie reguł ponownego uruchamiania.

Aby ponownie uruchomić potok, który został wcześniej uruchomiony od początku, umieść kursor na określonym przebiegu potoku i wybierz pozycję Uruchom ponownie. Jeśli wybierzesz wiele potoków, możesz użyć przycisku Uruchom ponownie , aby uruchomić je wszystkie.

Jeśli chcesz ponownie uruchomić polecenie, zaczynając od określonego punktu, możesz to zrobić w widoku uruchomień działań. Wybierz działanie, od którego chcesz rozpocząć, i wybierz pozycję Uruchom ponownie z działania.

Możesz również ponownie uruchomić potok i zmienić parametry. Wybierz przycisk Nowe parametry, aby zmienić parametry.

Uwaga

Ponowne uruchomienie potoku z nowymi parametrami zostanie uznane za nowe uruchomienie potoku, więc nie będzie wyświetlane w obszarze ponownego uruchamiania grupowania dla uruchomienia potoku.

Ponowne uruchamianie działania zakończonego niepowodzeniem

Jeśli działanie zakończy się niepowodzeniem lub zostanie anulowane, możesz ponownie uruchomić potok z poziomu tego działania zakończonego niepowodzeniem, wybierając pozycję Uruchom ponownie z poziomu działania, które zakończyło się niepowodzeniem.

Wyświetlanie historii ponownego uruchomiania

Możesz wyświetlić historię ponownego uruchamiania dla wszystkich przebiegów potoku w widoku listy.

Można również wyświetlić historię ponownego uruchamiania dla określonego uruchomienia potoku.

Monitorowanie użycia

Zasoby używane przez przebieg potoku można wyświetlić, klikając ikonę zużycia obok przebiegu.

Kliknięcie ikony powoduje otwarcie raportu użycia zasobów używanych przez uruchomienie tego potoku.

Możesz podłączyć te wartości do kalkulatora cen platformy Azure, aby oszacować koszt uruchomienia potoku. Aby uzyskać więcej informacji na temat cennika usługi Azure Data Factory, zobacz Omówienie cen.

Uwaga

Te wartości zwracane przez kalkulator cen to oszacowanie. Nie odzwierciedla on dokładnej kwoty naliczanej przez usługę Azure Data Factory

Widoki wykresu Gantta

Wykres Gantta to widok, który umożliwia wyświetlanie historii przebiegów w zakresie czasu. Po przełączeniu się do widoku Gantta widać wszystkie przebiegi potoku pogrupowane według nazw wyświetlanych jako paski wskazujące, jak długo trwał dany przebieg. Możesz również grupować według adnotacji/tagów utworzonych w potoku. Widok Gantta jest również dostępny na poziomie uruchomienia działania.

Długość paska informuje o czasie trwania potoku. Możesz również wybrać pasek, aby wyświetlić więcej szczegółów.

Alerty

Dla obsługiwanych metryk w usłudze Data Factory można skonfigurować alerty. Wybierz pozycję Monitoruj>alerty i metryki na stronie monitorowania usługi Data Factory, aby rozpocząć pracę.

Aby zapoznać się z siedmiominutowym wprowadzeniem i pokazem tej funkcji, obejrzyj następujący film wideo:

Tworzenie alertów

1. Wybierz pozycję Nowa reguła alertu, aby utworzyć nowy alert.

   

2. Określ nazwę reguły i wybierz ważność alertu.

   

3. Wybierz kryteria alertu.

   

   

   

   Możesz tworzyć alerty dotyczące różnych metryk, w tym dla liczby jednostek usługi ADF,rozmiaru, przebiegów działania/potoku/wyzwalacza, wykorzystania procesora CPU środowiska Integration Runtime (IR), pamięci/liczby węzłów/kolejki, a także wykonań pakietów usług SSIS i operacji uruchamiania/zatrzymywania środowiska SSIS IR.

4. Skonfiguruj logikę alertu. Możesz utworzyć alert dla wybranej metryki dla wszystkich potoków i odpowiednich działań. Możesz również wybrać określony typ działania, nazwę działania, nazwę potoku lub typ błędu.

   

5. Skonfiguruj powiadomienia e-mail, SMS, wypychane i głosowe dla alertu. Utwórz grupę akcji lub wybierz istniejącą dla powiadomień o alertach.

   

   

6. Utwórz regułę alertu.

   

Powiązana zawartość

Aby dowiedzieć się więcej na temat monitorowania potoków i zarządzania nimi, zobacz artykuł Monitorowanie potoków i zarządzanie nimi programowo .