Kopiowanie danych i wysyłanie powiadomień e-mail dotyczących powodzenia i niepowodzenia

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Wskazówka

Data Factory w usłudze Microsoft Fabric jest następną generacją Azure Data Factory z prostszą architekturą, wbudowaną sztuczną inteligencją i nowymi funkcjami. Jeśli dopiero zaczynasz integrować dane, zacznij od Fabric Data Factory. Istniejące obciążenia ADF można zaktualizować do Fabric, aby uzyskać dostęp do nowych możliwości w zakresie nauki o danych, analiz w czasie rzeczywistym oraz raportowania.

W tym samouczku tworzysz potok usługi Data Factory, prezentujący niektóre funkcje przepływu sterowania. Ten przepływ wykonuje prostą kopię z kontenera w Azure Blob Storage do innego kontenera na tym samym koncie magazynowym. Jeśli działanie kopiowania zakończy się powodzeniem, pipeline wysyła szczegóły zakończonej pomyślnie operacji kopiowania (takie jak ilość zapisanych danych) w e-mailu potwierdzającym sukces. W przypadku niepowodzenia działania kopiowania, potok wysyła szczegóły dotyczące niepowodzenia kopiowania (takie jak komunikat o błędzie) w wiadomości e-mail informującej o niepowodzeniu. W samouczku pokazano, jak przekazać parametry.

Ogólne omówienie scenariusza: Diagram przedstawia Azure Blob Storage, który jest celem kopiowania. Po powodzeniu wysyłany jest e-mail ze szczegółami, natomiast w przypadku niepowodzenia, e-mail zawiera szczegóły błędu.

W tym samouczku wykonasz następujące kroki:

  • Tworzenie fabryki danych.
  • Utwórz połączoną usługę Azure Storage.
  • Tworzenie zbioru danych Blob Azure
  • Utwórz potok, który zawiera Copy activity i Web activity
  • Wysyłanie danych wyjściowych działań do kolejnych działań
  • Korzystanie z przekazywania parametrów i ze zmiennych systemowych
  • Rozpocznij uruchomienie potoku
  • Monitoruj potok i uruchomienia działań

W tym samouczku korzystamy z portalu Azure. Możesz użyć innych mechanizmów do interakcji z Azure Data Factory. Zapoznaj się z sekcją "Szybki start" w spisie treści.

Wymagania wstępne

  • Subskrypcja Azure. Jeśli nie masz subskrypcji Azure, przed rozpoczęciem utwórz konto free.
  • konto Azure Storage. Ty używasz magazynu obiektów blob jako źródłowego magazynu danych. Jeśli nie masz konta magazynu Azure, zobacz artykuł Utwórz konto magazynu aby uzyskać instrukcje tworzenia konta.
  • Azure SQL Database. Baza danych jest używana jako magazyn danych ujścia. Jeśli nie masz bazy danych w Azure SQL Database, zobacz artykuł Utwórz bazę danych w Azure SQL Database aby uzyskać instrukcje tworzenia bazy danych.

Utwórz tabelę obiektów blob

  1. Uruchom program Notatnik. Skopiuj poniższy tekst i zapisz go na dysku jako plik input.txt.

    John,Doe
Jane,Doe

  2. Użyj narzędzi, takich jak Azure Storage Explorer wykonaj następujące czynności:

    1. Utwórz kontener adfv2branch.
    2. Utwórz folder input w kontenerze adfv2branch.
    3. Przekaż plik input.txt do kontenera.

Tworzenie punktów końcowych przepływu pracy poczty e-mail

Aby wyzwolić wysyłanie wiadomości e-mail z potoku, użyj Azure Logic Apps aby zdefiniować przepływ pracy. Aby uzyskać więcej informacji na temat tworzenia przepływu pracy w aplikacji logiki typu Consumption, zobacz Tworzenie przykładowego przepływu pracy w aplikacji logiki typu Consumption.

Przepływ pracy dla wiadomości e-mail dotyczących sukcesów

Utwórz przepływ pracy aplikacji logiki typu Consumption o nazwie CopySuccessEmail. Dodaj wyzwalacz żądania o nazwie Przy odebraniu żądania HTTP i dodaj akcję Office 365 Outlook o nazwie Send an email. Jeśli zostanie wyświetlony monit, zaloguj się do konta Office 365 Outlook.

Pokazuje zrzut ekranu przepływu pracy wiadomości e-mail zatytułowanej

W przypadku wyzwalacza Żądanie wypełnij pole Schemat treści JSON następującym kodem JSON:

{
    "properties": {
        "dataFactoryName": {
            "type": "string"
        },
        "message": {
            "type": "string"
        },
        "pipelineName": {
            "type": "string"
        },
        "receiver": {
            "type": "string"
        }
    },
    "type": "object"
}

Wyzwalacz "Żądanie" w projektancie przepływu pracy powinien wyglądać jak na obrazie poniżej.

Przedstawia zrzut ekranu projektanta przepływu pracy z wyzwalaczem żądania.

W przypadku akcji Wyślij wiadomość e-mail dostosuj sposób formatowania wiadomości e-mail przy użyciu właściwości przekazanych w schemacie JSON treści żądania. Oto przykład:

Przedstawia zrzut ekranu projektanta przepływu pracy z akcją o nazwie Wyślij wiadomość e-mail.

Zapisz przepływ pracy. Zapisz adres URL żądania HTTP POST dla przepływu pracy wiadomości e-mail związanej z sukcesem:

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Przepływ pracy wiadomości e-mail z informacją o niepowodzeniu

Wykonaj te same kroki, aby utworzyć inny przepływ pracy aplikacji logiki o nazwie CopyFailEmail. W wyzwalaczu Żądanie wartość schematu JSON treści żądania jest taka sama. Zmień format wiadomości e-mail, na przykład element Subject, aby przekształcić wiadomość e-mail w wiadomość z informacją o niepowodzeniu. Oto przykład:

Zrzut ekranu projektanta przepływu pracy z nieudanym przepływem wiadomości e-mail.

Zapisz przepływ pracy. Zapisz adres URL żądania HTTP POST dla przepływu pracy wiadomości e-mail z informacją o niepowodzeniu:

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Teraz powinny być zapisane dwa adresy URL przepływów pracy:

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Tworzenie fabryki danych

  1. Uruchom Microsoft Edge lub Google Chrome przeglądarki internetowej. Obecnie interfejs użytkownika usługi Data Factory jest obsługiwany tylko w przeglądarkach internetowych Microsoft Edge i Google Chrome.

  2. Rozwiń menu w lewym górnym rogu i wybierz pozycję Utwórz zasób. Następnie wybierz pozycję Analytics>Data Factory :

    Zrzut ekranu wyboru usługi Data Factory w panelu

  3. Na stronie Nowa fabryka danych wprowadź wartość ADFTutorialDataFactory w polu Nazwa.

    Nowa strona fabryki danych

    Nazwa fabryki danych Azure musi być unikatowa na całym świecie. Jeśli wystąpi poniższy błąd, zmień nazwę fabryki danych (np. twojanazwaADFTutorialDataFactory) i spróbuj utworzyć ją ponownie. Artykuł Data Factory — Naming Rules (Usługa Data Factory — reguły nazewnictwa) zawiera reguły nazewnictwa artefaktów usługi Data Factory.

    Nazwa fabryki danych "ADFTutorialDataFactory" jest niedostępna.

  4. Wybierz swoją subskrypcję Azure, w której chcesz utworzyć fabrykę danych.

  5. Dla opcji Grupa zasobów wykonaj jedną z następujących czynności:

    • Wybierz pozycję Użyj istniejącej, a następnie wybierz istniejącą grupę zasobów z listy rozwijanej.

    • Wybierz pozycję Utwórz nową, a następnie wprowadź nazwę grupy zasobów.

      Aby dowiedzieć się więcej o grupach zasobów, zobacz Za pomocą grup zasobów do zarządzania zasobami Azure.

  6. Wybierz V2 dla wersji.

  7. Wybierz lokalizację dla fabryki danych. Na liście rozwijanej są wyświetlane tylko obsługiwane lokalizacje. Magazyny danych (Azure Storage, Azure SQL Database itp.) i obliczenia (HDInsight itp.) używane przez fabrykę danych mogą znajdować się w innych regionach.

  8. Wybierz opcję Przypnij do pulpitu nawigacyjnego.

  9. Kliknij pozycję Utwórz.

  10. Po zakończeniu tworzenia zostanie wyświetlona strona Fabryka danych, jak pokazano na poniższej ilustracji.

    Przedstawia zrzut ekranu przedstawiający stronę główną fabryki danych.

  11. Kliknij kafelek Otwórz Azure Data Factory Studio, aby otworzyć interfejs użytkownika Azure Data Factory na osobnej karcie.

Utwórz potok

W tym kroku utworzysz potok z jednym działaniem kopiowania i dwoma działaniami sieciowymi. Do utworzenia potoku używasz następujących funkcji:

  • Parametry dla potoku, do których dostęp mają zestawy danych.
  • Działania sieciowe wywołujące przepływy pracy aplikacji Logic Apps w celu wysyłania wiadomości e-mail informujących o powodzeniu/niepowodzeniu.
  • Łączenie jednego działania z innym (w przypadku powodzenia i niepowodzenia)
  • Używanie danych wyjściowych działania jako danych wejściowych kolejnego działania

  1. Na stronie głównej interfejsu użytkownika usługi Data Factory kliknij kafelek Orkiestracja .

    Przedstawia zrzut ekranu strony głównej Data Factory z wyróżnionym kafelkiem Orchestrate.

  2. W oknie właściwości dla potoku przejdź do karty Parametry i użyj przycisku Nowy, aby dodać następujące trzy parametry typu String: sourceBlobContainer, sinkBlobContainer oraz receiver.

    • sourceBlobContainer — parametr w potoku używany przez zestaw danych źródłowych obiektu blob.
    • sinkBlobContainer — parametr w potoku używany przez zestaw danych obiektów blob ujścia
    • receiver — ten parametr jest używany przez dwa działania w sieci Web w przepływie pracy, które wysyłają wiadomości e-mail z informacją o sukcesie lub niepowodzeniu do odbiorcy, którego adres e-mail jest określony przez ten parametr.

    Przedstawia zrzut ekranu przedstawiający menu Nowy potok.

  3. W przyborniku Działania wyszukaj aktywność Kopiuj i upuść i przeciągnij aktywność Kopiuj na powierzchnię projektanta przepływu danych.

    Przedstawia zrzut ekranu przedstawiający, jak przeciągać i upuszczać aktywność kopiowania do projektanta rurociągu.

  4. Wybierz działanie Kopiowania przeciągnięte na obszar projektanta potoku. W oknie Właściwości dla działania Kopiowanie znajdującego się na dole przejdź do karty Źródło, a następnie kliknij pozycję + Nowy. W tym kroku utworzysz zestaw danych źródłowych dla działania kopiowania.

    Zrzut ekranu przedstawiający sposób tworzenia źródłowego zestawu danych dla działania kopiowania.

  5. W oknie Nowy zestaw danych wybierz kartę Azure u góry, a następnie wybierz Azure Blob Storage i wybierz Continue.

    Pokaż zrzut ekranu przedstawiający przycisk select Azure Blob Storage.

  6. W oknie Wybieranie formatu wybierz pozycję RozdzielanyTekst i wybierz pozycję Kontynuuj.

    Pokazuje zrzut ekranu okna

  7. Zostanie wyświetlona nowa karta o nazwie Ustaw właściwości. Zmień nazwę zestawu danych na SourceBlobDataset. Wybierz listę rozwijaną Połączona usługa i wybierz +Nowy, aby utworzyć nową połączoną usługę ze źródłowym zestawem danych.

    Przedstawia zrzut ekranu okna

  8. Zostanie wyświetlone okno Nowa połączona usługa , w którym można wypełnić wymagane właściwości połączonej usługi.

    Przedstawia zrzut ekranu przedstawiający okno połączenia zestawu danych z wyróżnionym przyciskiem nowej połączonej usługi.

  9. W oknie Nowa połączona usługa wykonaj następujące czynności:

    1. Wprowadź wartość AzureStorageLinkedService w polu Nazwa.
    2. Wybierz konto magazynu Azure dla nazwy konta Storage.
    3. Kliknij pozycję Utwórz.

  10. W wyświetlonym oknie Ustawianie właściwości wybierz pozycję Otwórz ten zestaw danych , aby wprowadzić sparametryzowaną wartość dla nazwy pliku.

    Pokazuje zrzut ekranu okna zestawu danych

  11. Wprowadź wartość @pipeline().parameters.sourceBlobContainer jako folder oraz emp.txt jako nazwę pliku.

    Przedstawia zrzut ekranu przedstawiający ustawienia źródłowego zestawu danych.

  12. Przełącz się z powrotem na kartę potoku (lub kliknij potok w widoku drzewa po lewej stronie), a następnie wybierz aktywność Kopiuj w kreatorze. Upewnij się, że dla zestawu danych źródłowych wybrano nowy zestaw danych.

    Przedstawia zrzut ekranu przedstawiający źródłowy zestaw danych.

  13. W oknie Właściwości przejdź do karty Ujście, a następnie kliknij pozycję + Nowy dla elementu Zestaw danych ujścia. W tym kroku utworzysz zestaw danych ujścia dla działania kopiowania w sposób podobny do tworzenia zestawu danych źródłowych.

    Przedstawia zrzut ekranu przycisku nowego zestawu danych 'sink'

  14. W oknie Nowy zestaw danych wybierz Azure Blob Storage i kliknij Continue, a następnie ponownie wybierz DelimitedText ponownie na Wybierz format i kliknij ponownie Continue.

  15. Na stronie Ustawianie właściwości zestawu danych wprowadź wartość SinkBlobDataset w polu Nazwa, a następnie wybierz pozycję AzureStorageLinkedService dla pozycji LinkedService.

  16. Rozwiń sekcję Zaawansowane na stronie właściwości i wybierz pozycję Otwórz ten zestaw danych.

  17. Na karcie Połączenie zestawu danych zmodyfikuj ścieżkę pliku. Wprowadź @pipeline().parameters.sinkBlobContainer dla folderu i @concat(pipeline().RunId, '.txt') dla nazwy pliku. Wyrażenie wykorzystuje identyfikator bieżącego uruchomienia potoku jako nazwę pliku. Aby uzyskać listę obsługiwanych zmiennych systemowych i wyrażeń, zobacz Zmienne systemowe i Język wyrażeń.

    Pokazuje zrzut ekranu ustawień zestawu danych Sink.

  18. Przejdź do zakładki pipeline na górze. Wyszukaj Web w polu wyszukiwania i przeciągnij i upuść aktywność Web na powierzchnię projektanta potoku. Ustaw nazwę działania na wartość SendSuccessEmailActivity. Działanie internetowe umożliwia wywołanie dowolnego punktu końcowego REST. Aby uzyskać więcej informacji na temat działania, zobacz Działanie internetowe. Ten pipeline używa Aktywności internetowej do uruchomienia przepływu pracy e-mail w usłudze Logic Apps.

    Przedstawia zrzut ekranu przedstawiający sposób przeciągania i upuszczania pierwszego działania internetowego.

  19. Z karty Ogólne przejdź do karty Ustawienia i wykonaj następujące czynności:

    1. W pozycji Adres URL podaj adres URL dla przepływu pracy aplikacji Logic Apps, który wysyła wiadomość e-mail z potwierdzeniem powodzenia.

    2. Wybierz wartość POST dla pozycji Metoda.

    3. Kliknij link + Dodaj nagłówek w sekcji Nagłówki.

    4. Dodaj nagłówek Content-Type i ustaw go na wartość application/json.

    5. Podaj następujący kod JSON w pozycji Treść.

      {
    "message": "@{activity('Copy1').output.dataWritten}",
    "dataFactoryName": "@{pipeline().DataFactory}",
    "pipelineName": "@{pipeline().Pipeline}",
    "receiver": "@pipeline().parameters.receiver"
}

      Treść wiadomości zawiera następujące właściwości:

      • Komunikat: Przekazywanie wartości @{activity('Copy1').output.dataWritten. Uzyskuje dostęp do właściwości poprzedniego działania kopiowania danych i przekazuje wartość danych zapisanych. W przypadku niepowodzenia przekaż dane wyjściowe błędu zamiast @{activity('CopyBlobtoBlob').error.message.

      • Nazwa fabryki danych — przekazywanie wartości @{pipeline().DataFactory} To jest zmienna systemowa, umożliwiająca dostęp do odpowiedniej nazwy fabryki danych. Lista zmiennych systemowych jest dostępna w artykule Zmienne systemowe.

      • Nazwa pipeline'a — przekazywanie wartości @{pipeline().Pipeline}. Jest to również zmienna systemowa, która umożliwia dostęp do odpowiedniej nazwy potoku.

      • Odbiorca - przekazywanie wartości "@pipeline().parameters.receiver"). Dostęp do parametrów potoku.

        Przedstawia zrzut ekranu przedstawiający ustawienia pierwszego działania internetowego.

  20. Połącz czynność Copy z czynnością Web, przeciągając zielony przycisk obok Copy i upuszczając go na czynność Web.

    Pokaż zrzut ekranu przedstawiający sposób łączenia Copy activity z pierwszym działaniem sieci Web.

  21. Przeciągnij kolejną aktywność Web z przybornika Działania i upuść ją na obszarze projektanta potoku, a następnie ustaw nazwę na SendFailureEmailActivity.

    Przedstawia zrzut ekranu przedstawiający nazwę drugiego działania internetowego.

  22. Przejdź do karty Ustawienia i wykonaj następujące czynności:

    1. W pozycji Adres URL określ adres URL dla przepływu pracy aplikacji logicznych, który wysyła wiadomość e-mail o niepowodzeniu.

    2. Wybierz wartość POST dla pozycji Metoda.

    3. Kliknij link + Dodaj nagłówek w sekcji Nagłówki.

    4. Dodaj nagłówek Content-Type i ustaw go na wartość application/json.

    5. Podaj następujący kod JSON w pozycji Treść.

      {
    "message": "@{activity('Copy1').error.message}",
    "dataFactoryName": "@{pipeline().DataFactory}",
    "pipelineName": "@{pipeline().Pipeline}",
    "receiver": "@pipeline().parameters.receiver"
}

      Przedstawia zrzut ekranu ustawień drugiej aktywności sieciowej.

  23. Wybierz czerwony przycisk X po prawej stronie akcji Kopiowanie w projektancie potoku i przenieś go na właśnie utworzoną aktywność SendFailureEmailActivity.

    Zrzut ekranu pokazujący, jak wybrać Błąd w działaniu kopiowania w projektancie potoku.

  24. Aby zweryfikować potok danych, kliknij przycisk Weryfikuj na pasku narzędzi. Zamknij okno Dane wyjściowe weryfikacji potoku, klikając na przycisk >>.

    Pokazuje zrzut ekranu przycisku Weryfikuj potok.

  25. Aby opublikować jednostki (zestawy danych, potoki itp.) w usłudze Data Factory, wybierz Opublikuj wszystko. Poczekaj na wyświetlenie komunikatu Pomyślnie opublikowano.

    Przedstawia zrzut ekranu przycisku Publikuj w portalu fabryki danych.

Wyzwól uruchomienie potoku, które zakończy się powodzeniem

  1. Aby uruchomić potok, kliknij Uruchom na pasku narzędzi, a następnie kliknij Uruchom teraz.

    Przedstawia zrzut ekranu przedstawiający przycisk Wyzwól teraz.

  2. W oknie Przebieg potoku wykonaj następujące czynności:

    1. Wprowadź wartość adftutorial/adfv2branch/input dla parametru sourceBlobContainer.

    2. Wprowadź wartość adftutorial/adfv2branch/output dla parametru sinkBlobContainer.

    3. Wprowadź adres e-mail odbiorcy receiver.

    4. Kliknij przycisk Zakończ

      Parametry uruchomienia potoku

Monitorowanie pomyślnego uruchomienia potoku

  1. Aby monitorować działanie potoku, przejdź do karty Monitorowanie po lewej stronie. Zostanie wyświetlone uruchomienie potoku, które zostało wyzwolone ręcznie przez Ciebie. Kliknij przycisk Odśwież, aby odświeżyć listę.

    Pomyślne zakończenie potoku

  2. Aby wyświetlić uruchomienia działań skojarzone z tym uruchomieniem potoku, kliknij na pierwszy link w kolumnie Akcje. Do poprzedniego widoku można wrócić, klikając pozycję Potoki u góry. Kliknij przycisk Odśwież, aby odświeżyć listę.

    Zrzut ekranu przedstawiający sposób wyświetlania listy przebiegów działań.

Uruchom potok, który zakończy się niepowodzeniem

  1. Przejdź do karty Edycja po lewej stronie.

  2. Aby uruchomić potok, kliknij Uruchom na pasku narzędzi, a następnie kliknij Uruchom teraz.

  3. W oknie Przebieg potoku wykonaj następujące czynności:

    1. Wprowadź adftutorial/dummy/input dla parametru sourceBlobContainer. Upewnij się, że folder „dummy” nie istnieje w kontenerze adftutorial.
    2. Wprowadź adftutorial/dummy/output jako parametr sinkBlobContainer.
    3. Wprowadź adres e-mail odbiorcy receiver.
    4. Kliknij przycisk Zakończ.

Monitoruj nieudane uruchomienie potoku

  1. Aby monitorować działanie potoku, przejdź do karty Monitorowanie po lewej stronie. Zostanie wyświetlone uruchomienie potoku, które zostało wyzwolone ręcznie przez Ciebie. Kliknij przycisk Odśwież, aby odświeżyć listę.

    Niepowodzenie uruchomienia potoku

  2. Kliknij link Błąd przebiegu potoku, aby wyświetlić szczegóły dotyczące błędu.

    Błąd pipeline'u

  3. Aby wyświetlić uruchomienia działań skojarzone z tym uruchomieniem potoku, kliknij na pierwszy link w kolumnie Akcje. Kliknij przycisk Odśwież, aby odświeżyć listę. Zwróć uwagę, że działanie kopiowania w przepływie pracy nie powiodło się. Działanie internetowe powiodło się i do określonego odbiorcy została wysłana wiadomość o niepowodzeniu.

    Wykonywanie działań

  4. Kliknij link Błąd w kolumnie Akcje, aby wyświetlić szczegóły dotyczące błędu.

    Błąd uruchamiania działania

Powiązana zawartość

W ramach tego samouczka wykonano następujące procedury:

  • Tworzenie fabryki danych.
  • Utwórz połączoną usługę Azure Storage.
  • Tworzenie zbioru danych Blob Azure
  • Utwórz potok zawierający akcję kopiowania i akcję sieciową.
  • Wysyłanie danych wyjściowych działań do kolejnych działań
  • Korzystanie z przekazywania parametrów i ze zmiennych systemowych
  • Rozpocznij uruchomienie potoku
  • Monitoruj potok i uruchomienia działań

Teraz możesz przejść do sekcji Pojęcia, aby uzyskać więcej informacji na temat Azure Data Factory.

Linie i działania

  • Last updated on