Adatok másolása és e-mail-értesítések küldése a sikeres és sikertelen működésről

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

• A Fabric ingyenes próbaverzió indítása.
• Az Azure Data Factory-ből a Data Factory-be a Microsoft Fabricben

Ebben az oktatóanyagban egy olyan adat-előállító folyamatot hoz létre, amely bemutat néhány folyamvezérlési funkciót. Ez a folyamat egy egyszerű másolatot készít egy Azure Blob Storage tárolóból egy másik tárolóba ugyanabban a tárfiókban. Ha a másolási tevékenység sikeres, a folyamat egy e-mailt küld a sikeres műveletről, amelyben szerepelnek a sikeres másolási művelet részletei (például az írt adatok mennyisége). Ha a másolási tevékenység sikertelen, a folyamat egy e-mailt küld a sikertelen műveletről, amelyben szerepelnek a sikertelen másolás részletei (például a hibaüzenet). Az oktatóanyag során megismerheti, hogyan adhatók át a paraméterek.

A forgatókönyv magas szintű áttekintése:

Az oktatóanyagban az alábbi lépéseket fogja végrehajtani:

• Adat-előállító létrehozása
• Hozzon létre egy Azure Storage társított szolgáltatást.
• Azure Blob-adatkészlet létrehozása
• Egy adatfolyam létrehozása, amely egy Copy tevékenységet és egy webes tevékenységet tartalmaz.
• Tevékenységek kimeneteinek elküldése a soron következő tevékenységek számára
• Paraméterátadás és rendszerváltozók használata
• Adatfolyam futtatásának indítása
• A folyamatcsatorna és a tevékenységfutamok monitorozása

Ez az oktatóanyag Azure portált használ. Az Azure Data Factory-vel más mechanizmusokat is használhat, a tartalomjegyzékben a "Gyors kezdés" témakörre hivatkozva.

Előfeltételek

• Azure előfizetés. Ha nem rendelkezik Azure-előfizetéssel, a kezdés előtt hozzon létre egy free fiókot.
• Azure Storage fiók. A blobtárolót használja forrásadattárként . Ha nincs Azure tárfiókja, a létrehozás lépéseit a Tárfiók létrehozása cikkben találja.
• Azure SQL Database. Az adatbázist céladatbázisként használja. Ha nem rendelkezik adatbázissal Azure SQL Database, a létrehozás lépéseit a Adatbázis létrehozása Azure SQL Database cikkben találja.

Blobtábla létrehozása

1. Indítsa el a Jegyzettömböt. Másolja ki a következő szöveget, és mentse input.txt fájlként a lemezre.

   John,Doe
   Jane,Doe
   

2. Használja az olyan eszközöket, mint a Azure Storage Explorer hajtsa végre a következő lépéseket:

   1. Hozza létre az adfv2branch tárolót .
   2. Bemeneti mappa létrehozása az adfv2branch tárolóban.
   3. Töltse fel input.txt fájlt a tárolóba.

E-mail munkafolyamat végpontjainak létrehozása

Ha e-mailt szeretne küldeni a folyamatból, a munkafolyamat meghatározásához Azure Logic Apps kell használnia. A logikaialkalmazás-munkafolyamatok létrehozásával kapcsolatos további információkért lásd : Példa használati logikai alkalmazás munkafolyamatának létrehozása.

"Sikeres e-mail munkaáramlás"

Hozzon létre Használat logikai alkalmazás-munkafolyamatot CopySuccessEmail. Adja hozzá a Amikor egy HTTP-kérelmet kapunk nevű kérelemindítót, majd adja hozzá az Office 365 Outlook műveletet E-mail küldése. Ha a rendszer kéri, jelentkezzen be Office 365 Outlook fiókjába.

A Kérelem eseményindítójához töltse ki a Kérelem törzse JSON-sémamezőt a következő JSON-val:

{
    "properties": {
        "dataFactoryName": {
            "type": "string"
        },
        "message": {
            "type": "string"
        },
        "pipelineName": {
            "type": "string"
        },
        "receiver": {
            "type": "string"
        }
    },
    "type": "object"
}

A munkafolyamat-tervező Kérelem eseményindítójának a következő képhez hasonlóan kell kinéznie:

Az E-mail küldése művelethez testre szabhatja, hogyan szeretné formázni az e-mailt a kérelem törzsének JSON-sémájában átadott tulajdonságok használatával. Egy példa:

Mentse a munkafolyamatot. Jegyezze fel a sikeres műveletről tájékoztató e-mail munkafolyamatához tartozó HTTP POST-kérelem URL-címét:

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Sikertelen e-mail munkafolyamat

Ugyanezeket a lépéseket követve hozzon létre egy másik logikaialkalmazás-munkafolyamatot.CopyFailEmail A Kérelem eseményindítóban a kérelem törzsének JSON-sémaértéke megegyezik. Módosítsa az e-mail formátumát, például a Subject változtatásával, hogy az megfeleljen egy sikertelen e-mail stílusának. Egy példa:

Mentse a munkafolyamatot. Jegyezze fel a sikertelen műveletről tájékoztató e-mail munkafolyamatához tartozó HTTP POST-kérelem URL-címét:

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Ekkor két munkafolyamathoz tartozó URL-címmel rendelkezik:

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Adat-előállító létrehozása

1. Indítsa el Microsoft Edge vagy Google Chrome webböngészőt. A Data Factory felhasználói felülete jelenleg csak Microsoft Edge és Google Chrome böngészőkben támogatott.

2. Bontsa ki a bal felső menüt, és válassza az Erőforrás létrehozása lehetőséget. Ezután válassza az Analytics>Data Factoryt :

   

3. Az Új adat-előállító lapon adja meg az ADFTutorialDataFactorynevet.

   

   A Azure data factory nevének globally egyedinek kell lennie. Ha a következő hibaüzenetet kapja, módosítsa a data factory nevét (például sajátneveADFTutorialDataFactory-ra), majd próbálkozzon újra a létrehozással. Lásd a Data Factory – Elnevezési szabályok című cikket a Data Factory-összetevők elnevezési szabályairól.

   Az "ADFTutorialDataFactory" adatgyár neve nem érhető el.

4. Válassza ki az Azure előfizetést, amelyben létre szeretné hozni az adatgyárat.

5. Az erőforráscsoport esetében hajtsa végre az alábbi lépések egyikét:

   • Válassza a Meglévő használata lehetőséget, és válasszon ki egy meglévő erőforráscsoportot a legördülő listából.

   • Válassza az Új létrehozása lehetőséget, és adja meg egy erőforráscsoport nevét.

     Az erőforráscsoportokról a Az erőforráscsoportok Azure erőforrások kezeléséhez című témakörben olvashat.

6. Válassza ki a verzióhoz tartozó V2-t.

7. Válassza ki az adat-előállító helyét . A legördülő listán csak a támogatott helyek jelennek meg. A data factory által használt adattárak (Azure Storage, Azure SQL Database stb.) és a data factory által használt számítások (HDInsight stb.) más régiókban is lehetnek.

8. Válassza a Rögzítés az irányítópultra lehetőséget.

9. Kattintson a Létrehozás gombra.

10. A létrehozás befejezése után a Data Factory lap a képen látható módon jelenik meg.

    

11. Kattintson a Open Azure Data Factory Studio csempére a Azure Data Factory felhasználói felület (UI) külön lapon való elindításához.

Folyamat létrehozása

Ebben a lépésben létrehoz egy folyamatláncot egy másolási tevékenységgel és két webtevékenységgel. A következő funkciókat használja a pipeline létrehozásához.

• Az adatkészletek által elért folyamat paraméterei.
• Webes tevékenység a sikeres vagy sikertelen műveletről tájékoztató e-mailek elküldésére szolgáló Logic Apps-munkafolyamatok meghívásához.
• Tevékenységek összekapcsolása (siker és meghiúsulás esetén)
• Egy tevékenység kimenetének használata egy következő tevékenység bemeneteként

1. A Data Factory felhasználói felületén kattintson az Orchestrate csempére.

   

2. A folyamat tulajdonságok ablakában váltson a Paraméterek lapra, és az Új gombbal adja hozzá a következő három, Sztring típusú paramétert: sourceBlobContainer, sinkBlobContainer és receiver.

   • sourceBlobContainer – a forrás blobadatkészlet által használt folyamat paramétere.
   • sinkBlobContainer – a fogadó blobadatkészlet által fogyasztott csővezeték paramétere
   • receiver – ezt a paramétert használja a folyamat két webes tevékenysége, amelyek sikeres vagy sikertelen e-maileket küldenek annak a fogadónak, amelynek e-mail-címét ez a paraméter adja meg.

   

3. A Tevékenységek eszközkészletben keresse meg a Másolás elemet, és húzza a másolási tevékenységet a folyamattervező felületére.

   

4. Válassza ki a Copy tevékenységet, amelyet a pipeline tervező felületére húzott. Az alsó Másolási tevékenység Tulajdonságok ablakában váltson a Forrás lapra, és kattintson az + Új gombra. Ebben a lépésben létrehoz egy forrásadatkészletet a másolási tevékenységhez.

   

5. A New Dataset ablakban válassza a Azure lapot, majd a Azure Blob Storage, majd a Continue lehetőséget.

   

6. A Formátum kiválasztása ablakban válassza a Tagolt szöveg lehetőséget, és válassza a Folytatás lehetőséget.

   

7. Megjelenik egy új lapa Tulajdonságok beállítása címmel. Módosítsa az adathalmaz nevét SourceBlobDataset értékre. Válassza a Társított szolgáltatás legördülő menüt, majd a +Új lehetőséget választva hozzon létre egy új társított szolgáltatást a forrásadatkészlethez.

   

8. Ekkor megjelenik az Új társított szolgáltatás ablak, ahol kitöltheti a társított szolgáltatáshoz szükséges tulajdonságokat.

   

9. Az Új társított szolgáltatás ablakban hajtsa végre a következő lépéseket:

   1. Adja meg az AzureStorageLinkedService for Name nevet.
   2. Válassza ki az Azure tárfiókját a Tárfiók neve.
   3. Kattintson a Létrehozás gombra.

10. A következő megjelenő Tulajdonságok beállítása ablakban válassza az Adatkészlet megnyitása lehetőséget a fájlnév paraméteres értékének megadásához.

    

11. Adja meg a @pipeline().parameters.sourceBlobContainer mappanevet és az emp.txt fájlnevet.

    

12. Váltson vissza a pipeline fülére (vagy kattintson a pipeline-re a bal oldali fanézetben), és válassza ki a Másolás tevékenységet a tervezőn. Győződjön meg arról, hogy az új adatkészlet ki van jelölve a forrásadatkészlethez.

    

13. A Tulajdonságok ablakban váltson a Kimenet lapra, és kattintson az + ÚjKimeneti adatkészlet elemre. Ebben a lépésben a forrásadatkészlet létrehozásához hasonlóan létrehoz egy fogadó adatkészletet a másolási tevékenységhez.

    

14. A New Dataset ablakban válassza Azure Blob Storage, és kattintson a Continue elemre, majd a DelimitedText elemet ismét a Select formátum ablakban, majd kattintson ismét a Continue elemre.

15. Az adathalmaz Tulajdonságok beállítása lapján adja meg a SinkBlobDataset for Name kifejezést, és válassza az AzureStorageLinkedService for LinkedService lehetőséget.

16. Bontsa ki a Tulajdonságok lap Speciális szakaszát, és válassza az Adathalmaz megnyitása lehetőséget.

17. Az adathalmaz Kapcsolat lapján szerkessze a Fájl elérési útját. Adja meg @pipeline().parameters.sinkBlobContainer a mappát és @concat(pipeline().RunId, '.txt') a fájlnevet. A kifejezés az aktuális folyamatfuttatás azonosítóját használja fájlnévként. A rendszerváltozók és -kifejezések támogatott listáját a Rendszerváltozók és a Kifejezés nyelv című témakörben találja.

    

18. Váltson vissza a pipeline fülre felül. Keressen rá a "Web" kifejezésre a keresőmezőben, és húzza a "Web" tevékenységet a pipeline tervező felületére. Állítsa a tevékenység nevét SendSuccessEmailActivity értékre. A webes tevékenység bármely REST-végpont meghívását lehetővé teszi. A tevékenységről további információt a Webes tevékenység című témakörben talál. Ez a csővezeték egy webes tevékenységet használ a Logic Apps e-mail-munkafolyamatának meghívására.

    

19. Váltson az Általános lap Beállítások lapjára, és hajtsa végre a következő lépéseket:

    1. URL-címként adja meg a sikeres e-mailt küldő logikai alkalmazások munkafolyamatának URL-címét.

    2. Válassza a POST lehetőséget a metódushoz.

    3. Kattintson a + Fejléc hozzáadása hivatkozásra a Fejlécek szakaszban.

    4. Adjon hozzá egy Tartalom típusú fejlécet, és állítsa be az alkalmazás/json értékre.

    5. Adja meg a következő JSON-t a törzshöz.

       {
           "message": "@{activity('Copy1').output.dataWritten}",
           "dataFactoryName": "@{pipeline().DataFactory}",
           "pipelineName": "@{pipeline().Pipeline}",
           "receiver": "@pipeline().parameters.receiver"
       }
       

       Az üzenettörzs a következő tulajdonságokat tartalmazza:

       • Üzenet – Az érték átadása @{activity('Copy1').output.dataWritten. Hozzáfér az előző másolási tevékenység egy tulajdonságához, és átadja a dataWritten értéket. Sikertelen esetben adja át a hibakimenetet a @{activity('CopyBlobtoBlob').error.message helyett.

       • Data Factory Name – A(z) @{pipeline().DataFactory} átadott érték egy olyan rendszerváltozó, amely lehetővé teszi a megfelelő data factory név elérését. A rendszerváltozók listáját a Rendszerváltozók című cikkben találja.

       • Folyamat neve – A folyamat átadási @{pipeline().Pipeline}értéke. Ez szintén egy rendszerváltozó, amely lehetővé teszi a megfelelő folyamat nevének elérését.

       • Fogadó - Az "@pipeline().parameters.receiver" értékének átadása. Hozzáfér a folyamat paramétereihez.

         

20. Csatlakoztassa a Copy tevékenységet a Web tevékenységhez a Copy tevékenység melletti zöld jelölőnégyzet gombra húzásával és a webes tevékenységre való ugrással.

    

21. Húzzon át egy másik webes tevékenységet a Tevékenységek eszközkészletből a folyamattervező felületére, és állítsa a nevetSendFailureEmailActivity értékre.

    

22. Váltson a Beállítások lapra, és hajtsa végre a következő lépéseket:

    1. URL-címként adja meg a hiba e-mailt küldő logikai alkalmazások munkafolyamatának URL-címét.

    2. Válassza a POST lehetőséget a metódushoz.

    3. Kattintson a + Fejléc hozzáadása hivatkozásra a Fejlécek szakaszban.

    4. Adjon hozzá egy Tartalom típusú fejlécet, és állítsa be az alkalmazás/json értékre.

    5. Adja meg a következő JSON-t a törzshöz.

       {
           "message": "@{activity('Copy1').error.message}",
           "dataFactoryName": "@{pipeline().DataFactory}",
           "pipelineName": "@{pipeline().Pipeline}",
           "receiver": "@pipeline().parameters.receiver"
       }
       

       

23. Válassza ki a másolási tevékenység jobb oldalán látható piros X gombot a folyamattervezőben, és húzza azt az imént létrehozott SendFailureEmailActivity elemre.

    

24. A folyamat érvényesítéséhez kattintson az Eszköztár Érvényesítés gombjára. Zárja be a Folyamatérvényesítés kimenete ablakot a >> gombra kattintva.

    

25. Az entitások (adathalmazok, folyamatok stb.) a Data Factory szolgáltatásban való közzétételéhez válassza az Összes közzététele lehetőséget. Várjon, amíg megjelenik a Sikeresen közzétett üzenet.

    

Sikeresen lezáruló folyamatfolyamat elindítása

1. Folyamatfuttatás indításához kattintson az eszköztár Eseményindító gombjára, majd az Eseményindító gombra.

   

2. A Folyamat futtatása ablakban hajtsa végre a következő lépéseket:

   1. Adja meg az adftutorial/adfv2branch/input értéket a sourceBlobContainer paraméterhez.

   2. Adja meg a sinkBlobContainer paraméter adftutorial/adfv2branch/output értékét.

   3. Adja meg a fogadóe-mail-címét.

   4. Kattintson a Befejezés gombra

      

A sikeres folyamatfuttatás monitorozása

1. A folyamat futtatásának figyeléséhez váltson a bal oldali Monitor fülre. Itt látható a manuálisan Ön által elindított folyamat. A lista frissítéséhez használja a Frissítés gombot.

   

2. A folyamatfuttatáshoz társított tevékenységfuttatások megtekintéséhez kattintson a Műveletek oszlop első hivatkozására. Az előző nézetre a felül található Folyamatok elemre kattintva válthat vissza. A lista frissítéséhez használja a Frissítés gombot.

   

Olyan folyamatfuttatás indítása, amely sikertelen lesz

1. Váltson a bal oldali Szerkesztés lapra.

2. Folyamatfuttatás indításához kattintson az eszköztár Eseményindító gombjára, majd az Eseményindító gombra.

3. A Folyamat futtatása ablakban hajtsa végre a következő lépéseket:

   1. Adja meg a sourceBlobContainer paraméter adftutorial/dummy/input értékét. Győződjön meg arról, hogy a teszt mappa nem létezik az adftutorial tárolóban.
   2. Adja meg a sinkBlobContainer paraméter adftutorial/dummy/output értékét.
   3. Adja meg a fogadóe-mail-címét.
   4. Kattintson a Befejezés gombra.

A sikertelen folyamatfuttatás monitorozása

1. A folyamat futtatásának figyeléséhez váltson a bal oldali Monitor fülre. Itt látható a manuálisan Ön által elindított folyamat. A lista frissítéséhez használja a Frissítés gombot.

   

2. A hiba részleteinek megtekintéséhez kattintson a folyamatfuttatás Hiba hivatkozására.

   

3. A folyamatfuttatáshoz társított tevékenységfuttatások megtekintéséhez kattintson a Műveletek oszlop első hivatkozására. A lista frissítéséhez használja a Frissítés gombot. Vegye észre, hogy a korlátban a másolási tevékenység nem sikerült. A webes tevékenység sikeresen elküldte a sikertelen műveletről tájékoztató e-mailt a megadott címzettnek.

   

4. Kattintson a Hiba hivatkozásra a Műveletek oszlopban a hiba részleteinek megtekintéséhez.

   

Kapcsolódó tartalom

Az oktatóanyagban az alábbi lépéseket hajtotta végre:

• Adat-előállító létrehozása
• Hozzon létre egy Azure Storage társított szolgáltatást.
• Azure Blob-adatkészlet létrehozása
• Másolási tevékenységet és webes tevékenységet tartalmazó folyamat létrehozása
• Tevékenységek kimeneteinek elküldése a soron következő tevékenységek számára
• Paraméterátadás és rendszerváltozók használata
• Adatfolyam futtatásának indítása
• A folyamatcsatorna és a tevékenységfutamok monitorozása

A Azure Data Factory kapcsolatos további információkért lépjen a Fogalmak szakaszra.

Folyamatok és tevékenységek