Adatok másolása és e-mail-értesítések küldése a sikeres és sikertelen működésről

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ebben az oktatóanyagban egy olyan adat-előállító folyamatot hoz létre, amely bemutat néhány folyamvezérlési funkciót. A folyamat egy egyszerű másolást hajt végre egy Azure Blob Storage-beli tárolóból egy másik tárolóba, amely ugyanazon tárfiókban található. Ha a másolási tevékenység sikeres, a folyamat egy e-mailt küld a sikeres műveletről, amelyben szerepelnek a sikeres másolási művelet részletei (például az írt adatok mennyisége). Ha a másolási tevékenység sikertelen, a folyamat egy e-mailt küld a sikertelen műveletről, amelyben szerepelnek a sikertelen másolás részletei (például a hibaüzenet). Az oktatóanyag során megismerheti, hogyan adhatók át a paraméterek.

A forgatókönyv magas szintű áttekintése:

Az oktatóanyagban az alábbi lépéseket fogja végrehajtani:

• Adat-előállító létrehozása
• Azure Storage-beli társított szolgáltatás létrehozása
• Azure Blob-adatkészlet létrehozása
• Másolási tevékenységet és webes tevékenységet tartalmazó folyamat létrehozása
• Tevékenységek kimeneteinek elküldése a soron következő tevékenységek számára
• Paraméterátadás és rendszerváltozók használata
• Folyamat futásának indítása
• A folyamat és a tevékenységek futásának monitorozása

Ez az oktatóanyag az Azure Portalt használja. Az Azure Data Factoryvel való interakció más módszerekkel is lehetséges. Ezekkel kapcsolatban a tartalomjegyzék „Gyors útmutatók” részében találhat információkat.

Előfeltételek

• Azure-előfizetés. Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot.
• Egy Azure Storage-fiók. A blobtárolót használjuk forrás adattárként. Ha még nem rendelkezik Azure Storage-fiókkal, a létrehozás folyamatáért lásd a tárfiók létrehozását ismertető cikket.
• Azure SQL Database Ezt az adatbázist használjuk fogadó adattárként. Ha nem rendelkezik adatbázissal az Azure SQL Database-ben, a létrehozás lépéseit az Adatbázis létrehozása az Azure SQL Database-ben című cikkben találja.

Blobtábla létrehozása

1. Indítsa el a Jegyzettömböt. Másolja be az alábbi szöveget, és mentse egy input.txt nevű fájlként a lemezen.

   John,Doe
   Jane,Doe
   

2. Az Azure Storage Explorerrel vagy egy hasonló eszközzel hajtsa végre a következő lépéseket:

   1. Hozza létre az adfv2branch tárolót.
   2. Hozza létre az input mappát az adfv2branch tárolóban.
   3. Töltse fel az input.txt fájlt a tárolóba.

E-mail munkafolyamat végpontjainak létrehozása

Ha aktiválni szeretné az e-mailek küldését a folyamatból, az Azure Logic Apps használatával határozza meg a munkafolyamatot. A logikaialkalmazás-munkafolyamatok létrehozásával kapcsolatos további információkért lásd : Példa használati logikai alkalmazás munkafolyamatának létrehozása.

Sikeres műveletről tájékoztató e-mail munkafolyamata

Hozzon létre egy Használat logikai alkalmazás munkafolyamatot .CopySuccessEmail Adja hozzá a HTTP-kérés érkezésekor elnevezett Kérelem eseményindítót, és adja hozzá az E-mail küldése nevű Office 365 Outlook-műveletet. Ha a rendszer kéri, jelentkezzen be az Office 365 Outlook-fiókjába.

A Kérelem eseményindítójához töltse ki a Kérelem törzse JSON-sémamezőt a következő JSON-val:

{
    "properties": {
        "dataFactoryName": {
            "type": "string"
        },
        "message": {
            "type": "string"
        },
        "pipelineName": {
            "type": "string"
        },
        "receiver": {
            "type": "string"
        }
    },
    "type": "object"
}

A munkafolyamat-tervező Kérelem eseményindítójának a következő képhez hasonlóan kell kinéznie:

Az E-mail küldése művelethez testre szabhatja, hogyan szeretné formázni az e-mailt a kérelem törzsének JSON-sémájában átadott tulajdonságok használatával. Egy példa:

Mentse a munkafolyamatot. Jegyezze fel a sikeres műveletről tájékoztató e-mail munkafolyamatához tartozó HTTP POST-kérelem URL-címét:

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Sikertelen műveletről tájékoztató e-mail munkafolyamata

Ugyanezeket a lépéseket követve hozzon létre egy másik logikaialkalmazás-munkafolyamatot.CopyFailEmail A Kérelem eseményindítóban a kérelem törzsének JSON-sémaértéke megegyezik. Módosítsa az e-mail formátumát (például a Subject értékét) a sikertelen műveletről tájékoztató e-mailnek megfelelően. Egy példa:

Mentse a munkafolyamatot. Jegyezze fel a sikertelen műveletről tájékoztató e-mail munkafolyamatához tartozó HTTP POST-kérelem URL-címét:

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Ekkor két munkafolyamathoz tartozó URL-címmel rendelkezik:

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Adat-előállító létrehozása

1. Indítsa el a Microsoft Edge vagy a Google Chrome böngészőt. A Data Factory felhasználói felületének használata jelenleg csak a Microsoft Edge-ben és a Google Chrome-ban támogatott.

2. Bontsa ki a bal felső menüt, és válassza az Erőforrás létrehozása lehetőséget. Ezután válassza az Integration>Data Factory lehetőséget:>

   

   

3. Az Új adat-előállító lapon, a Név mezőben adja meg a következőt: ADFTutorialDataFactory.

   

   Az Azure data factory nevének globálisan egyedinek kell lennie. Ha a következő hibaüzenetet kapja, módosítsa a data factory nevét (például sajátneveADFTutorialDataFactory-ra), majd próbálkozzon újra a létrehozással. A Data Factory-összetevők részleteit a Data Factory elnevezési szabályait ismertető cikkben találja.

   Az "ADFTutorialDataFactory" data factory neve nem érhető el.

4. Válassza ki azt az Azure-előfizetést, amelyben az adat-előállítót létre szeretné hozni.

5. Az erőforráscsoportban hajtsa végre a következő lépések egyikét:

   • Kattintson a Meglévő használata elemre, majd a legördülő listából válasszon egy meglévő erőforráscsoportot.

   • Kattintson az Új létrehozása elemre, és adja meg az erőforráscsoport nevét.

     Az erőforráscsoportokkal kapcsolatos információkért tekintse meg a Using resource groups to manage your Azure resources (Erőforráscsoportok használata az Azure-erőforrások kezeléséhez) című cikket.

6. A Verzió résznél válassza a V2 értéket.

7. Válassza ki a Data Factory helyét. A legördülő listán csak a támogatott helyek jelennek meg. Az adat-előállítók által használt adattárak (Azure Storage, Azure SQL Database stb.) és számítási erőforrások (HDInsight stb.) más régiókban is lehetnek.

8. Válassza a Rögzítés az irányítópulton lehetőséget.

9. Kattintson a Létrehozás gombra.

10. A létrehozás befejezése után a Data Factory lap a képen látható módon jelenik meg.

    

11. Kattintson az Azure Data Factory Studio csempéjének megnyitására az Azure Data Factory felhasználói felületének (UI) külön lapon való elindításához.

Folyamat létrehozása

Ebben a lépésben egy másolási tevékenységgel és két webes tevékenységgel rendelkező folyamatot fog létrehozni. A folyamat létrehozásához a következő funkciókat használja:

• Az adatkészletek által elért folyamat paraméterei.
• Webes tevékenység a sikeres vagy sikertelen műveletről tájékoztató e-mailek elküldésére szolgáló Logic Apps-munkafolyamatok meghívásához.
• Tevékenységek összekapcsolása (siker és meghiúsulás esetén)
• Egy tevékenység kimenetének használata egy következő tevékenység bemeneteként

1. A Data Factory felhasználói felületén kattintson az Orchestrate csempére.

   

2. A folyamat tulajdonságok ablakában váltson a Paraméterek lapra, és az Új gombbal adja hozzá a következő három sztring típusú paramétert: sourceBlobContainer, sinkBlobContainer és receiver.

   • sourceBlobContainer – a folyamat ezen paraméterét a forrás blob-adatkészlet használja fel.
   • sinkBlobContainer – a fogadó blobadatkészlet által felhasznált folyamat paramétere
   • receiver – ezt a paramétert használja a folyamat két webes tevékenysége, amelyek sikeres vagy sikertelen e-maileket küldenek annak a fogadónak, amelynek e-mail-címét ez a paraméter adja meg.

   

3. A Tevékenységek eszközkészletben keresse meg a Másolás elemet, és húzza a másolási tevékenységet a folyamattervező felületére.

   

4. Válassza ki a folyamattervező felületére húzott másolási tevékenységet. A Másolás tevékenység Tulajdonságok ablakában (a képernyő alján) váltson a Forrás lapra, majd kattintson az + Új elemre. Ebben a lépésben létrehoz egy forrásadatkészletet a másolási tevékenységhez.

   

5. Az Új adatkészlet ablakban válassza a tetején található Azure lapot, majd az Azure Blob Storage-t, majd a Folytatás lehetőséget.

   

6. A Formátum kiválasztása ablakban válassza a Tagolt szöveg lehetőséget, és válassza a Folytatás lehetőséget.

   

7. Megjelenik egy új lap a Tulajdonságok beállítása címmel. Módosítsa az adatkészlet nevét a következőre: SourceBlobDataset. Válassza a Társított szolgáltatás legördülő menüt, majd a +Új lehetőséget választva hozzon létre egy új társított szolgáltatást a forrásadatkészlethez.

   

8. Ekkor megjelenik az Új társított szolgáltatás ablak, ahol kitöltheti a társított szolgáltatáshoz szükséges tulajdonságokat.

   

9. Az Új társított szolgáltatás ablakban végezze el az alábbi lépéseket:

   1. A Név mezőbe írja az AzureStorageLinkedService nevet.
   2. A Storage-fiók neve elemnél válassza ki saját Azure Storage-fiókját.
   3. Kattintson a Létrehozás gombra.

10. A következő megjelenő Tulajdonságok beállítása ablakban válassza az Adatkészlet megnyitása lehetőséget a fájlnév paraméteres értékének megadásához.

    

11. Adja meg a @pipeline().parameters.sourceBlobContainer mappanevet és az emp.txt fájlnevet.

    

12. Váltson vissza a folyamat fülére (vagy kattintson a folyamatra a bal oldali fanézetben), és válassza ki a másolási tevékenységet a tervezőn. Győződjön meg arról, hogy az új adatkészlet ki van jelölve a forrásadatkészlethez.

    

13. A tulajdonságok ablakában váltson a Fogadó lapra, és kattintson az + Új elemre a Fogadó adatkészlet mezőben. Ebben a lépésben a forrásadatkészlet létrehozásához hasonlóan létrehoz egy fogadó adatkészletet a másolási tevékenységhez.

    

14. Az Új adathalmaz ablakban válassza az Azure Blob Storage lehetőséget, majd kattintson a Folytatás gombra, majd a Formátum kiválasztása ablakban ismét a DelimitedText gombra, majd kattintson ismét a Folytatás gombra.

15. Az adathalmaz Tulajdonságok beállítása lapján adja meg a SinkBlobDataset for Name kifejezést, és válassza az AzureStorageLinkedService for LinkedService lehetőséget.

16. Bontsa ki a Tulajdonságok lap Speciális szakaszát, és válassza az Adathalmaz megnyitása lehetőséget.

17. Az adathalmaz Csatlakozás ion lapján szerkessze a Fájl elérési útját. Adja meg @pipeline().parameters.sinkBlobContainer a mappát és @concat(pipeline().RunId, '.txt') a fájlnevet. A kifejezés az aktuális folyamatfuttatás azonosítóját használja fájlnévként. A támogatott rendszerváltozók és kifejezések listáját lásd a rendszerváltozókat és a kifejezésnyelveket ismertető cikkekben.

    

18. Váltson vissza a folyamat lapjára a tetején. Keressen rá a webre a keresőmezőben, és húzza a webes tevékenységet a folyamattervező felületére. Állítsa a tevékenység nevét a következőre: SendSuccessEmailActivity. A webes tevékenység bármely REST-végpont meghívását lehetővé teszi. Erről a tevékenységről további információt a webes tevékenységgel kapcsolatos témakörben talál. Ez a folyamat egy webes tevékenységgel hívja meg a Logic Apps e-mail-munkafolyamatát.

    

19. Váltson az Általános lapról a Beállítások lapra, és végezze el az alábbi lépéseket:

    1. Az URL mezőben adja meg a sikeres műveletet jelző e-mailt elküldő Logic Apps-munkafolyamat URL-címét.

    2. A Metódus mezőben válassza a POST lehetőséget.

    3. A Fejlécek szakaszban kattintson a + Fejléc hozzáadása hivatkozásra.

    4. Adjon hozzá egy Content-Type típusú fejlécet, amelynek beállítása application/json.

    5. A Törzs értékeként adja meg a következő JSON-t.

       {
           "message": "@{activity('Copy1').output.dataWritten}",
           "dataFactoryName": "@{pipeline().DataFactory}",
           "pipelineName": "@{pipeline().Pipeline}",
           "receiver": "@pipeline().parameters.receiver"
       }
       

       Az üzenettörzs a következő tulajdonságokat tartalmazza:

       • Üzenet – Az érték átadása @{activity('Copy1').output.dataWritten. Hozzáfér az előző másolási tevékenység egy tulajdonságához, és átadja a dataWritten értéket. Sikertelen művelet esetén az átadott érték a @{activity('CopyBlobtoBlob').error.message helyett a hibakimenet.

       • Data Factory Name – Ennek az átadási @{pipeline().DataFactory} értéke egy rendszerváltozó, amely lehetővé teszi a megfelelő data factory-név elérését. A rendszerváltozók listáját lásd a rendszerváltozókkal kapcsolatos cikkben.

       • Folyamat neve – A folyamat átadási @{pipeline().Pipeline}értéke. Ez szintén egy rendszerváltozó, amely lehetővé teszi a megfelelő folyamat nevének elérését.

       • Fogadó – "@pipeline().parameters.receiver"). Hozzáfér a folyamat paramétereihez.

         

20. CsatlakozásA tevékenység másolása a webes tevékenységre a Copy tevékenység melletti zöld jelölőnégyzet gombra húzva a webes tevékenységre essen.

    

21. Húzzon át egy másik webes tevékenységet a Tevékenységek eszközkészletből a folyamat tervezőfelületére, és adja meg a SendFailureEmailActivitynevet.

    

22. Váltson a Beállítások lapra, és végezze el az alábbi lépéseket:

    1. Az URL mezőben adja meg a sikertelen műveletet jelző e-mailt elküldő Logic Apps-munkafolyamat URL-címét.

    2. A Metódus mezőben válassza a POST lehetőséget.

    3. A Fejlécek szakaszban kattintson a + Fejléc hozzáadása hivatkozásra.

    4. Adjon hozzá egy Content-Type típusú fejlécet, amelynek beállítása application/json.

    5. A Törzs értékeként adja meg a következő JSON-t.

       {
           "message": "@{activity('Copy1').error.message}",
           "dataFactoryName": "@{pipeline().DataFactory}",
           "pipelineName": "@{pipeline().Pipeline}",
           "receiver": "@pipeline().parameters.receiver"
       }
       

       

23. Válassza ki a másolási tevékenység jobb oldalán látható piros X gombot afolyamattervezőben, és húzza azt az imént létrehozott SendFailureEmailActivity elemre.

    

24. A folyamat érvényesítéséhez kattintson a Validation (Érvényesítés) gombra az eszköztáron. Zárja be a Folyamatérvényesítés kimenete ablakot a >> gombra kattintva.

    

25. Ha közzé szeretné tenni az entitásokat (adatkészleteket, folyamatokat stb.) a Data Factory szolgáltatásban, válassza az Összes közzététele elemet. Várjon, amíg megjelenik a Sikeres közzététel üzenet.

    

Sikeres folyamatfuttatás aktiválása

1. A folyamat futásának aktiválásához kattintson az Aktiválás gombra az eszköztáron, majd az Aktiválás most elemre.

   

2. A Folyamatfuttatás ablakban végezze el az alábbi lépéseket:

   1. A sourceBlobContainer paraméterhez adja meg az adftutorial/adfv2branch/input értéket.

   2. A sinkBlobContainer paraméterhez adja meg az adftutorial/adfv2branch/output értéket.

   3. Adja meg a címzette-mail-címét.

   4. Kattintson a Befejezés gombra.

      

A sikeres folyamatfuttatás monitorozása

1. A folyamatfuttatás monitorozásához váltson a bal oldali Monitorozás lapra. Itt az Ön által manuálisan aktivált folyamatfuttatást láthatja. A lista frissítéséhez kattintson a Frissítés elemre.

   

2. A folyamatfuttatáshoz társított tevékenységfuttatások megtekintéséhez kattintson az első hivatkozásra a Műveletek oszlopban. A fenti Folyamatok elemre kattintva visszaválthat az előző nézetre. A lista frissítéséhez kattintson a Frissítés elemre.

   

Sikertelen folyamatfuttatás aktiválása

1. Váltson a bal oldalon található Szerkesztés lapra.

2. A folyamat futásának aktiválásához kattintson az Aktiválás gombra az eszköztáron, majd az Aktiválás most elemre.

3. A Folyamatfuttatás ablakban végezze el az alábbi lépéseket:

   1. A sourceBlobContainer paraméterhez adja meg az adftutorial/dummy/input értéket. Győződjön meg arról, hogy a helyőrző mappa nem létezik az adftutorial tárolóban.
   2. A sinkBlobContainer paraméterhez adja meg az adftutorial/dummy/output értéket.
   3. Adja meg a címzette-mail-címét.
   4. Kattintson a Befejezés gombra.

A sikertelen folyamatfuttatás monitorozása

1. A folyamatfuttatás monitorozásához váltson a bal oldali Monitorozás lapra. Itt az Ön által manuálisan aktivált folyamatfuttatást láthatja. A lista frissítéséhez kattintson a Frissítés elemre.

   

2. A hiba részleteinek megtekintéséhez kattintson a folyamatfuttatás Hiba hivatkozására.

   

3. A folyamatfuttatáshoz társított tevékenységfuttatások megtekintéséhez kattintson az első hivatkozásra a Műveletek oszlopban. A lista frissítéséhez kattintson a Frissítés elemre. Látható, hogy a folyamat másolási tevékenysége meghiúsult. A webes tevékenység sikeresen elküldte a sikertelen műveletről tájékoztató e-mailt a megadott címzettnek.

   

4. A hiba részleteinek megtekintéséhez kattintson a Hiba hivatkozásra a Műveletek oszlopban.

   

Kapcsolódó tartalom

Az oktatóanyagban az alábbi lépéseket hajtotta végre:

• Adat-előállító létrehozása
• Azure Storage-beli társított szolgáltatás létrehozása
• Azure Blob-adatkészlet létrehozása
• Másolási tevékenységet és webes tevékenységet tartalmazó folyamat létrehozása
• Tevékenységek kimeneteinek elküldése a soron következő tevékenységek számára
• Paraméterátadás és rendszerváltozók használata
• Folyamat futásának indítása
• A folyamat és a tevékenységek futásának monitorozása

Az Azure Data Factoryvel kapcsolatos további információkért folytassa az Alapelvek szakasz áttekintésével.

Folyamatok és tevékenységek