Elágaztatási és láncolási tevékenységek egy Azure Data Factory folyamatban a Azure Portal használatával

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Tipp

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás vállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésekig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyen!

Ebben az oktatóanyagban egy olyan adat-előállító folyamatot hoz létre, amely bemutat néhány folyamvezérlési funkciót. A folyamat egy egyszerű másolást hajt végre egy Azure Blob Storage-beli tárolóból egy másik tárolóba, amely ugyanazon tárfiókban található. Ha a másolási tevékenység sikeres, a folyamat egy e-mailt küld a sikeres műveletről, amelyben szerepelnek a sikeres másolási művelet részletei (például az írt adatok mennyisége). Ha a másolási tevékenység sikertelen, a folyamat egy e-mailt küld a sikertelen műveletről, amelyben szerepelnek a sikertelen másolás részletei (például a hibaüzenet). Az oktatóanyag során megismerheti, hogyan adhatók át a paraméterek.

A forgatókönyv magas szintű áttekintése:

Az oktatóanyagban az alábbi lépéseket fogja végrehajtani:

• Adat-előállító létrehozása
• Azure Storage-beli társított szolgáltatás létrehozása
• Azure Blob-adatkészlet létrehozása
• Másolási tevékenységet és webes tevékenységet tartalmazó folyamat létrehozása
• Tevékenységek kimeneteinek elküldése a soron következő tevékenységek számára
• Paraméterátadás és rendszerváltozók használata
• Folyamat futásának indítása
• A folyamat és a tevékenységek futásának monitorozása

Ez az oktatóanyag az Azure Portalt használja. Az Azure Data Factoryvel való interakció más módszerekkel is lehetséges. Ezekkel kapcsolatban a tartalomjegyzék „Gyors útmutatók” részében találhat információkat.

Előfeltételek

• Azure-előfizetés. Ha nem rendelkezik Azure-előfizetéssel, első lépésként mindössze néhány perc alatt létrehozhat egy ingyenes fiókot.
• Azure Storage-fiók. A blobtárolót használjuk forrás adattárként. Ha még nem rendelkezik Azure Storage-fiókkal, a létrehozás folyamatáért lásd a tárfiók létrehozását ismertető cikket.
• Azure SQL Database Ezt az adatbázist használjuk fogadó adattárként. Ha nem rendelkezik adatbázissal az Azure SQL Database-ben, a létrehozás lépéseit az Adatbázis létrehozása Azure SQL-adatbázisban című cikkben találja.

Blobtábla létrehozása

1. Indítsa el a Jegyzettömböt. Másolja be az alábbi szöveget, és mentse egy input.txt nevű fájlként a lemezen.

   John,Doe
   Jane,Doe
   

2. Az Azure Storage Explorerrel vagy egy hasonló eszközzel hajtsa végre a következő lépéseket:

   1. Hozza létre az adfv2branch tárolót.
   2. Hozza létre az input mappát az adfv2branch tárolóban.
   3. Töltse fel az input.txt fájlt a tárolóba.

E-mail munkafolyamat végpontjainak létrehozása

Ha e-mailt szeretne küldeni a folyamatból, az Azure Logic Apps használatával határozza meg a munkafolyamatot. A logikaialkalmazás-munkafolyamatok létrehozásával kapcsolatos további információkért lásd: Példa használati logikai alkalmazás munkafolyamatának létrehozása.

Sikeres műveletről tájékoztató e-mail munkafolyamata

Hozzon létre egy Használat logikai alkalmazás nevű munkafolyamatot CopySuccessEmail. Adja hozzá a Http-kérés fogadása után nevű Kérés eseményindítót, és adja hozzá az e-mail küldése nevű Office 365 Outlook-műveletet. Ha a rendszer kéri, jelentkezzen be Office 365 Outlook-fiókjába.

A Kérelem eseményindítójához töltse ki a Kérelemtörzs JSON-sémája mezőt a következő JSON-val:

{
    "properties": {
        "dataFactoryName": {
            "type": "string"
        },
        "message": {
            "type": "string"
        },
        "pipelineName": {
            "type": "string"
        },
        "receiver": {
            "type": "string"
        }
    },
    "type": "object"
}

A munkafolyamat-tervező Kérelem eseményindítójának a következő képhez hasonlóan kell kinéznie:

Az E-mail küldése műveletnél testre szabhatja, hogyan szeretné formázni az e-mailt a kérelem törzsének JSON-sémájában átadott tulajdonságok használatával. Például:

Mentse a munkafolyamatot. Jegyezze fel a sikeres műveletről tájékoztató e-mail munkafolyamatához tartozó HTTP POST-kérelem URL-címét:

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Sikertelen műveletről tájékoztató e-mail munkafolyamata

Ugyanezeket a lépéseket követve hozzon létre egy másik nevű logikaialkalmazás-munkafolyamatot CopyFailEmail. A Kérelem eseményindítóban a Kérelem törzse JSON-séma értéke megegyezik. Módosítsa az e-mail formátumát (például a Subject értékét) a sikertelen műveletről tájékoztató e-mailnek megfelelően. Például:

Mentse a munkafolyamatot. Jegyezze fel a sikertelen műveletről tájékoztató e-mail munkafolyamatához tartozó HTTP POST-kérelem URL-címét:

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Ekkor két munkafolyamathoz tartozó URL-címmel rendelkezik:

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Adat-előállító létrehozása

1. Indítsa el a Microsoft Edge vagy a Google Chrome böngészőt. A Data Factory felhasználói felületének használata jelenleg csak a Microsoft Edge-ben és a Google Chrome-ban támogatott.

2. Bontsa ki a bal felső menüt, és válassza az Erőforrás létrehozása lehetőséget. Ezután válassza az Integration>Data Factory elemet>:

   

   

3. Az Új adat-előállító lapon, a Név mezőben adja meg a következőt: ADFTutorialDataFactory.

   

   Az Azure Data Factory nevének globálisan egyedinek kell lennie. Ha a következő hibaüzenetet kapja, módosítsa a data factory nevét (például sajátnévADFTutorialDataFactory-ra), majd próbálkozzon újra a létrehozással. A Data Factory-összetevők részleteit a Data Factory elnevezési szabályait ismertető cikkben találja.

   Az "ADFTutorialDataFactory" adat-előállító neve nem érhető el.

4. Válassza ki azt az Azure-előfizetést, amelyben az adat-előállítót létre szeretné hozni.

5. Az erőforráscsoport esetében hajtsa végre az alábbi lépések egyikét:

   • Válassza a Meglévő használata lehetőséget, és válasszon ki egy meglévő erőforráscsoportot a legördülő listából.

   • Válassza az Új létrehozása lehetőséget, és adja meg egy erőforráscsoport nevét.

     Az erőforráscsoportokkal kapcsolatos információkért tekintse meg a Using resource groups to manage your Azure resources (Erőforráscsoportok használata az Azure-erőforrások kezeléséhez) című cikket.

6. A Verzió résznél válassza a V2 értéket.

7. Válassza ki a Data Factory helyét. A legördülő listán csak a támogatott helyek jelennek meg. Az adat-előállítók által használt adattárak (Azure Storage, Azure SQL Database stb.) és számítási erőforrások (HDInsight stb.) más régiókban is lehetnek.

8. Válassza a Rögzítés az irányítópulton lehetőséget.

9. Kattintson a Létrehozás lehetőségre.

10. A létrehozás befejezése után a Data Factory lap a képen látható módon jelenik meg.

    

11. Kattintson a Megnyitás Azure Data Factory Studio csempére a Azure Data Factory felhasználói felület (UI) külön lapon való elindításához.

Folyamat létrehozása

Ebben a lépésben egy másolási tevékenységgel és két webes tevékenységgel rendelkező folyamatot fog létrehozni. A folyamat létrehozásához a következő funkciókat használja:

• Az adatkészletek által elért folyamat paraméterei.
• Webes tevékenység a sikeres vagy sikertelen műveletről tájékoztató e-mailek elküldésére szolgáló Logic Apps-munkafolyamatok meghívásához.
• Tevékenységek összekapcsolása (siker és meghiúsulás esetén)
• Egy tevékenység kimenetének használata egy következő tevékenység bemeneteként

1. A Data Factory felhasználói felületén kattintson az Orchestrate csempére.

   

2. A folyamat tulajdonságok ablakában váltson a Paraméterek lapra, és az Új gombbal adja hozzá a következő három sztring típusú paramétert: sourceBlobContainer, sinkBlobContainer és receiver.

   • sourceBlobContainer – a folyamat ezen paraméterét a forrás blob-adatkészlet használja fel.
   • sinkBlobContainer – a fogadó blobadatkészlet által felhasznált folyamat paramétere
   • receiver – ezt a paramétert a folyamat két webes tevékenysége használja, amelyek sikeres vagy sikertelen e-maileket küldenek annak a fogadónak, amelynek e-mail-címét ez a paraméter adja meg.

   

3. A Tevékenységek eszközkészletben keresse meg a Másolás elemet, és húzza a Másolás tevékenységet a folyamattervező felületére.

   

4. Válassza ki a másolási tevékenységet, amelyet a folyamattervező felületére húzott. A Másolás tevékenység Tulajdonságok ablakában (a képernyő alján) váltson a Forrás lapra, majd kattintson az + Új elemre. Ebben a lépésben létrehoz egy forrásadatkészletet a másolási tevékenységhez.

   

5. Az Új adatkészlet ablakban válassza felül az Azure lapot, majd válassza a Azure Blob Storage, majd a Folytatás lehetőséget.

   

6. A Formátum kiválasztása ablakban válassza a DelimitedText elemet, majd a Folytatás lehetőséget.

   

7. Megjelenik egy új lapa Tulajdonságok beállítása címmel. Módosítsa az adatkészlet nevét a következőre: SourceBlobDataset. Válassza a Társított szolgáltatás legördülő listát, majd az +Új lehetőséget választva hozzon létre egy új társított szolgáltatást a forrásadatkészlethez.

   

8. Megjelenik az Új társított szolgáltatás ablak, ahol kitöltheti a társított szolgáltatáshoz szükséges tulajdonságokat.

   

9. Az Új társított szolgáltatás ablakban végezze el az alábbi lépéseket:

   1. A Name (Név) mezőbe írja az AzureStorageLinkedService nevet.
   2. A Storage-fiók neve elemnél válassza ki saját Azure Storage-fiókját.
   3. Kattintson a Létrehozás lehetőségre.

10. A következő megjelenő Tulajdonságok beállítása ablakban válassza az Adatkészlet megnyitása lehetőséget a fájlnév paraméteres értékének megadásához.

    

11. Adja meg a @pipeline().parameters.sourceBlobContainer mappanevet és az emp.txt fájlnevet.

    

12. Váltson vissza a folyamat lapra (vagy kattintson a folyamatra a bal oldali fanézetben), és válassza a Másolás tevékenységet a tervezőben. Győződjön meg arról, hogy az új adatkészlet be van jelölve a Forrásadatkészlet mezőben.

    

13. A tulajdonságok ablakában váltson a Fogadó lapra, és kattintson az + Új elemre a Fogadó adatkészlet mezőben. Ebben a lépésben a forrásadatkészlet létrehozásához hasonlóan létrehoz egy fogadó adatkészletet a másolási tevékenységhez.

    

14. Az Új adathalmaz ablakban válassza a Azure Blob Storage lehetőséget, majd kattintson a Folytatás gombra, majd válassza ismét a DelimitedText lehetőséget a Formátum kiválasztása ablakban, majd kattintson ismét a Folytatás gombra.

15. Az adathalmaz Tulajdonságok beállítása lapján adja meg a SinkBlobDataset nevet a Név mezőben, majd válassza az AzureStorageLinkedService lehetőséget a LinkedService számára.

16. Bontsa ki a tulajdonságok lap Speciális szakaszát, és válassza az Adathalmaz megnyitása lehetőséget.

17. Az adathalmaz Kapcsolat lapján szerkessze a Fájl elérési útját. Adja meg @pipeline().parameters.sinkBlobContainer a mappát és @concat(pipeline().RunId, '.txt') a fájl nevét. A kifejezés az aktuális folyamatfuttatás azonosítóját használja fájlnévként. A támogatott rendszerváltozók és kifejezések listáját lásd a rendszerváltozókat és a kifejezésnyelveket ismertető cikkekben.

    

18. Váltson vissza a folyamat lapjára a tetején. Keressen rá a webre a keresőmezőben, és húzza a webes tevékenységet a folyamattervező felületére. Állítsa a tevékenység nevét a következőre: SendSuccessEmailActivity. A webes tevékenység bármely REST-végpont meghívását lehetővé teszi. Erről a tevékenységről további információt a webes tevékenységgel kapcsolatos témakörben talál. Ez a folyamat egy webes tevékenységgel hívja meg a Logic Apps e-mail-munkafolyamatát.

    

19. Váltson az Általános lapról a Beállítások lapra, és végezze el az alábbi lépéseket:

    1. Az URL mezőben adja meg a sikeres műveletet jelző e-mailt elküldő Logic Apps-munkafolyamat URL-címét.

    2. A Metódus mezőben válassza a POST lehetőséget.

    3. A Fejlécek szakaszban kattintson a + Fejléc hozzáadása hivatkozásra.

    4. Adjon hozzá egy Content-Type típusú fejlécet, amelynek beállítása application/json.

    5. A Törzs értékeként adja meg a következő JSON-t.

       {
           "message": "@{activity('Copy1').output.dataWritten}",
           "dataFactoryName": "@{pipeline().DataFactory}",
           "pipelineName": "@{pipeline().Pipeline}",
           "receiver": "@pipeline().parameters.receiver"
       }
       

       Az üzenettörzs a következő tulajdonságokat tartalmazza:

       • Message – A átadásának @{activity('Copy1').output.dataWrittenértéke. Hozzáfér az előző másolási tevékenység egy tulajdonságához, és átadja a dataWritten értéket. Sikertelen művelet esetén az átadott érték a @{activity('CopyBlobtoBlob').error.message helyett a hibakimenet.

       • Data Factory neve – A következő érték átadása @{pipeline().DataFactory} : Ez egy rendszerváltozó, amely lehetővé teszi a megfelelő adat-előállító nevének elérését. A rendszerváltozók listáját lásd a rendszerváltozókkal kapcsolatos cikkben.

       • Folyamat neve – A átadási @{pipeline().Pipeline}értéke. Ez szintén egy rendszerváltozó, amely lehetővé teszi a megfelelő folyamat nevének elérését.

       • Fogadó – A "@pipeline().parameters.receiver") átadási értéke. Hozzáfér a folyamat paramétereihez.

         

20. Csatlakoztassa a Másolás tevékenységet a webes tevékenységhez a Copy tevékenység melletti zöld jelölőnégyzet gombra húzva és a webes tevékenységre húzással.

    

21. Húzzon át egy másik webes tevékenységet a Tevékenységek eszközkészletből a folyamat tervezőfelületére, és adja meg a SendFailureEmailActivitynevet.

    

22. Váltson a Beállítások lapra, és végezze el az alábbi lépéseket:

    1. Az URL mezőben adja meg a sikertelen műveletet jelző e-mailt elküldő Logic Apps-munkafolyamat URL-címét.

    2. A Metódus mezőben válassza a POST lehetőséget.

    3. A Fejlécek szakaszban kattintson a + Fejléc hozzáadása hivatkozásra.

    4. Adjon hozzá egy Content-Type típusú fejlécet, amelynek beállítása application/json.

    5. A Törzs értékeként adja meg a következő JSON-t.

       {
           "message": "@{activity('Copy1').error.message}",
           "dataFactoryName": "@{pipeline().DataFactory}",
           "pipelineName": "@{pipeline().Pipeline}",
           "receiver": "@pipeline().parameters.receiver"
       }
       

       

23. Válassza ki a másolási tevékenység jobb oldalán található piros X gombot a folyamattervezőben, és húzza az imént létrehozott SendFailureEmailActivity elemre.

    

24. A folyamat érvényesítéséhez kattintson a Érvényesítés gombra az eszköztáron. Zárja be a Folyamatérvényesítés kimenete ablakot a >> gombra kattintva.

    

25. Ha közzé szeretné tenni az entitásokat (adatkészleteket, folyamatokat stb.) a Data Factory szolgáltatásban, válassza az Összes közzététele elemet. Várjon, amíg megjelenik a Sikeres közzététel üzenet.

    

Sikeres folyamatfuttatás aktiválása

1. A folyamat futásának aktiválásához kattintson az Aktiválás gombra az eszköztáron, majd az Aktiválás most elemre.

   

2. A Folyamatfuttatás ablakban végezze el az alábbi lépéseket:

   1. A sourceBlobContainer paraméterhez adja meg az adftutorial/adfv2branch/input értéket.

   2. A sinkBlobContainer paraméterhez adja meg az adftutorial/adfv2branch/output értéket.

   3. Adja meg a címzette-mail-címét.

   4. Kattintson a Befejezés gombra

      

A sikeres folyamatfuttatás monitorozása

1. A folyamatfuttatás monitorozásához váltson a bal oldali Monitorozás lapra. Itt az Ön által manuálisan aktivált folyamatfuttatást láthatja. A lista frissítéséhez kattintson a Frissítés elemre.

   

2. A folyamatfuttatáshoz társított tevékenységfuttatások megtekintéséhez kattintson az első hivatkozásra a Műveletek oszlopban. A fenti Folyamatok elemre kattintva visszaválthat az előző nézetre. A lista frissítéséhez kattintson a Frissítés elemre.

   

Sikertelen folyamatfuttatás aktiválása

1. Váltson a bal oldalon található Szerkesztés lapra.

2. A folyamat futásának aktiválásához kattintson az Aktiválás gombra az eszköztáron, majd az Aktiválás most elemre.

3. A Folyamatfuttatás ablakban végezze el az alábbi lépéseket:

   1. A sourceBlobContainer paraméterhez adja meg az adftutorial/dummy/input értéket. Győződjön meg arról, hogy a helyőrző mappa nem létezik az adftutorial tárolóban.
   2. A sinkBlobContainer paraméterhez adja meg az adftutorial/dummy/output értéket.
   3. Adja meg a címzette-mail-címét.
   4. Kattintson a Finish (Befejezés) gombra.

A sikertelen folyamatfuttatás monitorozása

1. A folyamatfuttatás monitorozásához váltson a bal oldali Monitorozás lapra. Itt az Ön által manuálisan aktivált folyamatfuttatást láthatja. A lista frissítéséhez kattintson a Frissítés elemre.

   

2. A hiba részleteinek megtekintéséhez kattintson a folyamatfuttatás Hiba hivatkozására.

   

3. A folyamatfuttatáshoz társított tevékenységfuttatások megtekintéséhez kattintson az első hivatkozásra a Műveletek oszlopban. A lista frissítéséhez kattintson a Frissítés elemre. Látható, hogy a folyamat másolási tevékenysége meghiúsult. A webes tevékenység sikeresen elküldte a sikertelen műveletről tájékoztató e-mailt a megadott címzettnek.

   

4. A hiba részleteinek megtekintéséhez kattintson a Hiba hivatkozásra a Műveletek oszlopban.

   

Következő lépések

Az oktatóanyagban az alábbi lépéseket hajtotta végre:

• Adat-előállító létrehozása
• Azure Storage-beli társított szolgáltatás létrehozása
• Azure Blob-adatkészlet létrehozása
• Másolási tevékenységet és webes tevékenységet tartalmazó folyamat létrehozása
• Tevékenységek kimeneteinek elküldése a soron következő tevékenységek számára
• Paraméterátadás és rendszerváltozók használata
• Folyamat futásának indítása
• A folyamat és a tevékenységek futásának monitorozása

Az Azure Data Factoryvel kapcsolatos további információkért folytassa az Alapelvek szakasz áttekintésével.

Folyamatok és tevékenységek