Omvandla data med Mappa dataflöden

  • Artikel

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

Om du inte har använt Azure Data Factory tidigare kan du läsa Introduktion till Azure Data Factory.

I den här självstudien använder du Användargränssnittet för Azure Data Factory (UX) för att skapa en pipeline som kopierar och transformerar data från en Azure Data Lake Storage (ADLS) Gen2-källa till en ADLS Gen2-mottagare med hjälp av mappningsdataflödet. Konfigurationsmönstret i den här självstudien kan utökas vid transformering av data med hjälp av dataflödesmappning

Kommentar

Den här självstudien är avsedd för att mappa dataflöden i allmänhet. Dataflöden är tillgängliga både i Azure Data Factory och Synapse Pipelines. Om du är nybörjare på dataflöden i Azure Synapse Pipelines följer du Dataflöde med Hjälp av Azure Synapse Pipelines

I den här självstudien gör du följande:

  • Skapa en datafabrik.
  • Skapa en pipeline med en Dataflöde aktivitet.
  • Skapa ett mappningsdataflöde med fyra transformeringar.
  • Testkör pipelinen.
  • Övervaka en Dataflöde aktivitet

Förutsättningar

Filen som vi transformerar i den här självstudien är MoviesDB.csv, som du hittar här. Om du vill hämta filen från GitHub kopierar du innehållet till valfri textredigerare för att spara lokalt som en .csv-fil. Information om hur du laddar upp filen till ditt lagringskonto finns i Ladda upp blobar med Azure-portalen. Exemplen refererar till en container med namnet "sample-data".

Skapa en datafabrik

I det här steget skapar du en datafabrik och öppnar Data Factory UX för att skapa en pipeline i datafabriken.

  1. Öppna Microsoft Edge eller Google Chrome. Data Factory-användargränssnittet stöds för närvarande endast i Microsoft Edge- och Google Chrome-webbläsare.

  2. Välj Skapa en resursintegreringsdatafabrik>> på den vänstra menyn:

    Data Factory selection in the "New" pane

  3. I fönstret Ny datafabrik, under Namn anger du ADFTutorialDataFactory.

    Namnet på Azure Data Factory måste vara globalt unikt. Ange ett annat namn för datafabriken om du får ett felmeddelande om namnvärdet. (till exempel dittnamnADFTutorialDataFactory). Se artikeln om namnregler för datafabriker för namnregler för datafabriksartefakter.

    New data factory error message for duplicate name.

  4. Välj den Azure-prenumeration som du vill skapa den nya datafabriken i.

  5. Gör något av följande för Resursgrupp:

    a. Välj Använd befintlig och välj en befintlig resursgrupp i listrutan.

    b. Välj Skapa ny och ange namnet på en resursgrupp.

    Mer information om resursgrupper finns i Använda resursgrupper för att hantera Azure-resurser.

  6. Under Version väljer du V2.

  7. Under Plats väljer du en plats för datafabriken. Endast platser som stöds visas i listrutan. Datalager (till exempel Azure Storage och SQL Database) och beräkningar (till exempel Azure HDInsight) som används av datafabriken kan finnas i andra regioner.

  8. Välj Skapa.

  9. När skapandet är klart visas meddelandet i Meddelandecenter. Välj Gå till resurs för att gå till sidan Datafabrik.

  10. Klicka på Författare och övervakare för att starta användargränssnittet för datafabriken på en separat flik.

Skapa en pipeline med en Dataflöde aktivitet

I det här steget skapar du en pipeline som innehåller en Dataflöde aktivitet.

  1. På startsidan för Azure Data Factory väljer du Orchestrate.

    Screenshot that shows the ADF home page.

  2. På fliken Allmänt för pipelinen anger du TransformMovies som Namn på pipelinen.

  3. I fönstret Aktiviteter expanderar du dragspelet Flytta och transformera . Dra och släpp aktiviteten Dataflöde från fönstret till pipelinearbetsytan.

    Screenshot that shows the pipeline canvas where you can drop the Data Flow activity.

  4. I popup-fönstret Lägg till Dataflöde väljer du Skapa ny Dataflöde och namnger sedan dataflödet TransformMovies. Klicka på Slutför när du är klar.

    Screenshot that shows where you name your data flow when you create a new data flow.

  5. I det övre fältet på pipelinearbetsytan skjuter du Dataflöde felsökningsreglaget på. Felsökningsläget möjliggör interaktiv testning av omvandlingslogik mot ett Live Spark-kluster. Dataflöde kluster tar 5–7 minuter att värma upp och användarna rekommenderas att aktivera felsökning först om de planerar att utföra Dataflöde utveckling. Mer information finns i Felsökningsläge.

    Data Flow Activity

Skapa transformeringslogik på dataflödesarbetsytan

När du har skapat din Dataflöde skickas du automatiskt till dataflödesarbetsytan. Om du inte omdirigeras till dataflödesarbetsytan går du till Inställningar i panelen nedanför arbetsytan och väljer Öppna bredvid dataflödesfältet. Då öppnas dataflödesarbetsytan.

Screenshot showing how to open the data flow editor from the pipeline editor.

I det här steget skapar du ett dataflöde som tar moviesDB.csv i ADLS-lagring och aggregerar det genomsnittliga omdömet för komedier från 1910 till 2000. Sedan skriver du tillbaka den här filen till ADLS-lagringen.

  1. Lägg till en källa i dataflödesarbetsytan genom att klicka på rutan Lägg till källa .

    Screenshot that shows the Add Source box.

  2. Ge källan namnet MoviesDB. Klicka på Ny för att skapa en ny källdatauppsättning.

    Screenshot that shows where you select New after you name your source.

  3. Välj Azure Data Lake Storage Gen2. Klicka på Fortsätt.

    Screenshot that shows where is the Azure Data Lake Storage Gen2 tile.

  4. Välj AvgränsadText. Klicka på Fortsätt.

    Screenshot that shows the DelimitedText tile.

  5. Ge datauppsättningen namnet MoviesDB. I listrutan länkad tjänst väljer du Ny.

    Screenshot that shows the Linked service dropdown list.

  6. På skärmen för att skapa länkad tjänst namnger du den länkade ADLS gen2-tjänsten ADLSGen2 och anger din autentiseringsmetod. Ange sedan dina autentiseringsuppgifter för anslutningen. I den här självstudien använder vi kontonyckeln för att ansluta till vårt lagringskonto. Du kan klicka på Testa anslutning för att kontrollera att dina autentiseringsuppgifter har angetts korrekt. Klicka på Skapa när du är klar.

    Linked Service

  7. När du är tillbaka på skärmen för att skapa datauppsättningen anger du var filen finns under fältet Filsökväg . I den här självstudien finns filen moviesDB.csv i containern sample-data. Eftersom filen har rubriker markerar du Första raden som rubrik. Välj Från anslutning/arkiv för att importera rubrikschemat direkt från filen i lagringen. Klicka på OK när du är klar.

    Datasets

  8. Om felsökningsklustret har startat går du till fliken Förhandsgranskning av data i källtransformeringen och klickar på Uppdatera för att få en ögonblicksbild av data. Du kan använda förhandsversionen av data för att kontrollera att omvandlingen är korrekt konfigurerad.

    Screenshot that shows where you can preview your data to verify your transformation is configured correctly.

  9. Bredvid källnoden på dataflödesarbetsytan klickar du på plusikonen för att lägga till en ny transformering. Den första omvandlingen som du lägger till är ett filter.

    Data Flow Canvas

  10. Ge filtertransformeringen namnet FilterYears. Klicka på uttrycksrutan bredvid Filtrera på för att öppna uttrycksverktyget. Här anger du filtreringsvillkoret.

    Screenshot that shows the Filter on expression box.

  11. Med dataflödesuttrycksverktyget kan du interaktivt skapa uttryck som ska användas i olika transformeringar. Uttryck kan innehålla inbyggda funktioner, kolumner från indataschemat och användardefinierade parametrar. Mer information om hur du skapar uttryck finns i Dataflöde uttrycksverktyget.

    I den här självstudien vill du filtrera filmer av genrekomik som kom ut mellan åren 1910 och 2000. Eftersom år för närvarande är en sträng måste du konvertera den till ett heltal med hjälp av toInteger() funktionen. Använd operatorerna större än eller lika med (>=) och mindre än eller lika med (<=) för att jämföra med läsårsvärdena 1910 och 2000. Koppla dessa uttryck tillsammans med operatorn och (&&). Uttrycket kommer ut som:

    toInteger(year) >= 1910 && toInteger(year) <= 2000

    Om du vill ta reda på vilka filmer som är komedier kan du använda rlike() funktionen för att hitta mönstret "Comedy" i kolumngenren. Union uttrycket rlike med årsjämförelsen för att få:

    toInteger(year) >= 1910 && toInteger(year) <= 2000 && rlike(genres, 'Comedy')

    Om du har ett felsökningskluster aktivt kan du verifiera logiken genom att klicka på Uppdatera för att se uttrycksutdata jämfört med de indata som används. Det finns mer än ett rätt svar på hur du kan åstadkomma den här logiken med hjälp av dataflödesuttrycksspråket.

    Filter

    Klicka på Spara och Slutför när du är klar med uttrycket.

  12. Hämta en dataförhandsgranskning för att kontrollera att filtret fungerar korrekt.

    Screenshot that shows the Data Preview that you fetched.

  13. Nästa transformering som du lägger till är en aggregeringstransformering under Schemamodifierare.

    Screenshot that shows the Aggregate schema modifier.

  14. Ge din aggregerade omvandling namnet AggregateComedyRatings. På fliken Gruppera efter väljer du år i listrutan för att gruppera aggregeringarna efter året då filmen kom ut.

    Screenshot that shows the year option in the Group by tab under Aggregate Settings.

  15. Gå till fliken Aggregeringar . I den vänstra textrutan namnger du samlingskolumnen AverageComedyRating. Klicka på den högra uttrycksrutan för att ange samlingsuttrycket via uttrycksverktyget.

    Screenshot that shows the year option in the Aggregates tab under Aggregate Settings.

  16. Om du vill få medelvärdet av kolumnklassificering använder du aggregeringsfunktionenavg(). Eftersom Klassificering är en sträng och avg() tar in numeriska indata måste vi konvertera värdet till ett tal via toInteger() funktionen. Det här är ett uttryck som ser ut så här:

    avg(toInteger(Rating))

    Klicka på Spara och Slutför när du är klar.

    Screenshot that shows the saved expression.

  17. Gå till fliken Dataförhandsgranskning för att visa transformeringsutdata. Observera att endast två kolumner finns där, year och AverageComedyRating.

    Aggregate

  18. Sedan vill du lägga till en sink-transformering under Mål.

    Screenshot that shows where to add a sink transformation under Destination.

  19. Ge mottagaren namnet Sink. Klicka på Ny för att skapa datauppsättningen för mottagare.

    Screenshot that shows where you can name your sink and create a new sink dataset.

  20. Välj Azure Data Lake Storage Gen2. Klicka på Fortsätt.

    Screenshot that shows the Azure Data Lake Storage Gen2 tile you can choose.

  21. Välj AvgränsadText. Klicka på Fortsätt.

    Dataset

  22. Ge mottagarens datauppsättning namnet MoviesSink. För länkad tjänst väljer du den länkade ADLS gen2-tjänst som du skapade i steg 6. Ange en utdatamapp att skriva dina data till. I den här självstudien skriver vi till mappen "output" i containern "sample-data". Mappen behöver inte finnas i förväg och kan skapas dynamiskt. Ange Första raden som rubrik som true och välj Ingen för importschema. Klicka på Slutför.

    Sink

Nu har du skapat dataflödet. Du är redo att köra den i pipelinen.

Köra och övervaka Dataflöde

Du kan felsöka en pipeline innan du publicerar den. I det här steget ska du utlösa en felsökningskörning av dataflödespipelinen. Dataförhandsvisning skriver inte data, men en felsökningskörning skriver data till målmottagaren.

  1. Gå till pipelinearbetsytan. Klicka på Felsök för att utlösa en felsökningskörning.

    Screenshot that shows the pipeline canvas with Debug highlighted.

  2. Pipelinefelsökning av Dataflöde-aktiviteter använder det aktiva felsökningsklustret, men det tar ändå minst en minut att initiera. Du kan spåra förloppet via fliken Utdata . När körningen är klar klickar du på glasögonikonen för att öppna övervakningsfönstret.

    Pipeline

  3. I övervakningsfönstret kan du se antalet rader och den tid som spenderas i varje transformeringssteg.

    Screenshot that shows the monitoring pane where you can see the number of rows and time spent in each transformation step.

  4. Klicka på en transformering för att få detaljerad information om kolumnerna och partitioneringen av data.

    Monitoring

Om du har följt den här självstudien korrekt bör du ha skrivit 83 rader och 2 kolumner i din mottagarmapp. Du kan kontrollera att data är korrekta genom att kontrollera bloblagringen.

Relaterat innehåll

Pipelinen i den här självstudien kör ett dataflöde som aggregerar den genomsnittliga klassificeringen av komedier från 1910 till 2000 och skriver data till ADLS. Du har lärt dig att:

  • Skapa en datafabrik.
  • Skapa en pipeline med en Dataflöde aktivitet.
  • Skapa ett mappningsdataflöde med fyra transformeringar.
  • Testkör pipelinen.
  • Övervaka en Dataflöde aktivitet

Läs mer om språket för dataflödesuttryck.