Power Query-aktivitet i Azure Data Factory
Med Power Query-aktiviteten kan du skapa och köra Power Query-kombinationsprogram för att köra dataomvandling i stor skala i en Data Factory-pipeline. Du kan skapa en ny Power Query-kombination från menyalternativet Nya resurser eller genom att lägga till en Power Activity i din pipeline.
Du kan arbeta direkt i Power Query-kombinationsredigeraren för att utföra interaktiv datautforskning och sedan spara ditt arbete. När du är klar kan du ta din Power Query-aktivitet och lägga till den i en pipeline. Azure Data Factory skalar ut den automatiskt och operationaliserar dataomvandlingen med Azure Data Factorys Spark-miljö för dataflöde.
Skapa en Power Query-aktivitet med användargränssnittet
Utför följande steg för att använda en Power Query-aktivitet i en pipeline:
Sök efter Power Query i fönstret Pipelineaktiviteter och dra en Power Query-aktivitet till pipelinearbetsytan.
Välj den nya Power Query-aktiviteten på arbetsytan om den inte redan är markerad och fliken Inställningar för att redigera dess information.
Välj en befintlig Power Query och välj Öppna eller välj knappen Nytt för att skapa en ny Power Query och öppna Power Query-redigeraren.
Välj en befintlig datauppsättning eller välj Ny för att definiera en ny. Använd de omfattande funktionerna i Power Query direkt i pipelineredigeringsmiljön för att transformera datauppsättningen, hur du än behöver. Du kan lägga till flera frågor från flera datauppsättningar i redigeraren och sedan använda dem.
När du har definierat en eller flera Power Querys i föregående steg kan du även ange mottagarplatser för alla/inga av dem på fliken Mottagare för Power Query-aktiviteten.
Du kan också använda utdata från power query-aktiviteten som indata till andra aktiviteter. Här är ett exempel på en For Each-aktivitet som refererar till utdata från den tidigare definierade Power Query för dess objektegenskap. Dess objekt stöder dynamiskt innehåll, där du kan referera till alla utdata från Power Query som används som indata.
Alla aktivitetsutdata visas och kan användas när du definierar ditt dynamiska innehåll genom att välja dem i fönstret Pipeline expression builder.any activity outputs are displayed and can be used when defining your dynamic content by selecting them in the Pipeline expression builder pane .
Översättning till dataflödesskript
För att uppnå skalning med din Power Query-aktivitet översätter Azure Data Factory skriptet M till ett dataflödesskript så att du kan köra Power Query i stor skala med hjälp av Spark-miljön för Azure Data Factory-dataflödet. Skapa ditt dataflöde med kodfri dataförberedelse. En lista över tillgängliga funktioner finns i transformeringsfunktioner.
Inställningar
- Power Query: Välj en befintlig Power Query för att köra eller skapa en ny.
- Kör på Azure IR: Välj och befintlig Azure Integration Runtime för att definiera beräkningsmiljön för din Power Query eller skapa en ny.
- Beräkningstyp: Om du väljer standardkörningen för automatisk lösning av integrering kan du välja den beräkningstyp som ska tillämpas på Spark-klusterberäkningen för power query-körningen.
- Antal kärnor: Om du väljer standardkörningen för automatisk lösning av integrering kan du välja det antal kärnor som ska tillämpas på Spark-klusterberäkningen för power query-körningen.
Kanalmottagare
Välj den datauppsättning som du vill använda för att landa dina transformerade data när Power Query M-skriptet har körts på Spark. Mer information om hur du konfigurerar mottagare finns i dokumentationen för dataflödesmottagare.
Du kan välja att sänka dina utdata till flera mål. Klicka på plusknappen (+) för att lägga till fler mottagare i din fråga. Du kan också dirigera varje enskild frågas utdata från din power query-aktivitet till olika mål.
Mappning
På fliken Mappning kan du konfigurera kolumnmappning från utdata från Power Query-aktiviteten till målschemat för den valda mottagaren. Läs mer om kolumnmappning från dokumentationen för dataflödesmottagarens mappning.
Relaterat innehåll
Läs mer om dataomvandlingsbegrepp med Power Query i Azure Data Factory