Dataflöden i Azure Synapse Analytics

Vad är dataflöden?

Dataflöden är visuellt utformade datatransformeringar i Azure Synapse Analytics. Med dataflöden kan datatekniker utveckla datatransformeringslogik utan att skriva kod. De resulterande dataflödena körs som aktiviteter i Azure Synapse Analytics-pipelines som använder utskalade Apache Spark-kluster. Dataflödesaktiviteter kan operationaliseras med hjälp av befintliga funktioner för schemaläggning, kontroll, flöde och övervakning i Azure Synapse Analytics.

Dataflöden ger en helt visuell upplevelse utan kodning. Dina dataflöden körs i Synapse-hanterade körningskluster för utskalad databearbetning. Azure Synapse Analytics hanterar all kodöversättning, sökvägsoptimering och körning av dina dataflödesjobb.

Komma igång

Dataflöden skapas från fönstret Utveckla i Synapse Studio. Om du vill skapa ett dataflöde väljer du plustecknet bredvid Utveckla och väljer sedan Dataflöde.

Den här åtgärden tar dig till dataflödesarbetsytan, där du kan skapa din omvandlingslogik. Välj Lägg till källa för att börja konfigurera källomvandlingen. Mer information finns i Källtransformering.

Redigera dataflöden

Dataflödet har en unik redigeringsarbetsyta som är utformad för att göra det enkelt att skapa omvandlingslogik. Dataflödesarbetsytan är uppdelad i tre delar: det övre fältet, grafen och konfigurationspanelen.

Graph

Diagrammet visar transformeringsströmmen. Den visar ursprunget för källdata när de flödar till en eller flera mottagare. Om du vill lägga till en ny källa väljer du Lägg till källa. Om du vill lägga till en ny transformering väljer du plustecknet längst ned till höger i en befintlig transformering. Läs mer om hur du hanterar dataflödesdiagrammet.

Konfigurationspanelen

Konfigurationspanelen visar de inställningar som är specifika för den aktuella valda omvandlingen. Om ingen transformering har valts visas dataflödet. I den övergripande dataflödeskonfigurationen kan du lägga till parametrar via fliken Parametrar . Mer information finns i Dataflödesparametrar.

Varje transformering innehåller minst fyra konfigurationsflikar.

Transformeringsinställningar

Den första fliken i konfigurationsfönstret för varje transformering innehåller de inställningar som är specifika för den omvandlingen. Mer information finns på dokumentationssidan för omvandlingen.

Optimera

Fliken Optimera innehåller inställningar för att konfigurera partitioneringsscheman. Mer information om hur du optimerar dina dataflöden finns i prestandaguiden för mappning av dataflöde.

Inspektera

Fliken Inspektera ger en vy över metadata för dataströmmen som du transformerar. Du kan se antalet kolumner, kolumnerna har ändrats, kolumnerna har lagts till, datatyper, kolumnordningen och kolumnreferenserna. Granska är en skrivskyddad vy över dina metadata. Du behöver inte ha felsökningsläget aktiverat för att se metadata i fönstret Inspektera .

När du ändrar formen på dina data genom transformeringar visas flödet för metadataändringar i fönstret Inspektera . Om det inte finns något definierat schema i källomvandlingen visas inte metadata i fönstret Inspektera . Brist på metadata är vanligt i scenarier med schemaavvikelser.

Förhandsgranskning

Om felsökningsläget är aktiverat ger fliken Dataförhandsgranskning en interaktiv ögonblicksbild av data vid varje transformering. Mer information finns i Dataförhandsgranskning i felsökningsläge.

Översta fältet

Det översta fältet innehåller åtgärder som påverkar hela dataflödet, till exempel verifierings- och felsökningsinställningar. Du kan också visa den underliggande JSON-koden och dataflödesskriptet för din omvandlingslogik.

Tillgängliga transformeringar

Visa översikten över omvandling av mappningsdataflöde för att hämta en lista över tillgängliga transformeringar.

Dataflödesaktivitet

Dataflöden operationaliseras i Azure Synapse Analytics-pipelines med hjälp av dataflödesaktiviteten. Allt en användare behöver göra är att ange vilken integrationskörning som ska användas och skicka in parametervärden. Mer information finns i Azure Integration Runtime.

Felsökningsläge

Med felsökningsläget kan du interaktivt se resultatet av varje transformeringssteg medan du skapar och felsöker dina dataflöden. Felsökningssessionen kan användas både i när du skapar dataflödeslogik och kör pipeline-felsökningskörningar med dataflödesaktiviteter. Mer information finns i dokumentationen för felsökningsläget.

Övervaka dataflöden

Dataflödet integreras med befintliga Azure Synapse Analytics-övervakningsfunktioner. Information om hur du förstår dataflödesövervakningsutdata finns i Övervaka mappning av dataflöden.

Azure Synapse Analytics-teamet har skapat en prestandajusteringsguide som hjälper dig att optimera körningstiden för dina dataflöden när du har skapat din affärslogik.

Nästa steg

• Lär dig hur du skapar en källtransformering.
• Lär dig hur du skapar dina dataflöden i felsökningsläge.