Bemærk
Adgang til denne side kræver godkendelse. Du kan prøve at logge på eller ændre mapper.
Adgang til denne side kræver godkendelse. Du kan prøve at ændre mapper.
Microsoft Fabric Dataflow Gen2 tilbyder flere måder at importere, transformere og indlæse data effektivt på. Disse metoder hjælper dig med at balancere ydeevne, skalerbarhed og omkostninger.
Denne artikel er referencen for ydeevne og omkostninger for Dataflow Gen2. Den benchmarker fire almindelige arbejdsbelastninger – bulk-kopiering, tung dataformning, optimerede skrivninger til et lakehouse og kombinering af partitionerede filer – og rapporterer køretid og kapacitetsenheder (CU'er), som hver enkelt har forbrugt, målt fra kapacitetstelemetri. Brug det til at estimere, hvad dine egne opdateringer koster, og til at vælge den kapacitet, der passer til hver arbejdsbyrde.
I stor skala overgår Dataflow Gen2 betydeligt Dataflow Gen1 både på hastighed og pris – og jo større arbejdsbyrde, desto større er kløften. Ved at køre det samme M-script, mod de samme data, på samme Fabric kapacitet, afsluttede Dataflow Gen2 alle benchmarks i denne artikel 1,7× til 21× hurtigere end Dataflow Gen1-baseline. I alle scenarier, hvor begge generationers kapacitetsforbrug blev målt, udførte Dataflow Gen2 det hurtigere arbejde, mens den forbrugte 82% til 95% færre kapacitetsenheder – så hastighedsforøgelsen ikke sker på bekostning af ekstra kapacitet. Du får begge gevinster samlet uden at omskrive en eneste forespørgsel.
Hvor meget du får ud afhænger af din arbejdsbyrde, og den største faktor er, hvor længe dine forespørgsler varer. Standard Compute fakturerer de første 10 minutter af hver forespørgsel med 12 CU for hvert sekund, derefter kun 1,5 CU for hvert ekstra sekund, så jo længere en forespørgsel kører, desto lavere bliver dens gennemsnitlige omkostning pr. sekund. Et kort dataflow slutter inden for det første niveau og når aldrig den billigere pris, så forskellen mellem de to generationer er lille. Gevinsterne vokser med datavolumen og driftstid, hvilket er grunden til, at benchmarks i denne artikel bruger store, højvolumen-datasæt og langvarige opdateringer.
Dataflow Gen2 bliver også billigere på sine egne præmisser: nuværende priser og kapaciteter reducerer CU-forbruget med anslået 14% til 84%, afhængigt af arbejdsbyrden, sammenlignet med hvad den samme arbejdsbyrde ville have brugt før 2026.
Bemærkning
Gennem hele denne artikel måles omkostninger og kapacitet i Fabric Capacity Units (CUs). For hvordan Dataflow Gen2 forbruger CU'er, og hvordan det matcher fakturering, se Dataflow Gen2 prissætning. Disse benchmarks og CU-tal afspejler den nuværende Dataflow Gen2-prismodel og kapaciteter, herunder lagdelt Standard Compute-prissætning, Fast Copy og Modern Evaluator. Fordi Dataflow Gen2's ydeevne og omkostningseffektivitet er forbedret over tid, afspejler tal offentliggjort før 2026 muligvis ikke den nuværende adfærd.
Følgende funktioner hjælper dig med at optimere dine dataflows:
- Hurtig kopi – Accelerer massedataflytning før transformation.
- Modern Evaluator – Gør tung dataformning hurtigere på ikke-foldbare forespørgsler.
- Staging forespørgsler – Lander data i et mellemliggende lag før implementering af transformationer, hvilket muliggør ELT-mønstre.
- Optimeret kopi til Lakehouse – Hurtigere skrivning af staged data til en lakehouse-destination i ELT-arbejdsbelastninger.
- Partitioneret beregning (Forhåndsvisning) – Skalerer transformationer på tværs af store og opdelte datasæt.
Denne artikel dækker almindelige anvendelsestilfælde, virkelige eksempler og benchmarkingresultater for at hjælpe dig med at vælge den rette kapacitet til din arbejdsbyrde.
Dataflow Gen2 fakturerer hver motor separat til disse aktuelle satser:
- Standard Compute (mashup-motorforespørgsler) - 12 CU for hvert sekund op til 10 minutter af hver forespørgsel, derefter 1,5 CU for hvert ekstra sekund.
- Fast Copy (databevægelse) - 1,5 CU for hvert sekund kopiaktivitet, målt på tværs af alle anvendte kerner.
For den komplette ratemodel, se Dataflow Gen2-prissætning.
Hurtig reference
Match din arbejdsbyrde med den rette Dataflow Gen2-funktionalitet. For et benchmark-eksempel på hver, se det tilknyttede scenarie.
| Kapacitet | Brug den, når... | Væsentlig fordel | Benchmark |
|---|---|---|---|
| Hurtig kopi | Du har brug for en direkte, højgennemstrømningskopi fra en understøttet kilde uden transformationer. | Hurtigere indtagelse med lavere beregningsomkostninger. | Scenarie 1: Kopier data |
| Moderne Evaluator | Du former data fra ikke-foldbare eller delvist foldbare stik (filtre, afledninger, rensning). | Hurtigere udførelse uden at ændre logikken. | Scenarie 2: Tung dataformning |
| Optimeret kopi til Lakehouse | Du aktiverede staging på en forespørgsel, der skriver til en destination ved søhuset. | Maksimerer gennemstrømningen, når man skriver staged data til lakehouset. | Scenarie 3: Optimeret kopi til Lakehouse |
| Partitioned Compute (Preview) | Du transformerer store, partitionerede eller multifil-datasæt, der kan køre parallelt. Kombiner med Modern Evaluator, når det understøttes. | Paralleliseret udførelse på tværs af partitioner. | Scenarie 4: Kombiner filer |
Bemærkning
For baggrund om query evaluering og queryfolding, se Query folding basics.
Benchmark-resultatoversigt
De fleste scenarier i denne artikel bruger New York City Taxi & Limousine Commission (TLC) Trip Data – TLC Trip Record Data-datasættet : milliarder af taxa-optegnelser gemt som Parquet-filer i ADLS Gen2, der dækker perioden 2021–2025 (op til august). Scenarie 3 bruger en Fabric lakehouse-tabel med omkring 113 millioner taxa-optegnelser i NYC, der spænder fra 2017 til midten af 2018. Destinationen er et Fabric-søhus eller et lager, afhængigt af scenariet.
Følgende tabel opsummerer benchmarkresultaterne på tværs af alle scenarier. Hvert scenarie indeholder også en Dataflow Gen1-baseline til sammenligning.
| scenarie | Hvad den gør | Kapacitet aktiveret | Gen2 udførelsestid | Hastighedsforøgelse vs. Gen1 baseline | Gen1 CU | Gen2 CU | CU-reduktion på Gen2 |
|---|---|---|---|---|---|---|---|
| Scenarie 1: Kopier data | Bulk-læs fem konsoliderede Parquet-filer fra ADLS Gen2 ind i et søhus uden transformationer. | Hurtig kopi | 00:09:08 | 11× hurtigere | 84,411 | 14,593 | 83% |
| Scenarie 2: Tung dataformning | Påfør ikke-foldbare transformationer (filtre, afledninger, rensning) på en enkelt stor Parquet-fil, der indlæses i et søhus. | Moderne Evaluator | 00:46:29 | 1,7× hurtigere | 56,855 | 10,485 | 82% |
| Scenarie 3: Optimeret kopi til Lakehouse | Omdann et NYC-taxibord med 113 millioner rækker fra et Fabric lakehouse og skriv resultatet til et lakehouse-bord på en accelereret kopivej. Denne benchmark bruger optimeret kopi til Lakehouse og V-Order. | Optimeret kopi til Lakehouse | 00:03:34 | 15× hurtigere | 50,788 | 2,391 | 95% |
| Scenarie 4: Kombiner filer | Kombiner og transformér 56 partitionerede Parquet-filer parallelt og indlæs dem i et lager. | Partitioned Compute (Preview) | 00:04:48 | 21× hurtigere | Ikke målt | Ikke målt | Ikke målt |
Følgende diagram sammenligner de samme scenarier med kapacitetsforbrug i stedet for eksekveringstid.
For trin-for-trin detaljer, datasætkonfigurationer og designmønstre for hver kapacitet, se scenarieafsnittene, der følger.
Bemærkning
Alle scenarier i denne artikel har Modern Evaluator aktiveret og V-Order deaktiveret, medmindre andet eksplicit er angivet. Gen1 CU og Gen2 CU kolonnerne rapporterer Capacity Unit seconds. CU-reduktionen på Gen2-kolonnen er faldet i CU-sekunder fra Dataflow Gen1-baseline til den bedste Dataflow Gen2-konfiguration, beregnet som (Gen1 CU − Gen2 CU) ÷ Gen1 CU.
Hvordan vi målte disse benchmarks
Hvert scenarie kører det samme M-script to gange: én gang på Dataflow Gen1 for at etablere en baseline, og én gang på Dataflow Gen2 med den testede kapacitet aktiveret.
Hver kørsel i denne artikel deler de samme testbetingelser:
- Alle scenarier og begge generationer kørte på samme Fabric-kapacitet, så intet resultat afspejler en anden kapacitetsstørrelse eller SKU.
- Der var ingen datagateway involveret. Hver forbindelse gik direkte fra Fabric-tjenesten til en cloud-datakilde.
- Hvert scenarie brugte de samme kildedata og det samme M-script til både Dataflow Gen1- og Dataflow Gen2-kørsler.
De rapporterede tal betyder følgende:
- Kørselstid er den samlede opdateringstid, der rapporteres for dataflow-kørslen.
- CU, der forbruges, er de Capacity Unit-sekunder, som kørselen fakturerede til kapaciteten, læst fra Microsoft Fabric Capacity Metrics-appen. Fordi Dataflow Gen2 fakturerer hver motor separat, er et scenaries total summen af alle motorer, der kørte under opdateringen, og CU-tal rundes til det nærmeste hele CU-sekund. For den komplette ratemodel, se Dataflow Gen2-prissætning.
Når du sammenligner de to generationer, skal du huske disse arkitektoniske forskelle:
- Dataflow Gen1 bruger en fundamentalt anderledes arkitektur end Dataflow Gen2, og den understøtter ikke funktioner som Fast Copy, Modern Evaluator, Optimeret kopi til Lakehouse eller Partitioneret Compute.
- Dataflow Gen1 kan kun indlæse data som CSV-filer, mens Dataflow Gen2 indlæser data som Parquet-filer i disse scenarier.
Bemærkning
Disse tal blev registreret i vores eget testmiljø i august 2026 og gælder kun for disse specifikke kørsler. Dine egne resultater varierer med datamængde, kapacitetsstørrelse og konfiguration. For at måle dine egne arbejdsbelastninger, se Compute estimerede omkostninger ved hjælp af Fabric Metrics-appen og dataflow-opdateringshistorik.
Scenarie 1: Kopier data
NYC Taxi-analyseteamet skal indlæse millioner af rå Parquet-køreoptegnelser fra ADLS Gen2 i et Fabric-søhus. Teamet behøver ingen transformationer, kun en direkte kopi til at understøtte downstream-analyser.
Udfordringer
- Flyt store mængder Parquet-data hurtigt ind i søhuset.
- Reducer indtagelsestiden ved daglige opdateringer.
- Minimer beregningsomkostninger for simple extract-load (EL) arbejdsbyrder.
Datasæt
Årvis sammenlagte NYC Yellow Taxi Parquet-filer, fem konsoliderede opdelinger (2021–august 2025).
Løsning
Teamet muliggør Fast Copy i Dataflow Gen2. Fast Copy optimerer databevægelsesstier og paralleliserer skrivninger for understøttede connectors.
Design
Denne forespørgsel kombinerer de fem årvise Parquet-filer og indlæser resultatet i søhuset.
Overvejelser om Fast Copy
- Understøtter filformater.csv og .parquet .
- Understøtter op til 1M rækker pr. tabel pr. gennemspilning for Azure SQL Database.
- Bedst egnet til extract-load (EL) arbejdsgange før transformationer.
Resultater
Når du aktiverer Fast Copy, indlæser Dataflow Gen2 dette datasæt cirka 11× hurtigere end Dataflow Gen1-baseline (00:09:08 vs. 01:38:59), samtidig med at beregningsforbruget reduceres. Uden Fast Copy er Dataflow Gen2 allerede omkring 2,8× hurtigere end Gen1 på samme arbejdsbyrde.
| Konfiguration | Udførelsestid (hh:mm:ss) | Sammenligning med Gen1 | CU forbrugt |
|---|---|---|---|
| Dataflow Gen1 baseline | 01:38:59 | – | 84,411 |
| Dataflow Gen2 uden Fast Copy | 00:35:25 | 2,8× hurtigere | Ikke målt |
| Dataflow Gen2 med hurtig kopiering | 00:09:08 | 11× hurtigere | 14,593 |
Når du aktiverer Fast Copy – den mest optimale Dataflow Gen2-konfiguration til dette scenarie – bruger scenarie 1's hurtig kopi af fem konsoliderede Parquet-filer i et søhus 14.593 CU-sekunder. Følgende tabel opdeler dette total efter operation:
| Betjening | Motor (måler) | CU-sekunder |
|---|---|---|
| Dataflytning | Hurtig kopi | 8,280 |
| Kør forespørgsler | Standardberegning | 6,313 |
| Total | 14,593 |
Fast Copy-databevægelse faktureres med en rate på 1,5 CU for hvert sekund af kopiaktivitet, målt som den samlede tid på tværs af alle kerner, kopien kører på. Dataflow Gen2 balancerer automatisk, hvor mange kerner hvert Fast Copy-scenarie bruger, så en kopi, der bliver færdig hurtigt i vægur-tid, kan stadig spænde over mange core-sekunder. Eventuel resterende forespørgselstid faktureres på Standard Compute (12 CU for hvert sekund op til 10 minutter, derefter 1,5 CU for hvert ekstra sekund). For den fulde ratemodel, se Dataflow Gen2 prissætning.
Vigtige takeaways
- Aktivering af Fast Copy samlede en 99-minutters indlæsning til cirka ni minutter, en størrelsesordens forbedring i forhold til det samme datasæt og M-script.
- Dataflow Gen2 brugte også 83% mindre kapacitet end Dataflow Gen1 til det samme arbejde (14.593 mod 84.411 CU-sekunder), så hastighedsforøgelsen kom ikke på bekostning af ekstra beregning.
- Hastighedsforøgelsen kommer fra indbygget, paralleliseret databevægelse, der omgår mashup-motoren, så den gælder kun for udtræk-indlæsningstrin, der opfylder Fast Copy-kravene. Enhver transformation, der bryder foldningen, falder tilbage til standardmotoren og mister gevinsterne.
- For understøttede kilder skal Fast Copy være standarden for indlæsning og reservere tungere transformationsmotorer (dækket i de næste scenarier) til trin, der faktisk omformer dataene.
Scenarie 2: Tung dataformning
Efter indlæsning anvender teamet filtrering, nuludskiftning og kodekortlægning, før data indlæses i søhuset. Disse transformationer folder ikke helt tilbage til Parquet og er langsomme i hukommelsen.
Udfordringer
- Forbedre transformationshastigheden for semifoldbare eller ikke-foldbare forespørgsler.
- Oprethold no-code Power Query-forfatning.
- Reducer den samlede opdateringstid og omkostninger.
Datasæt
Alle Parquet-filer for 2021–august 2025 er samlet i én samlet fil.
Løsning
Teamet muliggør Modern Evaluator, en højtydende eksekveringsmotor designet til effektiv transformation, især for stik som ADLS Gen2 og SharePoint.
Design
Denne forespørgsel indlæser data fra en samlet Parquet-fil, filtrerer trip_distance og fare_amount kolonnerne for at holde værdier over 0, erstatter nulltal med passenger_count 1 og opretter en ny payment_method kolonne ved at mappe betalingstyperne, før dataene indlæses i lakehouset.
Moderne vurderinger
- Forventede opdateringstider kan være betydeligt hurtigere (varierer afhængigt af datasæt og transformationer).
- Optimeret til store volumer (millioner af rækker).
- Gavnligt for ikke-foldbare forespørgsler.
- Faster skriver til destinationer som et sommerhus ved søen.
Resultater
Når du aktiverer Modern Evaluator, kører Dataflow Gen2 denne forming-arbejdsbelastning cirka 1,7× hurtigere end Dataflow Gen1-baseline (00:46:29 vs. 01:19:56), samtidig med at den ikke-kode Power Query-oplevelse bevares. Uden Modern Evaluator er den samme arbejdsbelastning kun omkring 1,2× hurtigere end Gen1 (01:08:37 vs. 01:19:56).
| Konfiguration | Udførelsestid (hh:mm:ss) | Sammenligning med Gen1 | CU forbrugt |
|---|---|---|---|
| Dataflow Gen1 baseline | 01:19:56 | – | 56,855 |
| Dataflow Gen2 uden Modern Evaluator | 01:08:37 | 1,2× hurtigere | Ikke målt |
| Dataflow Gen2 med Modern Evaluator | 00:46:29 | 1,7× hurtigere | 10,485 |
Når du aktiverer Modern Evaluator – den mest optimale Dataflow Gen2-konfiguration til dette scenarie – bruger scenarie 2's Modern Evaluator, der former en enkelt stor Parquet-fil til et søhus, 10.485 CU-sekunder. Følgende tabel opdeler dette total efter operation:
| Betjening | Motor (måler) | CU-sekunder |
|---|---|---|
| Kør forespørgsler | Standardberegning | 10,485 |
| Total | 10,485 |
Arbejdet kører udelukkende på Standard Compute, som faktureres på to niveauer: 12 CU for hvert sekund op til 10 minutter, og derefter 1,5 CU for hvert ekstra sekund. Følgende tabel viser, hvordan den fakturerede varighed og CU-totalen fordeles på tværs af disse niveauer:
| Faktureringsniveau | Faktureret varighed | Rentesats | CU-sekunder |
|---|---|---|---|
| De første 10 minutter | 00:10:00 (600 sekunder) | 12 CU for hvert sekund | 7,200 |
| Ud over 10 minutter | 00:36:29 (2.189,8 sekunder) | 1,5 CU for hvert sekund | 3,284.7 |
| Total | 00:46:29 (2.789,8 sekunder) | 10,484.7 |
Denne tabel viser det målte total til én decimalplads, så niveauerne lægges præcist sammen; resten af artiklen runder det op til 10.485 CU-sekunder.
Fordelingen viser, hvor meget første niveau dominerer programmet: de første 10 minutter udgør kun omkring 22% af løbet, men udgør cirka 69% af CU-sekunderne, fordi hvert af disse sekunder koster otte gange mere end et sekund i andet niveau. Alt efter 10-minutters mærket – størstedelen af en lang forming-periode – faktureres til den meget lavere 1,5 CU-rate. Modern Evaluator sænker regningen yderligere ved at forkorte selve den fakturerede varighed, ikke ved at ændre satsen. For den fulde ratemodel, se Dataflow Gen2 prissætning.
Vigtige takeaways
- Uden Modern Evaluator var Dataflow Gen2 kun omkring 1,2× hurtigere end Dataflow Gen1-baselinen på denne formningsarbejdsbyrde. Aktivering af Modern Evaluator forbedrede ydeevnen til cirka 1,7× hurtigere end Gen1 på identisk M-script og datasæt.
- Kapacitetsbesparelsen er større end tidsbesparelsen: Dataflow Gen2 blev færdig 1,7× hurtigere, mens den forbrugte 82% mindre kapacitet end Dataflow Gen1 (10.485 mod 56.855 CU-sekunder).
- Denne ydelsesforøgelse kommer fra en mere effektiv eksekveringsvej for ikke-foldbare og semifoldbare forespørgsler. Power Query bruger traditionelt mest tid på disse forespørgsler, især når du bruger connectors som ADLS Gen2 og SharePoint. Gevinster skalerer med rækkevolumen og formningskompleksitet.
- Brug Modern Evaluator som standard til shape-tunge flows, hvor forespørgsler ikke foldes helt tilbage til kilden. Jo større datasættet er, og jo flere transformationer du anvender i engine, desto større effekt bør du forvente.
Scenarie 3: Optimeret kopi til Lakehouse
NYC Taxi-analyseteamet omdanner et stort bord og skriver resultatet til et Fabric-søhus. At skrive det volumen til destinationen er den langsomste del af opdateringen, så teamet ønsker at fremskynde skrivningen uden at ændre transformationslogikken.
Udfordringer
- Skriv et stort omdannet resultat hurtigt til en søhusdestination.
- Undgå at destinationsskrivningen bliver flaskehalsen ved opdatering.
- Bevar den no-code Power Query-oplevelse og den eksisterende transformationslogik.
Datasæt
En Fabric lakehouse-tabel med omkring 113 millioner taxa-optegnelser i NYC, der spænder fra 2017 til midten af 2018.
Løsning
Teamet aktiverer Enable staging og aktiverer Optimeret kopiering til Lakehouse på en enkelt forespørgsel, der skriver til en Lakehouse-destination. Optimeret kopi til Lakehouse flytter det iscenesatte resultat til lakehouse på en accelereret rute.
Design
Benchmark-dataflowet bruger en enkelt forespørgsel med aktiveret staging og en lakehouse-destination , der bruger V-Order. Forespørgslen læser det cirka 113 millioner rækker store NYC-taxa-bord fra et Fabric-lakehouse, sorterer rækkerne efter afhentningsdato og -tidspunkt og tilføjer to afledte kolonner – starten af afhentningsmåneden og summen af MTA-skatten og forbedringstillæget. Fordi staging er tændt, skriver optimeret kopi til Lakehouse det transformerede resultat til lakehouse-destinationen på en accelereret sti, hvilket styrer den hurtige køretid.
Optimeret tekst til Lakehouse-overvejelser
- Det kræver aktivering af staging på forespørgslen og en lakehouse-destination. For mere information, se Staged data-muligheder for Dataflow Gen2.
- Det accelererer skrivningen til lakehouse uden at ændre transformationslogikken.
- Kombiner det med V-Order på destinationen for at optimere outputtet til downstream-analyse.
Resultater
Når du aktiverer Optimeret kopi til Lakehouse, fuldfører Dataflow Gen2 denne opdatering cirka 15× hurtigere end Dataflow Gen1-baseline (00:03:34 vs. 00:53:20) uden at ændre transformationslogikken. Uden det er det samme trindelte dataflow cirka 3,6× hurtigere end Gen1.
| Konfiguration | Udførelsestid (hh:mm:ss) | Sammenligning med Gen1 | CU forbrugt |
|---|---|---|---|
| Dataflow Gen1 baseline | 00:53:20 | – | 50,788 |
| Dataflow Gen2 med staging + V-Order (ingen optimeret kopi til Lakehouse) | 00:14:45 | 3,6× hurtigere | Ikke målt |
| Dataflow Gen2 med staging + Optimeret kopi til Lakehouse + V-Order | 00:03:34 | 15× hurtigere | 2,391 |
Når du aktiverer staging, optimeret kopi til Lakehouse og V-Order – den mest optimale Dataflow Gen2-konfiguration til dette scenarie – fuldføres Scenario 3's opdatering af den 113 millioner rækker store NYC-taxitabel til en lakehouse-tabel på 00:03:34 og bruger 2.391 CU-sekunder. Følgende tabel opdeler dette total efter operation:
| Betjening | Motor (måler) | CU-sekunder |
|---|---|---|
| Kør forespørgsler | Standardberegning | 2,391 |
| Total | 2,391 |
Arbejdet faktureres udelukkende på Standard Compute (12 CU for hvert sekund op til 10 minutter, derefter 1,5 CU for hvert ekstra sekund). Den optimerede kopi til lakehouse kører gennem mashup-motoren, så der er ikke en separat måler. For den fulde ratemodel, se Dataflow Gen2 prissætning.
Vigtige takeaways
- Optimeret kopi til Lakehouse accelererer skrivningen af det transformerede resultat til lakehouse-destinationen, hvilket reducerer opdateringen fra 00:14:45 (uden den) til 00:03:34 – cirka 4× hurtigere end den samme dataflow uden den, og cirka 15× hurtigere end Dataflow Gen1-baseline (00:53:20).
- Dette scenarie gav den største kapacitetsbesparelse i forhold til Dataflow Gen1 i denne artikel: Dataflow Gen2 brugte 95% mindre kapacitet end Dataflow Gen1 (2.391 mod 50.788 CU-sekunder).
- Det kræver Enable staging på forespørgslen og en lakehouse-destination, og det ændrer ikke din transformationslogik.
- Dette scenarie bruger eksplicit V-Order på destinationsoutputtet.
- Brug Optimeret kopi til Lakehouse, hver gang du skriver staged data til en Lakehouse-destination, og skrivetiden dominerer opdateringen.
Scenarie 4: Kombiner filer
Bemærkning
Partitioned Compute er i øjeblikket i forhåndsvisning og kun tilgængelig i Dataflow Gen2 med CI/CD. Kapaciteten er stadig under forbedringer, så dens adfærd, understøttede transformationer og ydeevne kan ændre sig før generel tilgængelighed. Behandl resultaterne i dette scenarie som et øjebliksøjeblik af forhåndsvisningen.
Teamet skal nu samle og berige rejsedata på tværs af hundredvis af Parquet-filer (månedlige partitioner). Transformationerne omfatter beregning af tipprocenter på tværs af datasættet.
Udfordringer
- Du skal behandle hundredvis af store filer.
- Transformationer kræver gruppering, aggregering og berigelse på tværs af partitioner.
- Sekventiel udførelse bliver en flaskehals.
Datasæt
Seksoghalvtreds Parquet-filer (2021–august 2025).
Løsning
Teamet muliggør Partitioned Compute (Preview), som paralleliserer behandling på tværs af partitioner og effektivt sammenfletter resultater.
Design
Denne forespørgsel kombinerer 56 Parquet-filer og opretter en ny brugerdefineret kolonne for drikkepengeprocent, "Tip Pctg", på Transform Sample-filen , før dataene indlæses i lageret.
Overvejelser ved partitioneret beregning
- Aktuelt i forhåndsvisning og kun tilgængelig i Dataflow Gen2 med CI/CD; Kapaciteten er stadig under forbedringer.
- Brug den, når kilden ikke understøtter foldning.
- Giver den bedste ydeevne, når data indlæses til staging eller lageret.
- Brug Sample transform-filen fra Combine-filer for at sikre ensartet transformationslogik.
- Understøtter en delmængde af transformationer; Ydelsen varierer.
Resultater
Partitioneret beregning leverer cirka 21× hurtigere ydeevne end Dataflow Gen1-baselinjen (00:04:48 vs. 01:40:57) på store, partitionerede datasæt med flere filer.
| Konfiguration | Udførelsestid (hh:mm:ss) | Sammenligning med Gen1 | CU forbrugt |
|---|---|---|---|
| Dataflow Gen1 baseline | 01:40:57 | – | Ikke målt |
| Dataflow Gen2 med partitioneret beregning | 00:04:48 | 21× hurtigere | Ikke målt |
Partitioned Compute sigter mod vægur-tid frem for omkostninger. Den kører partitioner parallelt, så opdateringen bliver færdig hurtigere, men denne parallelisme fordeler arbejdet over mere compute i stedet for at reducere det, så omkostningerne typisk er svarende til eller højere end den samme arbejdsbyrde uden funktionen. CU-forbruget blev ikke målt i dette scenarie, så denne artikel rapporterer kun driftstid.
Vigtige takeaways
- Partitioned Compute leverede en hastighedsforøgelse på 21× i forhold til Dataflow Gen1-baseline og blev færdig på under fem minutter. Da kapaciteten er i preview og stadig får forbedringer, kan man forvente, at disse tal vil udvikle sig.
- Behandl partitioneret beregning som en måde at blive færdig hurtigere på, ikke som en måde at bruge mindre penge på. Parallelisme forkorter vægur-tiden ved at køre partitioner samtidig, så omkostningerne typisk er svarende til eller højere end samme arbejdsbyrde uden den.
- Forstærkningen kommer fra at behandle hver partition parallelt og sammenflette resultaterne, så det er mest effektivt på multifil- eller partitionerede kilder, hvor foldning ikke er tilgængelig, og sekventiel evaluering er flaskehalsen.
- Brug Sample-transform-filmønsteret fra Combine-filer, så transformationslogikken anvendes konsekvent pr. partition. Partitioned Compute understøtter i øjeblikket et delmængde af transformationer, så verificér, at dine formningstrin er kompatible, før du stoler på det, og tjek igen, efterhånden som forhåndsvisningen udvikler sig.
- For højvolumen, partitioneret indtastning til staging eller et lager, gør Partitioned Compute til standard og kombiner det med Modern Evaluator, når det er muligt. Fordi det stadig er i preview, skal du validere det mod din egen arbejdsbyrde, før du adopterer det til produktionsopdateringer.
Omkostninger over tid (dengang vs. nu)
Dataflow Gen2 er blevet mere omkostningseffektivt at køre over tid. Den samme logik, på de samme data, bruger færre CU'er i dag end tidligere, uden behov for ændringer i dine forespørgsler.
I denne sammenligning betyder det den samme arbejdsbyrde under de priser og muligheder, der generelt var tilgængelige før 2026. Nu betyder det samme arbejdsbyrde, der køres i dag med de bedst tilgængelige indstillinger (såsom Modern Evaluator og Fast Copy). Begge kolonner bruger den bedst tilgængelige konfiguration af deres periode. De nuværende tal måles ud fra kapacitetstelemetri. De daværende tal er estimater af, hvad den samme arbejdsbyrde ville have forbrugt på det tidspunkt, fordi de tidligere serviceforhold ikke kan gengives i dag.
| scenarie | Kapacitet | Estimeret CU før 2026 (bedste GA) | CU nu (bedste GA) | Anslået reduktion |
|---|---|---|---|---|
| Scenarie 1: Kopier data | Hurtig kopi | 17,055 | 14,593 | 14% |
| Scenarie 2: Tung dataformning | Moderne Evaluator | 66,164 | 10,485 | 84% |
| Scenarie 3: Optimeret kopi til Lakehouse | Optimeret kopi til Lakehouse | 14,173 | 2,391 | 83% |
For eksempel ville den tunge formningsarbejdsbyrde i Scenario 2 have brugt anslået 66.164 CU-sekunder før 2026, og nu bruger den 10.485 CU-sekunder. Denne ændring er en reduktion på 84% med identisk logik og uden nødvendige ændringer. To forbedringer lægges sammen for at skabe den. Først blev Standard Compute-prissætningen lagdelt: i stedet for en fast 16 CU for hvert sekund af hele gennemgangen, fakturerer kun de første 10 minutter med 12 CU for hvert sekund og hvert sekund efter regningerne med kun 1,5 CU, så den lange hale af en formingsarbejdsbyrde nu koster en brøkdel af, hvad den gjorde. For det andet forkorter Modern Evaluator – som generelt har været tilgængelig siden april 2026 – selve faktureringsperioden, så der er færre sekunder til at fakturere på begge niveauer. En kortere løbetid faktureret mod en langt billigere long-tail rate er grunden til, at CU-forbruget falder så markant, og det er derfor, det er så vigtigt at kombinere Modern Evaluator med den nuværende prisniveau for datastrømme med stor form.
Fast Copy-indtagelsen i Scenario 1 ville have brugt anslået 17.055 CU-sekunder før 2026 og bruger nu 14.593 CU-sekunder. Denne ændring er en reduktion på 14%, drevet af at Standard Compute rate falder fra en fast 16 CU pr. sekund til 12 CU pr. sekund op til 10 minutter; Fast Copy-databevægelsesdelen er uændret. Den optimerede kopi til Lakehouse-opdateringen i Scenario 3 ville have brugt anslået 14.173 CU-sekunder før 2026 og bruger nu 2.391 CU-sekunder. Denne ændring er en reduktion på 83%. Hver sammenligning bruger den samme arbejdsbyrde med de bedst tilgængelige indstillinger i sin periode.
Bemærkning
Denne dengang-mod-nu-sammenligning udelukker Partitioned Compute, fordi CU-forbrug ikke blev målt i det scenarie, og kapaciteten stadig er i preview.
Ofte stillede spørgsmål
Hvordan faktureres Dataflow Gen2?
Dataflow Gen2 fakturerer hver motor separat i Fabric Capacity Units (CUs). Standard Compute (mashup-motoren) fakturerer 12 CU for hvert sekund op til 10 minutter af hver forespørgsel, og derefter 1,5 CU for hvert ekstra sekund. Fast Copy (dataflytning) fakturerer 1,5 CU for hvert sekund af kopiaktivitet, målt på tværs af alle kerner, kopien kører på. Du bliver kun faktureret for den beregning, hver forespørgsel faktisk bruger, uden fast gebyr pr. opdatering og uden gebyr for inaktiv tid. For den komplette ratemodel, se Dataflow Gen2-prissætning.
Er Dataflow Gen2 prissætning elastisk?
Ja. Dataflow Gen2 fakturerer kun for den compute, hver forespørgsel faktisk bruger, målt i Fabric Capacity Units (CUs). Der er ingen fast gebyr pr. opdatering, ingen gebyr for inaktiv tid og ingen direkte gebyrer under oprettelsestiden for native funktionalitet. I benchmarks i denne artikel brugte en fuld opdatering 14.593 CU-sekunder for en hurtig kopi-indlæsning og 10.485 CU-sekunder for en tung formningsarbejdsbyrde.
Hvordan kan jeg estimere min Dataflow Gen2-omkostning, før jeg kører hele arbejdsbyrden?
Kør en lille, repræsentativ opdatering og mål, hvad den forbruger, i stedet for at bygge hele løsningen og derefter opdage omkostningerne. For at estimere omkostningerne på denne måde:
- Byg dataflowet op mod et sample eller en enkelt partition af din kilde i stedet for hele datasættet.
- Opdater den én gang, og læs derefter de CU-sekunder, den har brugt, i Microsoft Fabric Capacity Metrics-appen.
- Tjek dataflow-opdateringshistorikken for at se, hvilke motorer der kørte, da Standard Compute og Fast Copy faktureres separat.
- Divider de målte CU-sekunder med de rækker eller GB, du har behandlet, for at få en hastighed pr. enhed, og gang derefter med dit fulde datavolumen.
Bemærkning
Dataflow Gen2 er optimeret til arbejdsbelastninger i stor skala, så dens ydeevne- og effektivitetsfordele er mest tydelige på store, virkelige datasæt. En lille eller syntetisk prøve viser måske ikke de fulde gevinster, og en enhedsrate ekstrapoleret fra en lille prøve kan overvurdere omkostningerne ved en fuld kørsel. Valider mod et repræsentativt datavolumen, når du kan.
For den fulde metode, se Beregn estimerede omkostninger ved brug af Fabric Metrics-appen og dataflow-opdateringshistorik.
Hvor lang tid tager en Gen2-opdatering af Dataflow?
Det afhænger af datamængden og de transformationer, du anvender. I benchmarks i denne artikel varierede Dataflow Gen2-opdateringer fra 00:03:34 for en optimeret kopi af en 113-million-rækkers tabel ind i et søhus, op til 00:46:29 for en tung formningsarbejdsbyrde over en stor samlet Parquet-fil. En massekopi af fem konsoliderede Parquet-filer blev færdig på 00:09:08 med Fast Copy, og en samlet bestående af 56 partitionerede filer blev færdiggjort på 00:04:48 med Partitioned Compute (Preview). For de fulde tidspunkter pr. scenarie, se benchmark-resultatoversigten.
Hvilken Dataflow Gen2-funktionalitet sænker omkostningerne mest?
Det afhænger af arbejdsbyrden, fordi hver kapacitet retter sig mod en forskellig flaskehals: Fast Copy til transformationsfri indlæsning, Modern Evaluator til ikke-foldbar dataformning, Optimeret kopi til Lakehouse for at accelerere skrivninger til en lakehouse-destination, og Partitioned Compute (Preview) til store multi-file datasæt. Målt mod Dataflow Gen1-baseline gav optimeret kopi til Lakehouse den største besparelse i disse benchmarks, med 95% færre CU-sekunder. Sammenlignet med tilsvarende Dataflow Gen2-kørsler før 2026 producerede Modern Evaluator den største estimerede reduktion med 84% færre CU-sekunder på en tung formningsarbejdsbyrde. For at matche en kapacitet til din arbejdsbyrde, se hurtigreferencen.
Hvordan kan jeg få en Dataflow Gen2 til at opdatere hurtigere?
Match kapaciteten til flaskehalsen: aktivér Fast Copy for understøttede extract-load-kilder, tænd Modern Evaluator for ikke-foldbare transformationer, aktivér Optimeret kopi til Lakehouse ved skrivning af staged data til en lakehouse-destination, og brug Partitioned Compute (Preview) til store partitionerede eller multi-file datasæt. Hver kapabilitet benchmarkes i denne artikel med den specifikke hastighedsforøgelse, den leverede i forhold til Dataflow Gen1-baseline.
Skal jeg ændre mine forespørgsler for at få disse forbedringer?
Nej. Hver benchmark i denne artikel kørte det samme M-script på tværs af begge generationer og alle konfigurationer. Fast Copy, Modern Evaluator og Optimized copy to Lakehouse er indstillinger, du slår til, og de ændrer, hvordan motoren kører dine forespørgsler i stedet for selve forespørgslerne. En forbehold: Fast Copy gælder kun for trin, der opfylder dets forudsætninger, så en transformation, der bryder forespørgselsfoldning, falder tilbage til standardmotoren og mister gevinsten. For disse forudsætninger, se Fast copy i Dataflow Gen2.
Er Dataflow Gen2 hurtigere og billigere end Dataflow Gen1?
For arbejdsbelastninger med stort volumen som dem, der benchmarkes i denne artikel, ja, på begge punkter. Dataflow Gen2 kørte mellem 1,7× og 21× hurtigere end Dataflow Gen1-baseline på de samme data og det samme M-script, og det forbrugte 82% til 95% færre kapacitetsenheder i de scenarier, hvor begge generationer blev målt. For eksempel blev en bulkkopi, der tog 01:38:59 i Dataflow Gen1, færdig på 00:09:08 i Dataflow Gen2 med Fast Copy – cirka 11× hurtigere. Forskellen er mindre for kortvarige dataflows, fordi en forespørgsel, der gennemføres inden for de første 10 minutter, aldrig når det billigere 1,5 CU-niveau, så gevinsterne vokser med datavolumen og køretid. For den fulde sammenligning pr. scenarie, se benchmark-resultatoversigten.
Hvor meget kapacitet bruger Dataflow Gen1 sammenlignet med Dataflow Gen2?
I de scenarier, hvor begge generationer blev målt, brugte Dataflow Gen1 flere gange mere kapacitet end Dataflow Gen2 til det samme arbejde med stort volumen. Fast Copy-indtagelsen brugte 84.411 CU-sekunder på Dataflow Gen1 mod 14.593 CU-sekunder på Dataflow Gen2, en reduktion på 83%. Den tunge dataformingsarbejdsbyrde brugte 56.855 CU-sekunder på Dataflow Gen1 mod 10.485 CU-sekunder på Dataflow Gen2, en reduktion på 82%. Workloadn Optimized copy to Lakehouse brugte 50.788 CU-sekunder på Dataflow Gen1 mod 2.391 CU-sekunder på Dataflow Gen2, en reduktion på 95%. Alle tre af disse opdateringer varer langt over 10 minutter, så størstedelen af deres Dataflow Gen2-varighed opkræves ved den lavere hastighed på 1,5 CU. For tallene pr. scenarie, se benchmark-resultatoversigten.
Skal jeg flytte mine Dataflow Gen1 dataflows til Dataflow Gen2?
Ja. Dataflow Gen2 er den nuværende generation af dataflows i Microsoft Fabric, så planlæg at flytte alle Dataflow Gen1 dataflows til den. På tværs af benchmarks i denne artikel afsluttede Dataflow Gen2 det samme M-script 1,7× til 21× hurtigere, mens det forbrugte 82% til 95% færre kapacitetsenheder end Dataflow Gen1 – samme logik, der kører hurtigere og bruger mindre af din kapacitet. De kapabiliteter, der leverer disse gevinster – Fast Copy, Modern Evaluator, Optimized copy to Lakehouse og Partitioned Compute – er kun tilgængelige i Dataflow Gen2, så kløften bliver større og større, efterhånden som disse kapaciteter forbedres. Forvent de største gevinster ved højvolumen, langvarige opdateringer. Når du migrerer, test en repræsentativ arbejdsbyrde for at bekræfte gevinsterne på dine egne data og kapacitet. For at komme i gang, se Dataflow Gen2 oversigt.
Er Dataflow Gen2 blevet mere omkostningseffektivt over tid?
Ja. Den tunge formningsarbejdsmængde i Scenario 2 ville have brugt anslået 66.164 CU-sekunder før 2026 og bruger nu 10.485 CU-sekunder med de nuværende generelt tilgængelige kapaciteter, en reduktion på anslået 84% med identisk logik og uden behov for ændringer. For tal pr. scenarie, se Omkostninger over tid (dengang vs. nu).
Er ældre Dataflow Gen2 omkostnings- og ydelsestal stadig korrekte?
Ikke nødvendigvis. Tallene i denne artikel afspejler den nuværende Dataflow Gen2-prismodel – 12 CU for hvert sekund op til 10 minutters Standard Compute, derefter 1,5 CU for hvert ekstra sekund – sammen med nuværende funktioner som Fast Copy og Modern Evaluator. Fordi Dataflow Gen2 er blevet hurtigere og mere omkostningseffektiv over tid, kan benchmarktal eller omkostningsestimater offentliggjort før 2026 overvurdere de nuværende omkostninger eller undervurdere den nuværende ydeevne. Valider dine egne arbejdsbelastninger mod Microsoft Fabric Capacity Metrics-appen.