Datavirran muunnosten kartoitus datavirran gen2:ssa (Esikatselu)

Important

Datavirran muunnosten kartoitus dataflow gen2:ssa on tällä hetkellä julkisessa esikatselussa ja voi muuttua.

Data Flow Gen2:n datavirran muunnosten (MDF) kartoitus mahdollistaa Spark-pohjaisten datamuuntojen luomisen, suorittamisen ja valvonnan suoraan Data Factoryssa Microsoft Fabric -tilassa.

MDF-muunnokset tuovat Azure Data Factory- ja Azure Synapse Analytics Mapping Data Flowsin ominaisuudet Microsoft Fabric -ohjelmistoon tutun low-code-visuaalisen authoring-kokemuksen kautta, joka on integroitu Dataflow Gen2:een.

MDF-muunnoksilla voit:

  • Migrate existing Azure Data Factory ja Azure Synapse Analytics Mapping Data Flows pipelines into Fabric.
  • Luo uusia Spark-pohjaisia muunnoksia suoraan Fabric-ohjelmassa.
  • Suorita MDF-muunnokset Fabric-dataputkien avulla.
  • Seuraa muunnoksen toteutusta integroiduilla valvontakokemuksilla.
  • Jatka tuttujen Mapping tietovuo -muunnoskuvioiden käyttöä Fabric-sisällä.

Mitä ovat datavirran muunnosten kartoitus?

MDF-muunnokset laajentavat datavirran gen2:ta Spark-pohjaisilla muunnoskyvyillä laajamittaisiin datan valmistelu- ja muunnostyökuormiin.

MDF-muunnokset mahdollistavat:

  • Low-code-visuaalinen luomiskokemus
  • Kipinäpohjainen toteutus
  • Integroitu orkestrointi Fabric-putkiston kautta
  • Seuranta- ja suoritusoivallukset suoraan Fabric-ohjelmassa

Käytä MDF-muunnoksia seuraaviin tarkoituksiin:

  • Migrate existing Azure Data Factory tai Azure Synapse Analytics Mapping Data Flows pipelines to Fabric.
  • Rakenna uusia Spark-pohjaisia muunnosputkia natiivisti Fabric-järjestelmään.

MDF-muunnokset integroituvat täysin Dataflow Gen2:een ja tarjoavat tutun luontikokemuksen, joka muistuttaa Azure Data Factory- ja Azure Synapse Analytics Mapping Data Flowsia.

Kuvakaappaus mapping data flow transform authoring experiencesta, joka on upotettu dataflow gen2 canvasin sisään Microsoft Fabric -ohjelmassa.

Tuetut skenaariot

MDF-muunnokset tukevat tällä hetkellä seuraavia skenaarioita.

Siirrä olemassa olevia Mapping Data Flow -virtoja

Voit siirtää olemassa olevat Azure Data Factory- ja Azure Synapse Analytics Mapping Data Flows -tiedostot Fabric-palveluun Azure Data Factory/Synapse Analyticsin sisäänrakennetun migraatiokokemuksen avulla.

Kuvakaappaus Azure Data Factory -migraatiokokemuksesta, jolla päivitetään Mapping Data Flows -putkia Fabric:iin.

Muuttoliikkeen aikana:

  1. Mapping Data Flows muunnetaan MDF-muunnoksiksi datavirran gen2:ssa.
  2. Putket ja muunnoslogiikka siirretään yhdessä.
  3. MDF-muunnokset ovat avoimia upotetun muunnoskankaan sisällä dataflow gen2:ssa.
  4. Olemassa olevaa muunnoslogiikkaa voidaan jatkaa kirjoittamista, validointia, suoritusta ja valvontaa Fabric-järjestelmässä.

Luo uusia mapping-datavirran muunnoksia Fabric-ohjelmassa

Voit myös luoda uusia MDF-muunnoksia suoraan dataflow gen2:ssa. Tämä kokemus mahdollistaa sinulle:

  • Rakenna Spark-pohjaisia muunnoksia visuaalisen käyttöliittymän avulla.
  • Käytä tuttuja Mapping tietovuo -muunnosominaisuuksia.
  • Suorita muunnokset Fabric-dataputkien avulla.
  • Seuraa suoritusta integroitujen valvontakokemusten avulla.

Edellytykset

Ennen kuin käytät MDF-muunnoksia datavirran gen2:ssa, varmista että seuraavat edellytykset täyttyvät:

  • A Fabric Capacity.
  • Osallistujan tai korkeammat oikeudet Fabric-työtilaan.
  • Olemassa olevat Fabric-yhteydet tuettuihin tietolähteisiin.
  • (Valinnainen) Olemassa oleva Azure Data Factory- tai Azure Synapse Analytics -työtila, jos käytät migraatioskenaarioita.

Rajoitukset

Seuraavat ominaisuudet eivät tällä hetkellä ole tuettuja julkisessa esikatselussa:

alue Rajoitus
Virtaukset Ei tueta.
tietovuo Library Ei tueta.
Käyttäjän määrittelemät funktiot (UDF) Ei tueta.
Datavirran suoritus MDF-muunnokset voidaan suorittaa vain putkiston datavirtatoiminnon kautta. Suora suoritus dataflow gen2:sta ei tällä hetkellä ole tuettua. Vain tallennustoiminto on käytettävissä Tallenna ja käynnistä -valikosta.
Managed näennäisverkko Managed näennäisverkko (Managed VNet) -tuki ei ole saatavilla tässä esikatselussa.
Ajonaikainen suoritus MDF-muunnoksen suoritus käyttää tällä hetkellä taustalla olevaa Synapse Spark -ajonaikaa, joka muistuttaa Azure Data Factory- ja Azure Synapse Analytics Mapping Data Flowsia.
Ominaisuuspariteetti Kaikki Mapping tietovuo -ominaisuudet eivät ole saatavilla tässä esikatselussa.

Tuetut liittimet

MDF-muunnokset tukevat yleisimmin käytettyjä lähde- ja sink-liittimiä, joita on saatavilla Azure Data Factory- ja Azure Synapse Analytics Mapping Data Flows -ohjelmissa.

Seuraavat liittimet ovat tällä hetkellä tuettuja:

Kategoria Tietosäilö MDF-muunnokset datavirran gen2:ssa (lähde/nielu) Tuetut todennustyypit
Azure Azure Blob -säilö ✓/✓ Perus, hallittu identiteetti / työtilan identiteetti, palvelupää
Azure Cosmos DB for NoSQL ✓/✓ Perus
Azure Data Explorer ✓/✓ Hallittu identiteetti / Työtilan identiteetti
Azure Data Lake Storage Gen1 ✓/✓ Perus, hallittu identiteetti / työtilan identiteetti, palvelupää
Azure Data Lake Storage Gen2 ✓/✓ Perus, hallittu identiteetti / työtilan identiteetti, palvelupää
Azure Database for MySQL ✓/✓ Perus
Azure Database for PostgreSQL ✓/✓ Perus
Azure Databricks Delta Lake ✓/✓ Käytä delta-muotoa Perus
Azure SQL -tietokanta ✓/✓ Perus, hallittu identiteetti / työtilan identiteetti, palvelupää
Hallittu Azure SQL -esiintymä ✓/✓ Perus, hallittu identiteetti / työtilan identiteetti, palvelupää
Azure Synapse Analytics ✓/✓ Perus
Database Snowflake ✓/✓ Perus
File Amazon S3 ✓/✓ Perus
SFTP ✓/✓ Perus
Yleinen REST ✓/✓ Perusopetus, palvelurehtori

Kirjoittamisen aikana:

  • Olemassa olevia Fabric-liitoksia voidaan käyttää uudelleen.
  • Uusia yhteyksiä voidaan luoda suoraan luontikokemuksesta Get Data -kokemuksen avulla.
  • Lähde- ja sink-konfiguraatio noudattaa tuttuja Mapping tietovuo -malleja.

Tuetut muunnokset

MDF-muunnokset tarjoavat tutun low-code-visuaalisen muunnoskokemuksen skaalautuvien Spark-pohjaisten datanmuunnosputkien rakentamiseen Fabric-ohjelmassa.

Seuraavat muunnokset ovat tällä hetkellä tuettuja:

Name Kategoria Description
Yhdistelmä Rakenteen muokkaustoiminto Määrittele aggregaatiot, kuten SUM, MIN, MAX ja COUNT, ryhmiteltyinä olemassa olevien tai laskettujen sarakkeiden mukaan.
Alter row Rivin muokkaus Määritä rivien lisäys-, poisto-, päivitys- ja päivityslisäyskäytännöt.
Väittää Rivin muokkaus Määrittele assert-säännöt datavirran riveille.
Näyttelijät Rakenteen muokkaustoiminto Muuta sarakkeiden tietotyyppejä tyypin tarkistuksella.
Ehdollinen jako Useita syötteitä/tulosteita Reititä rivit eri puroille yhteensopivuusehtojen perusteella.
Johdettu sarake Rakenteen muokkaustoiminto Luo uusia sarakkeita tai muokkaa olemassa olevia kenttiä lausekkeiden avulla.
Ulkoinen puhelu Rakenteen muokkaustoiminto Kutsu ulkoiset päätepisteet rivin sisällä jokaiselle riville.
Olemassa Useita syötteitä/tulosteita Tarkista, onko dataa olemassa toisessa lähteessä tai virrassa.
Filter Rivin muokkaus Suodata rivit olosuhteiden mukaan.
Litisty Muotoiluaineet Litistä hierarkkiset rakenteet, kuten JSON-taulukot, riveihin.
Liittyä Useita syötteitä/tulosteita Yhdistä tietoja kahdesta lähteestä tai tietovirrasta.
Haku Useita syötteitä/tulosteita Viitedata toisesta lähteestä tai virrasta.
Uusi haara Useita syötteitä/tulosteita Sovella useita muunnospolkuja samalle virralle.
Jäsennä Muotoiluaineet Jäsennä JSON, rajattu teksti tai XML-muotoiset merkkijonot.
Kääntöpiste Rakenteen muokkaustoiminto Muunna erilaiset riviarvot sarakkeiksi.
Järjestys Rakenteen muokkaustoiminto Luo järjestetyt sijoitukset lajitteluehtojen perusteella.
Valitse Rakenteen muokkaustoiminto Nimeä uudelleen, järjestä uudelleen tai poista sarakkeet.
Nielu - Määrittele muunnetun datan kohde.
Lajitella Rivin muokkaus Lajittele rivit nykyisessä datavirrassa.
Source - Määrittele datavirran lähde.
Stringify Muotoiluaineet Muunna monimutkaiset tyypit merkkijonoarvoiksi.
Korvaava avain Rakenteen muokkaustoiminto Luo kasvavat sijaisavainarvot.
Unionin Useita syötteitä/tulosteita Yhdistä useita tietovirtoja pystysuunnassa.
Palauta alkuperäinen muoto Rakenteen muokkaustoiminto Muunna sarakkeet riviarvoiksi.
Ikkuna Rakenteen muokkaustoiminto Määrittele ikkunapohjaiset aggregaatiot datavirtojen yli.

Luo datavirran muunnos datavirran gen2:ssa

Uuden MDF-muunnoksen luomiseksi Fabric:ssa:

  1. Avaa Fabric-työtilasi.

  2. Valitse Uusi kohde -.

  3. Valitse Dataflow Gen2.

  4. Anna dataflow-gen2-alkiolle nimi ja valitse Luo.

  5. Dataflow gen2 canvasissa käytä jotakin seuraavista vaihtoehdoista:

    • Valitse Run Mapping data flow -muunnoksetdatavirran gen2-kotinauhan New action groupingista.
    • Valitse kankaalta Run Mapping data flow transforms (ADF Mapping Data Flows ) -laatta.

    Kuvakaappaus, jossa näkyy vaihtoehto luoda mapping data flow -muunnos dataflow gen2 -nauhasta Microsoft Fabric:ssa.

    Kuvakaappaus, jossa näkyy vaihtoehto luoda mapping data flow -muunnos dataflow gen2 canvas -laatasta Microsoft Fabric:ssa.

Uusi MDF-muunnostoiminto ilmestyy dataflow gen2 -kankaalle ja avaa upotetun MDF-muunnoksen luontikokemuksen.

Vinkki

MDF-muunnoksen luontikokemus käyttää tuttua visuaalista käyttöliittymää, joka muistuttaa Azure Data Factory- ja Azure Synapse Analytics Mapping Data Flowsia.

Tekijän datavirran muunnokset kartoittavat

Kun olet luonut MDF-muunnoksen, voit alkaa luoda muunnoslogiikkaa.

Ota debug-tila käyttöön

Interaktiiviseen kirjoittamiseen ja datan esikatseluun:

  1. Ota käyttöön Data flow debug -kytkin kelluvasta työkalupalkista.
  2. Odota, että debug-istunto käynnistyy.
  3. Kun se on käytössä, voit esikatsella lähde- ja muunnostietoja luomisen aikana.

Kuvakaappaus mapping data flow transform canvasista, jossa Data flow debug mode on käytössä.

Muistio

Debug-sessioiden käynnistyminen voi kestää useita minuutteja riippuen Sparkin ajonaikaisesta saatavuudesta.

Lisää lähde

Lähteen konfigurointi:

  1. Valitse Lisää lähde.
  2. Valitse yhteystyyppi.
  3. Valitse olemassa oleva Fabric-yhteys tai luo uudet yhteydet suoraan Get Data -kokemuksen kautta tarvittaessa.
  4. Selaa ja valitse lähdetiedosto, taulu tai aineisto.

Kuvakaappaus lähdekonfiguraatioasetuksista mapping data flow transform authoring experiencessa.

Kun olet konfiguroinut lähdeyhteyden ja aineiston, käytä Data preview -välilehteä validoidaksesi ja esikatsotaksesi lähdedataa interaktiivisen luomisen aikana.

Kuvakaappaus Data preview -välilehdestä, joka näyttää lähdedatan mapping data flow transform authoring experiencessa.

Lisää muunnokset

Muunnosten lisäämiseksi:

  1. Valitse kuvake + lähteen tai muunnoksen vierestä.
  2. Valitse muunnostyyppi.
  3. Säädä muunnosasetukset.

Voit jatkaa transformaatiologiikan rakentamista visuaalisen muunnoksen kankaalla.

Kuvakaappaus visuaalisesta muunnosgraafista mapping data flow transform authoring experiencessa.

Aseta allas

Kun muunnoslogiikka on valmis:

  1. Lisää altaan muunnos.
  2. Määritä kohdeyhteys.
  3. Määritä kirjoitusasetukset.

Kuvakaappaus sinkin muunnoskonfiguraatiosta mapping data flow transform authoring experiencessa.

Vahvista ja tallenna

Ennen teloitusta:

  1. Valitse MDF-muunnostyökalupalkista Validoi .

    Kuvakaappaus Validoi-painikkeesta mapping data flow transform -työkalupalkissa.

  2. Ratkaise validointiongelmia, jos niitä raportoidaan.

  3. Valitse Tallenna ja käynnistä -valikosta Tallenna.

    Kuvakaappaus Tallenna ja suorita -valikosta Tallenna -vaihtoehdosta datavirran muunnokseen.

Muistio

Tällä hetkellä vain Save-toiminto on tuettu datavirran gen2:ssa, jossa MDF-muunnokset ovat julkisessa esikatselussa.

Suorita kartoitusdatavirran muunnokset Fabric-putkilla

Suoritat MDF-muunnokset Fabric-dataputkien kautta Dataflow-toiminnolla.

MDF-muunnoksen suorittamiseen:

  1. Luo uusi Fabric-putki.
  2. Lisää Dataflow-toiminto putkeen.
  3. Toimintoasetuksista valitse datavirran gen2-alkio, joka sisältää MDF-muunnoksen.
  4. Valitse MDF-muunnoskysely suoritettavaksi.
  5. Säädä Sparkin ajonaikaiset asetukset tarpeen mukaan.
  6. Validoi ja julkaise putkisto.
  7. Aja putki manuaalisesti tai määritä aikataulu tai laukaisimet.

Kuvakaappaus Fabric-putkesta, jossa on Dataflow-toiminto, joka on konfiguroitu datavirran muunnoksen suorittamista varten.

Säädä Sparkin ajonaikaasetukset

MDF muuntaa ja suorittaa hallitun Spark-ajontimen avulla, joka on integroitu Data Factoryyn Microsoft Fabric -ohjelmistossa. Voit määrittää Sparkin ajonaikaiset asetukset putken suorituksen aikana, mukaan lukien:

  • Laske kokoja
  • Nieluominaisuudet

Kuvakaappaus Sparkin ajonaikaisista konfiguraatioasetuksista Dataflow-toiminnolle Fabric-putkessa.

Seuraa datavirran muunnossuorituksia

Voit seurata MDF-muunnoksen suoritusta seuraavasti:

  • Putkiston lähtöpaneeli

    Kuvakaappaus putkiston tulospaneelista, jossa näkyy datavirran muunnoksen suoritustulokset.

  • Valvontakeskus

    Kuvakaappaus Monitoring Hubista, joka näyttää aktiivisuussuorituksia karttadatavirran muunnoksen suorittamiseksi.

Seurantatietojen katseluun:

  1. Avaa putkiston ajotiedot.
  2. Valitse Dataflow-aktiviteetti Activity Runsista.
  3. Tarkista suorituksen tila ja ajonaikaiset tiedot.

Kuvakaappaus kartoitusdatavirran muunnoksen seurantasivusta, jossa näkyy suoritustilanne ja ajonaikaiset tiedot.

Liittyvä sisältö

  • Last updated on