Data Factoryn alusta loppuun -skenaario: johdanto ja arkkitehtuuri
Tämän opetusohjelman avulla voit nopeuttaa Data Factoryn arviointiprosessia Microsoft Fabricissa tarjoamalla vaiheittaiset ohjeet täydelliseen tietojen integrointiskenaarioon tunnin kuluessa. Tämän opetusohjelman loppuun mennessä ymmärrät Data Factoryn arvon ja tärkeimmät ominaisuudet sekä tiedät, miten voit suorittaa yleisen tietojen integroinnin päästä päähän -skenaarion.
Yleiskatsaus: Miksi Data Factory Microsoft Fabricissa?
Tässä osiossa kerrotaan Fabricin roolista ja Data Factoryn roolista siinä.
Microsoft Fabric -arvon ymmärtäminen
Microsoft Fabric tarjoaa yhden luukun kaikkiin analyyttiseen tarpeisiin jokaiselle yritykselle. Se kattaa kaikki palvelut, kuten tietojen siirron, tallennustilan, tietotekniikan, tietojen integroinnin ja datatieteen, reaaliaikaisen analytiikan ja liiketoimintatiedon. Fabric-funktiolla ei tarvitse ommella yhteen eri toimittajien palveluja. Käyttäjät nauttivat sen sijaan päästä päähän -, erittäin integroidusta, yksittäisestä ja kattavasta tuotteesta, joka on helppo ymmärtää, ottaa käyttöön, luoda ja käyttää.
Data Factory -arvon ymmärtäminen Microsoft Fabricissa
Fabricin Data Factoryssa yhdistyvät Power Queryn käytön helppous Azure Data Factoryn skaalautumiseen ja tehoon. Se tuo kummankin tuotteen parhaat puolet yhteen yhtenäiseksi kokemukseksi. Tavoitteena on varmistaa, että Data Integration in Factory toimii hyvin sekä kansalaistietokehittäjille että ammattitietokehittäjille. Se tarjoaa vähäisen koodin, tekoälyä hyödyntävät tietojen valmistelu- ja muuntamiskokemukset, petatavuasteikon muunnoksen, satoja liittimiä, joissa on hybridi, monipilviyhteys. Purview tarjoaa hallintaa ja palvelun ominaisuuksia, kuten yritys skaalautuvaa data/op-sitoumusta, CI/CD:tä, sovelluksen elinkaaren hallintaa ja seurantaa.
Johdanto – Data Factoryn kolmen tärkeän ominaisuuden ymmärtäminen
- Tietojen käsittely: Jaksojen Kopioi toiminta -toiminnon avulla voit siirtää petatavuasteikon tietoja sadoista tietolähteistä data Lakehouse -tietolähteeseen jatkokäsittelyä varten.
- Tietojen muuntaminen ja valmistelu: Tietovuo Gen2 tarjoaa vähäisen koodin liittymän tietojen muuntamiseen yli 300 tietojen muunnosten avulla, ja sen avulla voit ladata muunnetut tulokset useisiin kohteisiin, kuten Azuren SQL-tietokantoihin, Lakehouseen ja moniin muihin kohteisiin.
- Integroinnin työnkulun päästä päähän -automaatio: Putket tarjoavat orkestroinnin toiminnoille, jotka sisältävät kopiointi-, tietovuo- ja muistikirjatoiminnot, ja paljon muuta. Näin voit hallita kaikkia toimintoja yhdessä paikassa. Jakson toiminnot voidaan ketjuttaa yhteen, jotta ne toimivat peräkkäin, tai ne voivat toimia itsenäisesti rinnakkain.
Tässä tietojen integroinnin päästä päähän -käyttötapauksessa opit
- Tietojen käyttö putken kopioavustajan avulla
- Tietojen muuntaminen käyttämällä tietovuota joko kooditta tai kirjoittamalla oma koodisi, jolla käsitellään tietoja komentosarja- tai muistikirjatoiminnolla
- Miten voit automatisoida koko tietojen integroinnin päästä päähän -työnkulun käyttämällä putkea, joka sisältää käynnistimiä ja joustavia ohjausobjektin työnkulun toimintoja.
Arkkitehtuuri
Seuraavien 50 minuutin aikana sinun tehtäväsi on toteuttaa tietojen integroinnin päästä päähän -skenaario. Tähän sisältyy raakatietojen käyttö lähdekaupasta Lakehousen pronssitaulukkoon, kaikkien tietojen käsitteleminen, niiden siirtäminen Lakehouse-tietolähteen Gold-taulukkoon, sähköpostiviestin lähettäminen ilmoittamaan sinulle, kun kaikki työt on tehty, ja lopuksi koko työnkulun määrittäminen suoritettavaksi ajoitetusti.
Skenaario on jaettu kolmeen moduuliin:
- Moduuli 1: Luo Data Factorylla putki, jonka avulla voit käsitellä raakatietoja Blob-tallennustilasta data Lakehousessa sijaitsevaan pronssitaulukkoon.
- Moduuli 2: Tietojen muuntaminen datavuon avulla Data Factoryssa raakatietojen käsittelemiseksi pronssitaulukosta ja niiden siirtämiseksi Gold-taulukkoon data Lakehouse -tiedoissa.
- Moduuli 3: Suorita ensimmäinen tietojen integrointimatka , jotta saat sähköpostin, jossa ilmoitetaan, kun kaikki työt on tehty, ja lopuksi määritä koko työnkulku suoritettavaksi ajoittettuna.
Opetusohjelman tietolähteenä käytetään nyc-taxi-mallitietojoukkoa. Kun olet valmis, saat tietoa taksin hintojen päivittäisistä alennuksista tietyn ajan käyttämällä Microsoft Fabricin Data Factorya.
Liittyvä sisältö
Tässä johdannossa opit, mitä olet oppinut päästä päähän -opetusohjelmasta, joka koskee tietojen ensimmäistä integrointia Data Factoryn avulla Microsoft Fabricissa:
- Microsoft Fabricin arvo ja rooli
- Data Factoryn arvo ja rooli Fabricissa
- Data Factoryn tärkeimmät ominaisuudet
- Tässä opetusohjelmassa opit
Luo tietoputki jatkamalla seuraavaan osioon.