Jaa

Tapahtumapohjaisten putkien luominen Microsoft Fabricissa Azure- ja Fabric-tapahtumien avulla

Nykypäivän organisaatiot vaativat analytiikka-alustoiltaan reaaliaikaista reagointikykyä. Kun tietojen käsittely perustuu ajoitettujen töiden suorittamiseen, merkitykselliset tiedot ja toiminnot viivästyvät ja päätökset perustuvat vanhentuneisiin tietoihin. Riippumatta siitä, laskeutuuko tietosi Azure Blob Storageen vai Fabric OneLakeen, ne tulee käsitellä heti, kun ne saapuvat, jotta varmistetaan oikea-aikaiset päätökset ja jatkuva tietojen tuoreus. Fabric-tapahtumat ja Azure-tapahtumat mahdollistavat tämän mahdollistamalla tapahtumapohjaiset tietotyönkulut, jotka reagoivat reaaliajassa uusiin tietoihin ilman manuaalisia käynnistimiä tai aikatauluja.  

Tässä artikkelissa opit määrittämään tapahtumapohjaisen putken, joka käynnistyy automaattisesti, kun uusi tiedosto saapuu OneLakeen tai Azure Blob Storageen, uuden tiedoston käsittelemiseksi ja muuntamiseksi. 

Miksi tapahtumapohjaiset työnkulut? 

Kangastyöt, kuten putket ja muistikirjat, voidaan ajoittaa suoritettavaksi kiintein väliajoin, mutta tiedot eivät aina saavu ennustettavassa aikataulussa. Tämä ristiriita voi johtaa vanhentuneisiin tietoihin ja viivästyneisiin merkityksellisiin tietoihin. Fabric-tapahtumat ja Azure-tapahtumat ratkaisevat tämän ongelman lähettämällä tapahtumia, kun tiedosto luodaan, päivitetään tai poistetaan OneLake- tai Azure Blob -säilössä. Aktivaattori voi käyttää näitä tapahtumia, jotka voivat käynnistää Fabric-kohteita (esimerkiksi putkia tai muistikirjoja) tai Power Automate -työnkulkuja. 

Tämä tapahtumapohjainen työnkulku mahdollistaa:

  • Nopeampi oivalluksen saavuttaminen reaaliaikaisen tietojenkäsittelyn avulla
  • Pienemmät kustannukset poistamalla tarpeettomat töiden (eli putken tai muistikirjan) ajot
  • Parempi automaatio ja reagointikyky tietotyönkuluissa

Tiedostojen automaattinen käsittely ja käsittely tapahtumapohjaisen putken avulla

Tässä opetusohjelmassa kehität ratkaisun, joka suorittaa seuraavat toiminnot:

  1. Valvoo OneLaken kansiota uusien CSV-tiedostojen varalta

  2. Käynnistää Fabric-putken, kun tiedosto luodaan

  3. Käsittelee ja lataa tiedot Lakehouse-taulukkoon ilman manuaalisia toimenpiteitä tai aikataulua.

    Näyttökuva kaaviosta, joka näyttää ratkaisun arkkitehtuurin.

Luo järvitalo

Luodaan ensin lakehouse, johon voit ladata CSV-tiedostot ja saada tuloksena olevan taulukon. 

  1. Avaa toinen selaimen välilehti ja kirjaudu sisään Microsoft Fabriciin.

  2. Valitse vasemmasta siirtymispalkista Oma työtila .

  3. Valitse työtilasivulla Uusi kohde.

  4. Valitse Uusi kohde -ruudussa Lakehouse Tallenna tiedot -osassa.

    Näyttökuva Uusi kohde -ruudusta, jossa Lakehouse on valittuna.

  5. Kirjoita Uusi lakehouse-ikkunannimeksiTutorialLakehouse ja valitse Luo 

  6. Napsauta hiiren kakkospainikkeella Tiedostot-kansiota ja valitse sitten Uusi alikansio 

    Kuvakaappaus lakehouse-sivusta, jossa Uusi alikansio -valikko on korostettuna.

  7. Nimeä alikansio Lähde ja valitse Luo 

Rakenna myyntiputkesi

Määritä seuraavaksi putki käsittelemään, muuntamaan ja toimittamaan tietoja Lakehousessa. 

  1. Avaa toinen selaimen välilehti ja kirjaudu sisään Microsoft Fabriciin samalla tilillä.

  2. Valitse vasemmasta siirtymispalkista Oma työtila .

  3. Valitse työtilasivulla Uusi kohde.

  4. Valitse Uusi kohde -ruudussa Nouda tiedot -osiosta Putki.

  5. Anna sille nimeksi TutorialPipeline ja valitse Luo 

  6. Valitse Putki-kohdassa Putki-toiminto ja valitse sitten Kopioi tiedot.

    Näyttökuva Pipeline-sivusta, jossa on Kopioi putki -toiminto.

  7. Kopioi tiedot seuraavilla ominaisuuksilla:

    1. Kirjoita Yleiset-välilehdenNimi-kohtaanCSVtoTable.

      Näyttökuva Kopioi-tehtävän Yleiset-välilehdestä.

    2. Toimi Lähde-välilehdessä seuraavasti:

      1. Valitse Yhteys-kohdassa aiemmin luomasi TutorialLakehouse .

      Näyttökuva Kopioi-toiminnon Lähde-välilehdestä, jossa TutorialLakehouse on valittuna.

      1. Valitse Pääkansio-kohdassaTiedostot.
      2. Valitse Tiedostopolku-kohdassaHakemiston Lähde .
      3. Valitse Tiedostomuoto-kohdassaDelimitedText.

      Näyttökuva Kopioi-tehtävän Lähde-välilehdestä, jossa kaikki kentät on täytetty.

    3. Kohde-välilehdellä:

      1. Valitse Yhteys-kohdassaTutorialLakehouse.
      2. Valitse Pääkansio-kohdassaTaulukot.
      3. Valitse Taulukko-kohdassa+ Uusi ja kirjoita taulukon nimeksi Myynti .

      Näyttökuva Kopioi-tehtävän Kohde-välilehdestä, jossa kaikki kentät on täytetty.

    4. Valitse Yhdistäminen-välilehdellä:

      1. Lisää kaksi yhdistämismääritystä:

        1. date -> Päivämäärä

        2. yhteensä -> SalesValue

          Näyttökuva Kopioi-tehtävän Yhdistämismääritys-välilehdestä.

  8. Tallenna putki yläreunan työkalupalkin Tallenna-painikkeella .

    Kuvakaappaus putkieditorista.

Määritä hälytys Fabric Activatorin avulla

  1. Avaa toinen selaimen välilehti ja kirjaudu sisään Microsoft Fabriciin samalla tilillä.

  2. Valitse vasemmassa siirtymisruudussa Var Reaaliaikainen.

  3. Valitse Real-Time keskuksessa Fabric-tapahtumat. 

  4. Vie hiiren kursori OneLake-tapahtumien päälle ja valitse Aseta hälytys -painike (tai) valitse ... (kolme pistettä) ja valitse sitten Määritä hälytys aloittaaksesi ilmoituksen määrittämisen. 

    Näyttökuva Real-Time-keskuksesta, jossa OneLake-tapahtumille on valittu Aseta hälytys -valikkovaihtoehto.

  5. Valitse Aseta hälytys -ikkunan Lähde-kohdastaValitse tapahtumat.

    Näyttökuva Aseta hälytys -ikkunasta.

  6. Valitse Määritä yhteysasetukset -ikkunan Tapahtumatyyppi-kohdassaMicrosoft.Fabric.OneLake.FileCreated - ja Microsoft.Fabric.OneLake.FileDeleted-tapahtumat .

    Näyttökuva Määritä yhteysasetukset -ikkunasta, jossa on valittuna Tiedosto luotu- ja Poistettu-tapahtumat.

  7. Valitse Valitse tapahtumien tietolähde -osiossa Lisää OneLake-lähde.

    Näyttökuva Määritä yhteysasetukset -ikkunasta, jossa Lisää OneLake-lähde -painike on korostettuna.

  8. Valitse OneLake-luetteloikkunassaTutorialLakehouse ja valitse sitten Seuraava.

    Näyttökuva OneLake-luetteloikkunasta, jossa TutorialLakehouse on valittuna.

  9. Laajenna seuraavalla sivulla Tiedostot, valitse Lähde ja valitse sitten Seuraava.

    Näyttökuva OneLake-luetteloikkunasta, jossa Lähdekansio on valittuna.

  10. Valitse Määritä yhteysasetukset -sivulla Seuraava.

  11. Valitse Tarkista + yhdistä -sivulla Tallenna.

  12. Toimi nyt Määritä hälytys -ruudussa seuraavasti:

    1. Valitse Toiminto-kohdassaSuorita kangaskohde.

    2. Valitse Työtila-kohdassa työtila, jossa loit putken.

    3. Valitse Kohde-kohdassaTutorialPipeline.

    4. Valitse Tallenna sijainti -osassa työtila, johon haluat luoda Fabric-aktivaattorikohteen ilmoituksen kanssa.

    5. Valitse Kohde-kohdassaLuo uusi kohde.

    6. Kirjoita Uuden kohteen nimi -kohtaan TutorialActivator.

    7. Valitse Luo.

      Näyttökuva Määritä hälytys -ikkunasta, jossa toiminnolle on valittu Suorita kangaskohde -vaihtoehto.

Tämä asennus varmistaa, että putki suoritetaan välittömästi aina, kun uusi tiedosto ilmestyy lähdekansioon.

Näyttökuva Määritä yhteysasetukset -ikkunasta.

Työnkulun testaaminen

Työnkulun testaaminen:

  • Lataa tämä CSV-tiedostoTutorialLakehousen Source-kansioon. Sulje Lataa tiedostot -ruutu, kun olet ladannut tiedoston.

    Näyttökuva OneLake-sivusta, jossa on valittuna Lataa tiedostoja -valikko.

  • FileCreated-tapahtuma lähetetään käynnistämään TutorialPipelineTutorialActivatorin kautta. 

  • Käsittelyn jälkeen näet Sales-taulukon, joka sisältää juuri käsitellyt ja muunnetut tiedot käyttövalmiina. Koska tämä on ensimmäinen kerta, kun pudotat tiedoston, anna sille muutama minuutti aikaa nähdä taulukko, jossa on tietoja.

    Kuvakaappaus Lakehousesta, jossa myyntitaulukko on korostettu.

Ei manuaalista päivitystä. Ei seuraavan aikataulun mukaisen ajon odottelua. Myyntiputkesi toimii reaaliajassa.

Tuloksena on saumaton automaatio Vain muutamalla vaiheella rakensit responsiivisen, tapahtumapohjaisen työnkulun. Aina kun tiedot saapuvat Lakehouseen tiedostona, ne otetaan käyttöön, muunnetaan automaattisesti ja ovat valmiita loppupään analytiikkaa varten. 

Vaikka tämä opetusohjelma keskittyi OneLake-tapahtumiin, voit saavuttaa saman skenaarion käyttämällä Azure Blob Storage -tapahtumia. 

Lisää käyttötapauksia tapahtumapohjaisiin skenaarioihin

Tutkimamme käyttötapauksen lisäksi tässä on lisää skenaarioita, joissa voit käyttää OneLake- ja Azure Blob Storage -tapahtumia Microsoft Fabricissa:

  • Käynnistä muistikirjaaktivaattorin avulla edistynyttä datatieteen esikäsittelyä varten
  • Välitä tapahtumat webhookiinEventstreamsin kautta mukautettuja yhteensopivuus- ja tietojen laatutarkistuksia varten. 
  • Saat hälytyksen, kun kriittisiä tietojoukkoja muokataan Activatorin Teams- ja sähköposti-ilmoitusten kautta. 

Aiheeseen liittyvä sisältö

Azure- ja Fabric-tapahtumat

  • Last updated on