Rakenna tapahtumapohjaisia putkistoja OneLake-tapahtumilla ja Azure Blob Storage -tapahtumilla

Nykypäivän organisaatiot vaativat analytiikka-alustoiltaan reaaliaikaista reagointikykyä. Kun tietojen käsittely perustuu ajoitettujen töiden suorittamiseen, merkitykselliset tiedot ja toiminnot viivästyvät ja päätökset perustuvat vanhentuneisiin tietoihin. Riippumatta siitä, laskeutuuko tietosi Azure Blob Storageen vai Fabric OneLakeen, ne tulee käsitellä heti, kun ne saapuvat, jotta varmistetaan oikea-aikaiset päätökset ja jatkuva tietojen tuoreus. Fabric-tapahtumat ja Azure-tapahtumat mahdollistavat tämän mahdollistamalla tapahtumapohjaiset tietotyönkulut, jotka reagoivat reaaliajassa uusiin tietoihin ilman manuaalisia käynnistimiä tai aikatauluja.  

Tässä artikkelissa opit määrittämään tapahtumapohjaisen putken, joka käynnistyy automaattisesti, kun uusi tiedosto saapuu OneLakeen tai Azure Blob Storageen, uuden tiedoston käsittelemiseksi ja muuntamiseksi. 

Miksi tapahtumapohjaiset työnkulut? 

Kangastyöt, kuten putket ja muistikirjat, voidaan ajoittaa suoritettavaksi kiintein väliajoin, mutta tiedot eivät aina saavu ennustettavassa aikataulussa. Tämä ristiriita voi johtaa vanhentuneisiin tietoihin ja viivästyneisiin merkityksellisiin tietoihin. Fabric-tapahtumat ja Azure-tapahtumat ratkaisevat tämän ongelman lähettämällä tapahtumia, kun tiedosto luodaan, päivitetään tai poistetaan OneLake- tai Azure Blob -säilössä. Aktivaattori voi käyttää näitä tapahtumia, jotka voivat käynnistää Fabric-kohteita (esimerkiksi putkia tai muistikirjoja) tai Power Automate -työnkulkuja. 

Tämä tapahtumapohjainen työnkulku mahdollistaa:

• Nopeampi oivalluksen saavuttaminen reaaliaikaisen tietojenkäsittelyn avulla
• Pienemmät kustannukset poistamalla tarpeettomat töiden (eli putken tai muistikirjan) ajot
• Parempi automaatio ja reagointikyky tietotyönkuluissa

Tiedostojen automaattinen käsittely ja käsittely tapahtumapohjaisen putken avulla

Tässä opetusohjelmassa kehität ratkaisun, joka suorittaa seuraavat toiminnot:

1. Valvoo OneLaken kansiota uusien CSV-tiedostojen varalta

2. Käynnistää Fabric-putken, kun tiedosto luodaan

3. Käsittelee ja lataa tiedot Lakehouse-taulukkoon ilman manuaalisia toimenpiteitä tai aikataulua.

   

Luo järvitalo

Luodaan ensin lakehouse, johon voit ladata CSV-tiedostot ja saada tuloksena olevan taulukon. 

1. Avaa toinen selaimen välilehti ja kirjaudu sisään Microsoft Fabriciin.

2. Valitse vasemmasta siirtymispalkista Oma työtila .

3. Valitse työtilasivulla Uusi kohde.

4. Valitse Uusi kohde -ruudussa Lakehouse Tallenna tiedot -osassa.

   

5. Kirjoita Uusi lakehouse-ikkunannimeksiTutorialLakehouse ja valitse Luo 

6. Napsauta hiiren kakkospainikkeella Tiedostot-kansiota ja valitse sitten Uusi alikansio 

   

7. Nimeä alikansio Lähde ja valitse Luo 

Rakenna myyntiputkesi

Määritä seuraavaksi putki käsittelemään, muuntamaan ja toimittamaan tietoja Lakehousessa. 

1. Avaa toinen selaimen välilehti ja kirjaudu sisään Microsoft Fabriciin samalla tilillä.

2. Valitse vasemmasta siirtymispalkista Oma työtila .

3. Valitse työtilasivulla Uusi kohde.

4. Valitse Uusi kohde -ruudussa Nouda tiedot -osiosta Putki.

5. Anna sille nimeksi TutorialPipeline ja valitse Luo 

6. Valitse Putki-kohdassa Putki-toiminto ja valitse sitten Kopioi tiedot.

   

7. Kopioi tiedot seuraavilla ominaisuuksilla:

   1. Kirjoita Yleiset-välilehdenNimi-kohtaanCSVtoTable.

      

   2. Toimi Lähde-välilehdessä seuraavasti:

      1. Valitse Yhteys-kohdassa aiemmin luomasi TutorialLakehouse .

      

      1. Valitse Pääkansio-kohdassaTiedostot.
      2. Valitse Tiedostopolku-kohdassaHakemiston Lähde .
      3. Valitse Tiedostomuoto-kohdassaDelimitedText.

      

   3. Kohde-välilehdellä:

      1. Valitse Yhteys-kohdassaTutorialLakehouse.
      2. Valitse Pääkansio-kohdassaTaulukot.
      3. Valitse Taulukko-kohdassa+ Uusi ja kirjoita taulukon nimeksi Myynti .

      

   4. Valitse Yhdistäminen-välilehdellä:

      1. Lisää kaksi yhdistämismääritystä:

         1. date -> Päivämäärä

         2. yhteensä -> SalesValue

            

8. Tallenna putki yläreunan työkalupalkin Tallenna-painikkeella .

   

Määritä hälytys Fabric Activatorin avulla

1. Avaa toinen selaimen välilehti ja kirjaudu sisään Microsoft Fabriciin samalla tilillä.

2. Valitse vasemmassa siirtymisruudussa Var Reaaliaikainen.

3. Valitse Real-Time keskuksessa Fabric-tapahtumat. 

4. Vie hiiren kursori OneLake-tapahtumien päälle ja valitse Aseta hälytys -painike (tai) valitse ... (kolme pistettä) ja valitse sitten Määritä hälytys aloittaaksesi ilmoituksen määrittämisen. 

   

5. Valitse Aseta hälytys -ikkunan Lähde-kohdastaValitse tapahtumat.

   

6. Valitse Määritä yhteysasetukset -ikkunan Tapahtumatyyppi-kohdassaMicrosoft.Fabric.OneLake.FileCreated - ja Microsoft.Fabric.OneLake.FileDeleted-tapahtumat .

   

7. Valitse Valitse tapahtumien tietolähde -osiossa Lisää OneLake-lähde.

   

8. Valitse OneLake-luetteloikkunassaTutorialLakehouse ja valitse sitten Seuraava.

   

9. Laajenna seuraavalla sivulla Tiedostot, valitse Lähde ja valitse sitten Seuraava.

   

10. Valitse Määritä yhteysasetukset -sivulla Seuraava.

11. Valitse Tarkista + yhdistä -sivulla Tallenna.

12. Toimi nyt Määritä hälytys -ruudussa seuraavasti:

    1. Valitse Toiminto-kohdassaSuorita kangaskohde.

    2. Valitse Työtila-kohdassa työtila, jossa loit putken.

    3. Valitse Kohde-kohdassaTutorialPipeline.

    4. Valitse Tallenna sijainti -osassa työtila, johon haluat luoda Fabric-aktivaattorikohteen ilmoituksen kanssa.

    5. Valitse Kohde-kohdassaLuo uusi kohde.

    6. Kirjoita Uuden kohteen nimi -kohtaan TutorialActivator.

    7. Valitse Luo.

       

Tämä asennus varmistaa, että putki suoritetaan välittömästi aina, kun uusi tiedosto ilmestyy lähdekansioon.

Työnkulun testaaminen

Työnkulun testaaminen:

• Lataa tämä CSV-tiedostoTutorialLakehousen Source-kansioon. Sulje Lataa tiedostot -ruutu, kun olet ladannut tiedoston.

  

• FileCreated-tapahtuma lähetetään käynnistämään TutorialPipelineTutorialActivatorin kautta. 

• Käsittelyn jälkeen näet Sales-taulukon, joka sisältää juuri käsitellyt ja muunnetut tiedot käyttövalmiina. Koska tämä on ensimmäinen kerta, kun pudotat tiedoston, anna sille muutama minuutti aikaa nähdä taulukko, jossa on tietoja.

  

Ei manuaalista päivitystä. Ei seuraavan aikataulun mukaisen ajon odottelua. Myyntiputkesi toimii reaaliajassa.

Tuloksena on saumaton automaatio Vain muutamalla vaiheella rakensit responsiivisen, tapahtumapohjaisen työnkulun. Aina kun tiedot saapuvat Lakehouseen tiedostona, ne otetaan käyttöön, muunnetaan automaattisesti ja ovat valmiita loppupään analytiikkaa varten. 

Vaikka tämä opetusohjelma keskittyi OneLake-tapahtumiin, voit saavuttaa saman skenaarion käyttämällä Azure Blob Storage -tapahtumia. 

Lisää käyttötapauksia tapahtumapohjaisiin skenaarioihin

Tutkimamme käyttötapauksen lisäksi tässä on lisää skenaarioita, joissa voit käyttää OneLake- ja Azure Blob Storage -tapahtumia Microsoft Fabricissa:

• Käynnistä muistikirjaaktivaattorin avulla edistynyttä datatieteen esikäsittelyä varten
• Välitä tapahtumat webhookiinEventstreamsin kautta mukautettuja yhteensopivuus- ja tietojen laatutarkistuksia varten. 
• Saat hälytyksen, kun kriittisiä tietojoukkoja muokataan Activatorin Teams- ja sähköposti-ilmoitusten kautta. 

Aiheeseen liittyvä sisältö

• Azure- ja Fabric-tapahtumien yleiskatsaus OneLake-tapahtumat:
• Tutustu Fabric Onelake -tapahtumiin
• Aseta hälytykset Onelake-tapahtumista
• Hanki Onelake-tapahtumat Azure Blob Storage events:
• Tutustu Azure Blob Storage -tapahtumiin
• Azure Blob -säilön tapahtumien ilmoitusten määrittäminen
• Get Azure Blob Storage events