Lakehouse-kohteen lisääminen tapahtumavirtaan

Tässä artikkelissa kerrotaan, miten voit lisätä Lakehouse-kohteen kohdesijainniksi Microsoft Fabric -tapahtumavirtojen tapahtumavirtaan.

Muistiinpano

Jos haluat käyttää esiversiossa olevia parannettuja ominaisuuksia, valitse yläosasta Parannetut ominaisuudet . Muussa tapauksessa valitse Vakio-ominaisuudet. Lisätietoja esiversioiden parannetuista ominaisuuksista on artikkelissa Fabric-tapahtumavirtojen esittely.

Tärkeä

Tietojen kirjoittamisessa Lakehousen kohdetaulukkoon on rakennevalvontaa . Kaikkien taulukon uusien kirjoitusten on oltava yhteensopivia kohdetaulukon rakenteen kanssa kirjoitusaikana, mikä takaa tietojen laadun.

Kun tuloste kirjoitetaan uuteen delta-taulukkoon, taulukon rakenne luodaan ensimmäisen tietueen perusteella. Kaikki tulostetietojen tietueet projisoidaan olemassa olevan taulukon rakenteeseen.

Jos saapuvissa tiedoissa on sarakkeita, jotka eivät ole olemassa olevassa taulukon rakenteessa, ylimääräisiä sarakkeita ei sisällytetä taulukkoon kirjoitettuihin tietoihin. Samoin jos saapuvista tiedoista puuttuu sarakkeita, jotka ovat olemassa olevassa taulukon rakenteessa, puuttuvat sarakkeet kirjoittavat taulukkoon arvot tyhjäarvoina.

Edellytykset

• Käyttöoikeus Fabric Premium -työtilaan, jossa tapahtumavirtasi sijaitsee Osallistuja-oikeudella tai korkeammilla käyttöoikeuksilla.
• Käyttöoikeus Premium-työtilaan, jossa Lakehouse sijaitsee Osallistuja-oikeudella tai korkeammilla käyttöoikeuksilla.

Muistiinpano

Yhden tapahtumavirran lähteiden ja kohteiden enimmäismäärä on 11.

Lisää lakehouse kohdesijainniksi

Jos haluat lisätä Lakehouse-kohteen oletus- tai johdettuun tapahtumavirtaan, toimi seuraavasti.

1. Valitse tapahtumavirran Muokkaa-tilassa valintanauhasta Lisää kohde ja valitse lakehouse avattavasta luettelosta.

   

2. Näyttöyhteys Lakehouse-solmun suoratoistosolmullesi tai -operaattorillesi.

3. Täytä Lakehousen määritysnäytössä seuraavat tiedot:

   1. Anna kohdenimi.
   2. Valitse Työtila , joka sisältää Lakehouse-talosi.
   3. Valitse aiemmin luotu Lakehouse määrittämästäsi työtilasta.
   4. Valitse aiemmin luotu Delta-taulukko tai luo uusi taulukko tietojen vastaanottamista varten.
   5. Valitse Lakehouse-tallennustilaan lähetetty syötetietomuoto . Tuettuja tietomuotoja ovat JSON, Avro ja CSV (otsikoilla).

   

4. Valitse Lisäasetukset.

5. Lakehouse-kohteeseen on saatavilla kaksi käsittelytilaa. Määritä skenaariosi perusteella nämä tilat optimoimaan, miten Fabric-tapahtumavirrat kirjoittavat Lakehouselle.

   • Vähimmäisrivit ovat ne rivit, joita Lakehouse käyttää yksittäisessä tiedostossa. Pienin arvo on yksi rivi, ja suurin arvo on 2 miljoonaa riviä tiedostoa kohden. Mitä pienempi rivien vähimmäismäärä on, sitä enemmän tiedostoja Lakehouse luo tietojen käsittelemisen aikana.

   • Enimmäiskesto on enimmäiskesto, joka lakehousella kestää yksittäisen tiedoston käyttöön. Pienin arvo on 1 minuutti ja suurin arvo on 2 tuntia. Mitä kauemmin kesto on, sitä enemmän rivejä käsitellään tiedostossa.

   

6. Valitse Tallenna.

7. Jos haluat ottaa käyttöön juuri lisätyn Lakehouse-kohteen, valitse Julkaise.

   

Kun olet suorittanut nämä vaiheet, Lakehouse-kohde on visualisoitavissa reaaliaikaisessa näkymässä. Tiedot-ruudussa voit valita Optimoi taulukko muistikirjassa -pikakuvakkeen käynnistääksesi Apache Spark -työn muistikirjassa, joka kokoaa target lakehouse -taulukon pienet virtautettavat tiedostot.

Liittyvä sisältö

Lisätietoja muiden kohteiden lisäämisestä tapahtumavirtaan on seuraavissa artikkeleissa:

• Tapahtumien reititys kohteisiin
• Mukautetun sovelluksen kohde
• Johdettu stream-kohde
• KQL-tietokannan kohde
• Refleksin kohde
• Luo tapahtumavirta

Edellytykset

Ennen kuin aloitat, sinun on täytettävä seuraavat edellytykset:

• Hanki käyttöoikeus Premium-työtilaan Osallistuja-oikeudella tai yllä -oikeuksilla, joissa tapahtumavirtasi sijaitsee.
• Hanki premium-työtilan käyttöoikeus Osallistuja-oikeudella tai yllä -oikeuksilla, joissa Lakehouse-tallennustilasi sijaitsee.

Muistiinpano

Yhden tapahtumavirran lähteiden ja kohteiden enimmäismäärä on 11.

Lisää lakehouse kohdesijainniksi

Jos työtilassasi on luotu Lakehouse, lisää Lakehouse tapahtumavirtaasi kohdesijainniksi noudattamalla seuraavia ohjeita:

1. Valitse valintanauhasta uusi kohde tai+ pääeditorin pohjasta Uusi kohde ja valitse sitten Lakehouse. Lakehousen kohdemääritysnäyttö tulee näkyviin.

2. Anna eventstream-kohteen nimi ja anna lakehouse-tietosi.

   

   1. Lakehouse: Valitse aiemmin luotu Lakehouse määrittämästäsi työtilasta.

   2. Delta-taulukko: Valitse aiemmin luotu delta-taulukko tai luo uusi tietojen vastaanottamista varten.

      Muistiinpano

      Kun kirjoitat tietoja Lakehouse-taulukkoon, kyse on Skeeman täytäntöönpanosta. Tämä tarkoittaa sitä, että kaikkien taulukon uusien kirjoitusten on oltava yhteensopivia kohdetaulukon rakenteen kanssa kirjoitusaikana, mikä takaa tietojen laadun.

      Kaikki tulostetietojen tietueet projisoidaan olemassa olevan taulukon rakenteeseen. Kun kirjoitat tulostetta uuteen delta-taulukkoon, taulukon rakenne luodaan ensimmäisen tietueen perusteella. Jos saapuvilla tiedoilla on lisäsarake verrattuna olemassa olevaan taulukon rakenteeseen, se kirjoittaa taulukkoon ilman ylimääräistä saraketta. Jos saapuvista tiedoista puolestaan puuttuu sarake olemassa olevaan taulukon rakenteeseen verrattuna, se kirjoittaa taulukkoon, jonka sarakkeen arvo on tyhjäarvo.

   3. Syötä tietomuoto: Valitse Lakehouse-tallennustilaan lähetettyjen tietojen (syötetietojen) muoto.

      Muistiinpano

      Tuettuja syötetapahtuman tietomuotoja ovat JSON, Avro ja CSV (otsikoilla).

   4. Tapahtuman käsittely: Tapahtuman käsittely -editorin avulla voit määrittää, miten tietoja käsitellään ennen niiden lähettämistä Lakehouse-laitteeseesi. Avaa tapahtuman käsittelyeditori valitsemalla Avaa tapahtuman käsittelijä . Jos haluat lisätietoja reaaliaikaisen käsittelyn käytöstä tapahtuman käsittelijän avulla, lue artikkeli Tapahtumatietojen käsittely tapahtumien käsittelijän editorilla. Kun olet valmis editorin kanssa, valitse Valmis palataksesi Lakehousen kohdemääritysnäyttöön.

      

3. Lakehouse-kohteeseen on saatavilla kaksi käsittelytilaa. Valitse jokin näistä tiloista optimoidaksesi, miten Fabric-tapahtuman stream-ominaisuus kirjoittaa Lakehouselle skenaariosi mukaan.

   1. Rivit tiedostoa kohti – Lakehousen yksittäisessä tiedostossa käyttämän rivien vähimmäismäärä. Mitä pienempi rivien vähimmäismäärä on, sitä enemmän tiedostoja Lakehouse luo tietojen käsittelemisen aikana. Pienin arvo on yksi rivi. Suurin sallittu arvo on 2 miljoonaa riviä tiedostoa kohden.

   2. Duration – Lakehousen enimmäiskesto yksittäisen tiedoston käyttöön. Mitä kauemmin kesto on, tiedostoon lisätään enemmän rivejä. Pienin arvo on 1 minuutti ja suurin arvo on 2 tuntia.

      

4. Lisää Lakehouse-kohde valitsemalla Lisää .

5. Lakehouse-kohdesijainnissa käytettävissä oleva taulukon optimoinnin pikakuvake. Tämä ratkaisu helpottaa käynnistämällä Spark-työn muistikirjassa, joka yhdistää nämä pienet suoratoistettavat tiedostot kohteen Lakehouse-taulukkoon.

   

6. Pohjalle ilmestyy lakehouse-kohde, jossa on pyörivä tilailmaisin. Järjestelmän tilaksi muuttaminen aktiiviseksi kestää muutaman minuutin.

   

Hallitse kohdetta

Muokkaa/poista: Voit muokata tai poistaa tapahtumavirran kohdetta joko siirtymisruudun tai pohjan kautta.

Kun valitset Muokkaa, pääeditorin oikealle puolelle avautuu muokkausruutu. Voit muokata määritystä haluamallasi tavalla, mukaan lukien tapahtuman muunnoslogiikan tapahtumankäsittelyeditorin kautta.

Liittyvä sisältö

Lisätietoja muiden kohteiden lisäämisestä tapahtumavirtaan on seuraavissa artikkeleissa:

• Tapahtumien reititys kohteisiin
• Mukautetun sovelluksen kohde
• KQL-tietokannan kohde
• Refleksin kohde
• Luo tapahtumavirta