Legge til et lakehouse-mål i en eventstream
Denne artikkelen viser deg hvordan du legger til et lakehouse som et reisemål i en eventstream i Microsoft Fabric eventstreams. For optimalisert strømmingsytelse og sanntidsspørring kan du vurdere å strømme data til et eventhouse med å legge til Eventhouse-destinasjon i en eventstream og deretter aktivere Eventhouse OneLake-tilgjengelighet.
Merk
Hvis du vil bruke forbedrede funksjoner som er i forhåndsvisning, velger du Forbedrede funksjoner øverst. Ellers velger du Standardfunksjoner. Hvis du vil ha informasjon om forbedrede funksjoner som er i forhåndsversjon, kan du se Innføring i fabric-hendelsesstrømmer.
Viktig
Det er skjemahåndhevelse for å skrive data inn i en lakehouse destinasjonstabell. Alle nye skrivere til tabellen må være kompatible med måltabellens skjema ved skrivetid, noe som sikrer datakvaliteten.
Når utdata skrives til en ny deltatabell, opprettes tabellskjemaet basert på den første posten. Alle poster med utdata projiseres på skjemaet for den eksisterende tabellen.
Hvis de innkommende dataene har kolonner som ikke er i det eksisterende tabellskjemaet, inkluderes ikke de ekstra kolonnene i dataene som er skrevet til tabellen. Likeledes, hvis de innkommende dataene mangler kolonner som er i det eksisterende tabellskjemaet, skriver de manglende kolonnene til tabellen med verdiene satt til null.
Forutsetning
- Tilgang til Fabric Premium-arbeidsområdet der eventstreamen er plassert med bidragsyter eller høyere tillatelser.
- Tilgang til premium-arbeidsområdet der lakehouse er plassert med bidragsyter eller høyere tillatelser.
Merk
Maksimalt antall kilder og mål for én hendelsesstrøm er 11.
Legg til et innsjøhus som mål
Hvis du vil legge til et lakehouse-mål i en standard eller avledet hendelsesstrøm, følger du disse trinnene.
Velg Legg til mål på båndet i redigeringsmodus for eventstreamen, og velg Lakehouse fra rullegardinlisten.
Koble lakehouse-noden til strømnoden eller operatøren.
Fyll ut følgende informasjon på konfigurasjonsskjermen i Lakehouse :
- Skriv inn et målnavn.
- Velg arbeidsområdet som inneholder lakehouse.
- Velg et eksisterende Lakehouse fra arbeidsområdet du har angitt.
- Velg en eksisterende Delta-tabell, eller opprett en ny for å motta data.
- Velg inndataformatet som sendes til lakehouse. De støttede dataformatene er JSON, Avro og CSV (med topptekst).
Velg Avansert.
To inntaksmoduser er tilgjengelige for et lakehouse-reisemål. Konfigurer disse modusene basert på scenarioet ditt for å optimalisere hvordan Fabric-hendelsesstrømmer skriver til lakehouse.
Minimum rader er minimum antall rader som lakehouse inntar i én enkelt fil. Minimum er 1 rad, og maksimum er 2 millioner rader per fil. Jo mindre minimum antall rader, jo flere filer lakehouse oppretter under inntak.
Maksimal varighet er den maksimale varigheten lakehouse tar for å innta én enkelt fil. Minimum er 1 minutt og maksimum er 2 timer. Jo lengre varighet, jo flere rader blir inntatt i en fil.
Velg Lagre.
Hvis du vil implementere det nylig tilføyde lakehouse-målet, velger du Publiser.
Når du har fullført disse trinnene, er lakehouse-målet tilgjengelig for visualisering i livevisning. I Detalj-ruten kan du velge Optimaliser-tabellen i notatblokksnarvei for å starte en Apache Spark-jobb i en notatblokk, som konsoliderer de små strømmingsfilene i måltabellen i lakehouse.
Relatert innhold
Hvis du vil lære hvordan du legger til andre mål i en hendelsesstrøm, kan du se følgende artikler:
Forutsetning
Før du begynner, må du fullføre følgende forutsetninger:
- Få tilgang til et premium arbeidsområde med bidragsyter - eller høyere tillatelser der hendelsesstrømmen er plassert.
- Få tilgang til et premium arbeidsområde med bidragsyter - eller høyere tillatelser der lakehouse er plassert.
Merk
Maksimalt antall kilder og mål for én hendelsesstrøm er 11.
Legg til et innsjøhus som mål
Hvis du har opprettet et lakehouse i arbeidsområdet, følger du disse trinnene for å legge til lakehouse i eventstreamen som mål:
Velg Nytt mål på båndet eller "+" i hovedredigeringslerretet, og velg deretter Lakehouse. Konfigurasjonsskjermen for Lakehouse-målet vises.
Skriv inn et navn for eventstream-målet, og fyll ut informasjonen om lakehouse.
Lakehouse: Velg et eksisterende lakehouse fra arbeidsområdet du har angitt.
Deltatabell: Velg en eksisterende deltatabell, eller opprett en ny for å motta data.
Merk
Når du skriver data inn i lakehouse-tabellen, er det skjemahåndhevelse. Dette betyr at alle nye skrivere til en tabell må være kompatible med måltabellens skjema ved skrivetid, slik at datakvaliteten sikres.
Alle poster med utdata projiseres på skjemaet for den eksisterende tabellen. Når du skriver utdataene til en ny deltatabell, opprettes tabellskjemaet basert på den første posten. Hvis de innkommende dataene har en ekstra kolonne sammenlignet med det eksisterende tabellskjemaet, skriver de til tabellen uten å inkludere den ekstra kolonnen. Hvis de innkommende dataene mangler en kolonne sammenlignet med det eksisterende tabellskjemaet, skriver derimot til tabellen med kolonnens verdi satt til null.
Inndataformat: Velg formatet for dataene (inndata) som sendes til lakehouse.
Merk
Dataformatene for inndatahendelse som støttes, er JSON, Avro og CSV (med topptekst).
Hendelsesbehandling: Du kan bruke redigeringsprogrammet for hendelsesbehandling til å angi hvordan dataene skal behandles før du sender dem til lakehouse. Velg Åpne hendelsesprosessor for å åpne redigeringsprogrammet for hendelsesbehandling. Hvis du vil lære mer om sanntidsbehandling ved hjelp av hendelsesprosessoren, kan du se Behandle hendelsesdata med redigeringsprogrammet for hendelsesprosessor. Når du er ferdig med redigeringsprogrammet, velger du Ferdig for å gå tilbake til konfigurasjonsskjermen for Lakehouse-målet .
To inntaksmoduser er tilgjengelige for et lakehouse-reisemål. Velg én av disse modusene for å optimalisere hvordan funksjonen Fabric event streams skriver til lakehouse basert på scenarioet ditt.
Rader per fil – minimum antall rader som Lakehouse inntar i én enkelt fil. Jo mindre minimum antall rader, jo flere filer Lakehouse oppretter under inntak. Minimum er 1 rad. Maksimum er 2 M rader per fil.
Varighet – Den maksimale varigheten lakehouse ville ta for å innta én enkelt fil. Jo lengre varighet, flere rader blir inntatt i en fil. Minimum er 1 minutt og maksimum er 2 timer.
Velg Legg til for å legge til lakehouse-målet.
Tabelloptimaliseringssnarvei tilgjengelig inne i lakehouse-målet. Denne løsningen forenkler deg ved å starte en Spark-jobb i en notatblokk, som konsoliderer disse små strømmingsfilene i måltabellen i Lakehouse.
En lakehouse destinasjon vises på lerretet, med en spinnende statusindikator. Systemet bruker noen minutter på å endre statusen til Aktiv.
Administrere et mål
Rediger/fjern: Du kan redigere eller fjerne et eventstream-mål enten gjennom navigasjonsruten eller lerretet.
Når du velger Rediger, åpnes redigeringsruten på høyre side av hovedredigeringsprogrammet. Du kan endre konfigurasjonen slik du ønsker, inkludert hendelsestransformasjonslogikken gjennom redigeringsprogrammet for hendelsesprosessor.
Relatert innhold
Hvis du vil lære hvordan du legger til andre mål i en hendelsesstrøm, kan du se følgende artikler: