Dela via

Lägga till ett lakehouse-mål i en händelseström

Den här artikeln visar hur du lägger till ett lakehouse som mål till en händelseström i Microsoft Fabric-händelseströmmar. För att optimera strömningsprestanda och möjliggöra realtidsfrågor bör du överväga att strömma data till en Eventhouse genom att lägga till Eventhouse som måldestination i en händelseström och sedan aktivera Eventhouse OneLake-tillgänglighet.

Anteckning

Förbättrade funktioner aktiveras som standard när du skapar eventstreams. Om du har eventstreams som du har skapat via standardfunktioner fortsätter dessa händelseströmmar att fungera. Du kan fortfarande redigera och använda dem som vanligt. Vi rekommenderar att du skapar en ny händelseström för att ersätta standardhändelseströmmar så att du kan dra nytta av ytterligare funktioner och fördelar med förbättrade eventstreams.

Viktigt!

Det finns schemastyrning för att skriva data till en lakehouse-destinationstabell. Alla nya skrivningar till tabellen måste vara kompatibla med måltabellens schema vid skrivtillfället, vilket säkerställer datakvaliteten.

När utdata skrivs till en ny deltatabell skapas tabellschemat baserat på den första posten. Alla register för utdata projiceras på schemat för den befintliga tabellen.

Om inkommande data har kolumner som inte finns i det befintliga tabellschemat inkluderas inte de extra kolumnerna i de data som skrivs till tabellen. På samma sätt, om inkommande data saknar kolumner som finns i det befintliga tabellschemat, skriver de saknade kolumnerna till tabellen med värdena inställda på null.

Om schemat för en Delta-tabell och en inkommande post inte har någon skärningspunkt resulterar det i ett schemakonverteringsfel. Det här är dock inte det enda scenariot som kan orsaka ett sådant fel.

Om schemat för inkommande data ändras (dvs. den nya datapostens schema inte överensstämmer med den första posten), kan vissa kolumner eller hela poster gå förlorade när du skriver till lakehouse. Därför rekommenderas inte användning av ett lakehouse för att ta emot sådana strömmande data, till exempel CDC-databasdata.

Förutsättningar

  • Åtkomst till ett arbetsområde i Fabric-kapacitetslicensläget eller utvärderingslicensläget med bidragsgivare eller högre behörighet.
  • Åtkomst till arbetsytan där ditt lakehouse finns med deltagarbehörighet eller högre behörigheter.

Lägga till ett sjöhus som mål

Följ dessa steg om du vill lägga till ett lakehouse-mål i en standardhändelseström eller härledd händelseström.

  1. I Redigeringsläge för din händelseström väljer du Lägg till mål i menyfliksområdet och väljer Lakehouse i listrutan.

    En skärmbild av listrutan Lägg till mål med Lakehouse markerat.

  2. Anslut lakehouse-noden till din strömknutpunkt eller operatör.

  3. På konfigurationsskärmen för Lakehouse fyller du i följande information:

    1. Ange ett målnamn.
    2. Välj den arbetsyta som innehåller ditt sjöhus.
    3. Välj en befintlig Lakehouse från den arbetsyta som du angav.
    4. Välj en befintlig Delta-tabell eller skapa en ny för att ta emot data.
    5. Välj indataformatet som skickas till ditt lakehouse. De dataformat som stöds är JSON, Avro och CSV.

    En skärmbild av den översta delen av Konfigurationsskärmen för Lakehouse.

  4. Välj Avancerad.

  5. Två datainmatningslägen är tillgängliga för en lakehouse-destination. Baserat på ditt scenario ska du konfigurera dessa lägen för att optimera hur Fabric-händelseströmmar skrivs till lakehouse.

    • Minsta antal rader är det minsta antalet rader som lakehouse matar in i en enda fil. Minimivärdet är 1 rad och det maximala värdet är 2 miljoner rader per fil. Ju färre minsta antal rader, desto fler filer skapas i lakehouset under inmatningen.

    • Maximal varaktighet är den maximala tid som lakehouse tar på sig att importera en enda fil. Minst 1 minut och max är 2 timmar. Ju längre tidsperiod, desto fler rader matas in i en fil.

    En skärmbild av avsnittet Avancerat på konfigurationsskärmen för Lakehouse.

  6. Välj Spara.

  7. Om du vill implementera det nyligen tillagda lakehouse-målet väljer du Publicera.

    En skärmbild av strömmen och lakehouse-målet i redigeringsläge med knappen Publicera markerad.

När du har slutfört de här stegen är lakehouse-destinationen tillgänglig för visualisering i Live View. I fönstret Information kan du välja genvägen Optimera tabellen i notebook-filen för att starta ett Apache Spark-jobb i en notebook-fil, vilket konsoliderar de små strömmande filerna i måltabellen för lakehouse.

En skärmbild av lakehouse-destinationen och knappen för tabelloptimering i Live-vy.

Anteckning

När du konfigurerar en Händelseström läggs källan, transformeringslogik och mål vanligtvis ihop. När du publicerar Eventstream börjar serverdelstjänsterna för både datainmatning och dataroutning som standard med Now respektive . Datainmatningen kan dock börja snabbare än dataroutning, vilket gör att vissa data matas in i Eventstream innan routningen initieras helt. Det innebär att dessa data kanske inte dirigeras till målet.

Följ dessa steg för att minimera detta:

  1. När du konfigurerar en Eventhouse (händelsebearbetning före inmatning) eller en Lakehouse målplacering, avmarkera Aktivera inmatning efter att du har lagt till datakällan.

    En skärmbild av KQL-databasen utan att välja Aktivera inmatning efter att datakällan har lagts till.

  2. Aktivera inmatning manuellt när Eventstream har publicerats.

  3. Använd alternativet Anpassad tid för att välja en tidigare tidsstämpel, vilket säkerställer att inledande data bearbetas korrekt och dirigeras.

En skärmbild av återupptagandet av Lakehouse-målet. Mer information finns i Pausa och återuppta dataströmmar

Relaterat innehåll

Mer information om hur du lägger till andra mål i en händelseström finns i följande artiklar:

  • Last updated on