Lägga till ett lakehouse-mål i en händelseström

  • Artikel

Den här artikeln visar hur du lägger till ett lakehouse som mål i en Microsoft Fabric-händelseström.

Förutsättningar

Innan du börjar måste du uppfylla följande krav:

  • Få åtkomst till en Premium-arbetsyta med deltagarbehörigheter eller högre behörigheter där din eventstream finns.
  • Få åtkomst till en Premium-arbetsyta med deltagarbehörigheter eller högre behörigheter där ditt lakehouse finns.

Kommentar

  • Det maximala antalet källor och mål för en händelseström är 11.
  • Kvarhållning av händelsedata i en händelseström är en dag, med potential att utöka den och göra den konfigurerbar i framtiden.

Lägga till ett sjöhus som mål

Om du har skapat ett lakehouse på din arbetsyta följer du dessa steg för att lägga till lakehouse i din eventstream som mål:

  1. Välj Nytt mål i menyfliksområdet eller "+" i huvudredigerarens arbetsyta och välj sedan Lakehouse. Konfigurationsskärmen för Lakehouse-målet visas.

  2. Ange ett namn för eventstream-målet och fyll i informationen om ditt lakehouse.

    Skärmbild av konfigurationsskärmen för Lakehouse-målet.

    1. Lakehouse: Välj ett befintligt sjöhus från den arbetsyta som du angav.

    2. Deltatabell: Välj en befintlig deltatabell eller skapa en ny för att ta emot data.

      Kommentar

      När du skriver data till lakehouse-tabellen finns det schematillämpning. Det innebär att alla nya skrivningar till en tabell måste vara kompatibla med måltabellens schema vid skrivtillfället, vilket säkerställer datakvaliteten.

      Alla poster för utdata projiceras i schemat för den befintliga tabellen. När du skriver utdata till en ny deltatabell skapas tabellschemat baserat på den första posten. Om inkommande data har ytterligare en kolumn jämfört med det befintliga tabellschemat skrivs de till tabellen utan att den extra kolumnen inkluderas. Om inkommande data däremot saknar en kolumn jämfört med det befintliga tabellschemat skrivs den till tabellen med kolumnens värde inställt på null.

    3. Indataformat: Välj formatet för de data (indata) som skickas till lakehouse.

      Kommentar

      De indatadataformat som stöds är JSON, Avro och CSV (med sidhuvud).

    4. Händelsebearbetning: Du kan använda redigeringsprogrammet för händelsebearbetning för att ange hur data ska bearbetas innan de skickas till ditt lakehouse. Välj Öppna händelseprocessor för att öppna redigeraren för händelsebearbetning. Mer information om bearbetning i realtid med hjälp av händelseprocessorn finns i Bearbeta händelsedata med redigeraren för händelseprocessorn. När du är klar med redigeraren väljer du Klar för att återgå till konfigurationsskärmen för Lakehouse-målet .

      Skärmbild som visar redigeraren för händelseprocessorn.

  3. Två inmatningslägen är tillgängliga för ett sjöhusmål. Välj ett av dessa lägen för att optimera hur funktionen Infrastrukturströmmar skriver till lakehouse baserat på ditt scenario.

    1. Rader per fil – Det minsta antalet rader som Lakehouse matar in i en enda fil. Ju mindre minsta antal rader, desto fler filer skapar Lakehouse under inmatningen. Minimum är 1 rad. Maximalt är 2M rader per fil.

    2. Duration – Den maximala varaktighet som Lakehouse skulle ta för att mata in en enda fil. Ju längre varaktigheten är, matas fler rader in i en fil. Minimum är 1 minut och max 2 timmar.

      Skärmbild som visar inmatningslägena.

  4. Välj Lägg till för att lägga till lakehouse-målet.

  5. Genväg för tabelloptimering finns i lakehouse-målet. Den här lösningen underlättar dig genom att starta ett Spark-jobb i en notebook-fil som konsoliderar dessa små strömmande filer i lakehouse-måltabellen.

    Skärmbild som visar inställningarna för tabelloptimering.

  6. Ett sjöhusmål visas på arbetsytan med en snurrande statusindikator. Det tar några minuter för systemet att ändra statusen till Inmatning.

    Skärmbild som visar lakehouse-målet.

Hantera ett mål

Redigera/ta bort: Du kan redigera eller ta bort ett eventstream-mål antingen via navigeringsfönstret eller arbetsytan.

När du väljer Redigera öppnas redigeringsfönstret till höger i huvudredigeraren. Du kan ändra konfigurationen som du vill, inklusive logiken för händelsetransformeringen via redigeraren för händelseprocessorn.

Skärmbild som visar var du väljer alternativen för att ändra och ta bort mål på arbetsytan.

Relaterat innehåll

Mer information om hur du lägger till andra mål i en händelseström finns i följande artiklar:

Information om hur du lägger till ett mål i händelseströmmen finns i följande artiklar: