Delen via

Gebeurtenisgegevens verwerken met de gebeurtenisprocessoreditor

  • Artikel

De gebeurtenisprocessoreditor is een ervaring zonder code waarmee u de logica voor gebeurtenisgegevensverwerking kunt slepen en neerzetten. In dit artikel wordt beschreven hoe u de editor gebruikt om uw verwerkingslogica te ontwerpen.

Notitie

Als u verbeterde mogelijkheden wilt gebruiken die in preview zijn, selecteert u Bovenaan verbeterde mogelijkheden . Anders selecteert u Standaardmogelijkheden. Zie Inleiding tot fabric-gebeurtenisstromen voor meer informatie over verbeterde mogelijkheden die in preview zijn.

Vereisten

Voordat u begint, moet u de volgende vereisten voltooien:

  • Krijg toegang tot een Premium-werkruimte met inzender- of bovenstaande machtigingen waar uw eventstream zich bevindt.

Belangrijk

Verbeterde mogelijkheden van Fabric-gebeurtenisstromen zijn momenteel beschikbaar als preview-versie.

De gebeurtenisverwerking ontwerpen met de editor

Voer de volgende stappen uit om stroomverwerkingsbewerkingen uit te voeren op uw gegevensstromen met behulp van een editor zonder code:

  1. Selecteer Bewerken op het lint als u zich nog niet in de bewerkingsmodus bevindt. Zorg ervoor dat het upstream-knooppunt voor de bewerkingen die zijn verbonden, een schema heeft.

    Schermopname van de gebeurtenisprocessoreditor in de bewerkingsmodus.

  2. Als u een operator voor gebeurtenisverwerking wilt invoegen tussen het stroomknooppunt en de bestemming in de bewerkingsmodus, kunt u een van de volgende twee methoden gebruiken:

    • Voeg de operator rechtstreeks vanaf de verbindingslijn in. Beweeg de muisaanwijzer over de verbindingslijn en selecteer de + knop. Er wordt een vervolgkeuzelijst weergegeven op de verbindingslijn en u kunt een operator selecteren in dit menu.

      Schermopname van de selectie van de +-knop op de verbindingslijn.

    • De operator invoegen vanuit het lintmenu of canvas.

      1. U kunt een operator selecteren in het menu Gebeurtenissen transformeren op het lint.

        Schermopname van de selectie Velden beheren op het lint.

        U kunt ook de muisaanwijzer op een van de knooppunten plaatsen en vervolgens de + knop selecteren als u de verbindingslijn hebt verwijderd. Er wordt een vervolgkeuzelijst naast dat knooppunt weergegeven en u kunt een operator selecteren in dit menu.

        Schermopname van de selectie van de pluskoppeling op de verbindingslijn.

      2. Nadat u de operator hebt ingevoegd, moet u deze knooppunten opnieuw verbinden. Beweeg de muisaanwijzer aan de linkerkant van het stroomknooppunt en selecteer en sleep de groene cirkel om deze te verbinden met het operatorknooppunt Velden beheren. Volg hetzelfde proces om het operatorknooppunt Velden beheren te verbinden met uw bestemming.

        Schermopname die laat zien hoe u de tegel Velden beheren verbindt.

  3. Selecteer het operatorknooppunt Velden beheren. Selecteer in het deelvenster Velden beheren de velden die u wilt uitvoeren. Als u alle velden wilt toevoegen, selecteert u Alle velden toevoegen. U kunt ook een nieuw veld met de ingebouwde functies toevoegen om de gegevens van upstream te aggregeren. (Momenteel zijn de ingebouwde functies die we ondersteunen enkele functies in tekenreeksfuncties, datum- en tijdfuncties, wiskundige functies. Als u ze wilt vinden, zoekt u op built-in.)

    Schermopname die laat zien hoe u de tegel Velden beheren kunt configureren.

  4. Nadat u de operator Velden beheren hebt geconfigureerd, selecteert u Vernieuwen om het testresultaat te valideren dat door deze operator is geproduceerd.

    Schermopname van de vernieuwde pagina.

  5. Als u configuratiefouten hebt, worden deze weergegeven op het tabblad Ontwerpfouten in het onderste deelvenster.

    Schermopname van het tabblad Ontwerpfouten.

  6. Als het testresultaat er correct uitziet, selecteert u Publiceren om de logica voor gebeurtenisverwerking op te slaan en terug te keren naar de liveweergave.

    Schermopname van de knop Publiceren op het lint geselecteerd.

  7. Nadat u deze stappen hebt voltooid, kunt u visualiseren hoe uw eventstream gegevens gaat streamen en verwerken in liveweergave.

    Schermopname van de liveweergave.

Editor voor gebeurtenisverwerking

Met de gebeurtenisprocessoreditor (het canvas in de bewerkingsmodus) kunt u gegevens transformeren naar verschillende bestemmingen. Voer de bewerkingsmodus Bewerken in om stroomverwerkingsbewerkingen voor uw gegevensstromen te ontwerpen.

Schermopname van de editor voor gebeurtenisverwerking voor een eventstream met verbeterde mogelijkheden.

De bewerkingsmodus bevat een canvas en een lager deelvenster, waar u het volgende kunt doen:

  • Bouw de logica voor gebeurtenisgegevenstransformatie met slepen en neerzetten.
  • Voorbeeldtestresultaat in elk van de verwerkingsknooppunten van begin tot eind.
  • Detecteer eventuele ontwerpfouten binnen de verwerkingsknooppunten.

Editorindeling

Schermopname van de indeling van de editor voor gebeurtenisverwerking voor een eventstream met verbeterde mogelijkheden.

  • Lintmenu en Canvas (genummerd in de afbeelding): In dit deelvenster kunt u de logica voor gegevenstransformatie ontwerpen door een operator te selecteren (in het menu Gebeurtenissen transformeren) en de stream en de doelknooppunten te verbinden via het zojuist gemaakte operatorknooppunt. U kunt verbindingslijnen slepen en neerzetten of verbindingen selecteren en verwijderen.
  • Rechterdeelvenster voor bewerken (twee in de afbeelding): in dit deelvenster kunt u het geselecteerde knooppunt configureren of de naam van de stream weergeven.
  • Onderste deelvenster met tabbladen met gegevensvoorbeelden en fouttabbladen ontwerpen (drie in de afbeelding): Bekijk in dit deelvenster een voorbeeld van het testresultaat in een geselecteerd knooppunt met het tabblad Resultaat testen. Het tabblad Ontwerpfouten bevat een onvolledige of onjuiste configuratie in de bewerkingsknooppunten.

Ondersteunde knooppunttypen en voorbeelden

Dit zijn de doeltypen die ondersteuning bieden voor het toevoegen van operators vóór opname:

  • Lakehouse
  • KQL-database (gebeurtenisverwerking vóór opname)
  • Afgeleide stroom

Notitie

Voor bestemmingen die geen ondersteuning bieden voor het toevoegen van vooraf opgenomen operatoren, kunt u eerst een afgeleide stroom toevoegen als uitvoer van uw operator. Voeg vervolgens uw beoogde bestemming toe aan deze afgeleide stream.

Schermopname van de indeling van de editor voor gebeurtenisverwerking met filteruitvoer naar een niet-ondersteunde bestemming.

Met de gebeurtenisprocessor in Lakehouse en KQL Database (gebeurtenisverwerking vóór opname) kunt u uw gegevens verwerken voordat deze worden opgenomen in uw bestemming.

Vereisten

Voordat u begint, moet u de volgende vereisten voltooien:

  • Krijg toegang tot een Premium-werkruimte met inzender- of bovenstaande machtigingen waar uw eventstream zich bevindt.
  • Krijg toegang tot een Premium-werkruimte met inzender- of bovenstaande machtigingen waar uw Lakehouse- of KQL-database zich bevindt.

De gebeurtenisverwerking ontwerpen met de editor

Uw gebeurtenisverwerking ontwerpen met de gebeurtenisprocessoreditor:

  1. Voeg een Lakehouse-bestemming toe en voer de benodigde parameters in het rechterdeelvenster in. (Zie Voeg een bestemming toe en beheer deze in een eventstream voor gedetailleerde instructies. )

  2. Selecteer Gebeurtenisprocessor openen. Het scherm gebeurtenisverwerkingseditor wordt weergegeven.

    Schermopname waarin wordt weergegeven waar u gebeurtenisprocessor openen selecteert in het configuratiescherm van de Lakehouse-bestemming.

  3. Selecteer in het canvas van de gebeurtenisverwerkingseditor het eventstream-knooppunt. U kunt een voorbeeld van het gegevensschema bekijken of het gegevenstype wijzigen in het rechter deelvenster Eventstream .

    Schermopname van het gegevensschema in het rechterdeelvenster van het scherm Gebeurtenisverwerkingseditor.

  4. U kunt een van de volgende twee methoden gebruiken om een operator voor gebeurtenisverwerking in te voegen tussen deze gebeurtenisstream en het doel in de gebeurtenisprocessoreditor:

    1. Voeg de operator rechtstreeks vanaf de verbindingslijn in. Beweeg de muisaanwijzer over de verbindingslijn en selecteer vervolgens de knop +. Er wordt een vervolgkeuzelijst weergegeven op de verbindingslijn en u kunt een operator selecteren in dit menu.

      Schermopname die laat zien waar u de muisaanwijzer op de verbindingslijn plaatst om een knooppunt in te voegen.

    2. De operator invoegen vanuit het lintmenu of canvas.

      1. U kunt een operator selecteren in het menu Bewerkingen op het lint. U kunt ook de muisaanwijzer op een van de knooppunten plaatsen en vervolgens de knop +selecteren als u de verbindingslijn hebt verwijderd. Er wordt een vervolgkeuzelijst naast dat knooppunt weergegeven en u kunt een operator selecteren in dit menu.

        Schermopname die laat zien waar u een operator selecteert in het menu Bewerkingen.

        Schermopname die laat zien waar u de muisaanwijzer op knooppunten plaatst om een knooppunt in te voegen.

      2. Ten slotte moet u deze knooppunten opnieuw verbinden. Beweeg de muisaanwijzer aan de linkerkant van het gebeurtenisstroomknooppunt en selecteer en sleep de groene cirkel om deze te verbinden met het operatorknooppunt Velden beheren. Volg hetzelfde proces om het operatorknooppunt Velden beheren te verbinden met het lakehouse-knooppunt.

        Schermopname die laat zien waar de knooppunten moeten worden verbonden.

  5. Selecteer het operatorknooppunt Velden beheren. Selecteer in het deelvenster Velden beheren de velden die u wilt uitvoeren. Als u alle velden wilt toevoegen, selecteert u Alle velden toevoegen. U kunt ook een nieuw veld met de ingebouwde functies toevoegen om de gegevens van upstream te aggregeren. (Momenteel zijn de ingebouwde functies die we ondersteunen enkele functies in Tekenreeksfuncties, datum- en tijdfuncties, wiskundige functies. Als u ze wilt vinden, zoekt u op 'ingebouwd'.)

    Schermopname van het configureren van de operator.

  6. Nadat u de operator Velden beheren hebt geconfigureerd, selecteert u Statische preview vernieuwen om een voorbeeld te bekijken van de gegevens die deze operator produceert.

    Schermopname die laat zien hoe u een voorbeeld van gegevens bekijkt in de editor van de gebeurtenisprocessor.

  7. Als u configuratiefouten hebt, worden deze weergegeven op het tabblad Ontwerpfout in het onderste deelvenster.

    Schermopname van het tabblad Ontwerpfout in de gebeurtenisprocessoreditor.

  8. Als uw voorbeeldgegevens er correct uitzien, selecteert u Gereed om de logica voor gebeurtenisverwerking op te slaan en terug te keren naar het configuratiescherm van de Lakehouse-bestemming.

  9. Selecteer Toevoegen om het maken van uw lakehouse-bestemming te voltooien.

Editor voor gebeurtenisprocessor

Met de gebeurtenisprocessor kunt u de gegevens die u opneemt, transformeren naar een lakehouse-bestemming. Wanneer u uw Lakehouse-bestemming configureert, vindt u de optie Gebeurtenisprocessor openen in het midden van het configuratiescherm van de Lakehouse-bestemming .

Schermopname die laat zien waar u de editor voor de gebeurtenisprocessor opent.

Als u Gebeurtenisprocessor openen selecteert, wordt het scherm gebeurtenisverwerkingseditor gestart, waarin u de logica voor gegevenstransformatie kunt definiëren.

De gebeurtenisprocessoreditor bevat een canvas en een lager deelvenster, waar u het volgende kunt doen:

  • Bouw de logica voor gebeurtenisgegevenstransformatie met slepen en neerzetten.
  • Bekijk een voorbeeld van de gegevens in elk van de verwerkingsknooppunten van begin tot eind.
  • Detecteer eventuele ontwerpfouten binnen de verwerkingsknooppunten.

De schermindeling is net als de hoofdeditor. Het bestaat uit drie secties, weergegeven in de volgende afbeelding:

Schermopname van het scherm Gebeurtenisverwerkingseditor, waarmee de drie hoofdsecties worden aangegeven.

  1. Canvas met diagramweergave: In dit deelvenster kunt u de logica voor gegevenstransformatie ontwerpen door een operator te selecteren (in het menu Operations ) en de eventstream en de doelknooppunten te verbinden via het zojuist gemaakte operatorknooppunt. U kunt verbindingslijnen slepen en neerzetten of verbindingen selecteren en verwijderen.

  2. Rechterdeelvenster bewerken: in dit deelvenster kunt u het geselecteerde bewerkingsknooppunt configureren of het schema van de gebeurtenisstroom en het doel weergeven.

  3. Onderste deelvenster met tabbladen voor gegevensvoorbeelden en foutopmaak: In dit deelvenster bekijkt u een voorbeeld van de gegevens in een geselecteerd knooppunt met het tabblad Voorbeeld van gegevens. Het tabblad Ontwerpfouten bevat een onvolledige of onjuiste configuratie in de bewerkingsknooppunten.

Ontwerpfouten

Ontwerpfouten verwijzen naar de fouten die optreden in de gebeurtenisprocessoreditor vanwege onvolledige of onjuiste configuratie van de bewerkingsknooppunten, zodat u potentiële problemen in uw gebeurtenisprocessor kunt vinden en oplossen.

U kunt ontwerpfouten weergeven in het onderste deelvenster van de gebeurtenisprocessoreditor. In het onderste deelvenster worden alle ontwerpfouten vermeld. Elke ontwerpfout heeft vier kolommen:

  • Knooppunt-id: Geeft de id aan van het bewerkingsknooppunt waar de bewerkingsfout is opgetreden.
  • Knooppunttype: Geeft het type van het bewerkingsknooppunt aan waar de bewerkingsfout is opgetreden.
  • Niveau: Geeft de ernst van de ontwerpfout aan, er zijn twee niveaus, Fatal en Information. Onherstelbare ontwerpfout op niveau betekent dat uw gebeurtenisprocessor ernstige problemen heeft en niet kan worden opgeslagen of uitgevoerd. Fout bij het ontwerpen op informatieniveau betekent dat uw gebeurtenisprocessor enkele tips of suggesties bevat waarmee u uw gebeurtenisprocessor kunt optimaliseren of verbeteren.
  • Fout: Geeft de specifieke informatie van de ontwerpfout aan, kort een beschrijving van de oorzaak en impact van de ontwerpfout. U kunt het tabblad Details weergeven selecteren om details weer te geven.

Omdat Eventstream en KQL Database verschillende gegevenstypen ondersteunen, kan het proces van gegevenstypeconversie fouten genereren.

In de volgende tabel ziet u de resultaten van de conversie van het gegevenstype van Eventstream naar KQL Database. De kolommen vertegenwoordigen de gegevenstypen die door Eventstream worden ondersteund en de rijen vertegenwoordigen de gegevenstypen die worden ondersteund door KQL Database. De cellen geven de conversieresultaten aan, die een van de volgende drie kunnen zijn:

✔️ Geeft aan dat de conversie is geslaagd, dat er geen fouten of waarschuwingen worden gegenereerd.

❌ Geeft een onmogelijke conversie aan, er wordt een onherstelbare ontwerpfout gegenereerd. Het foutbericht is vergelijkbaar met: het gegevenstype '{1}' voor de kolom '{0}' komt niet overeen met het verwachte type '{2}' in de geselecteerde KQL-tabel en kan niet automatisch worden teruggezet.

⚠ϑ Geeft mogelijke maar onjuiste conversie aan, fout bij het ontwerpen van informatie wordt gegenereerd. Het foutbericht is vergelijkbaar met: het gegevenstype '{1}' voor de kolom '{0}' komt niet exact overeen met het verwachte type '{2}' in de geselecteerde KQL-tabel. Het wordt automatisch teruggezet naar '{2}'.

tekenreeks bool datetime dynamisch guid int long werkelijk tijdsbestek decimal
Int64 ❌ ❌ ❌ ✔️ ❌ ⚠️ ✔️ ⚠️ ❌ ✔️
Dubbel ❌ ❌ ❌ ✔️ ❌ ❌ ❌ ⚠️ ❌ ⚠️
Tekenreeks ✔️ ❌ ❌ ✔️ ❌ ❌ ❌ ❌ ❌ ❌
Datum/tijd ⚠️ ❌ ✔️ ✔️ ❌ ❌ ❌ ❌ ❌ ❌
Record ⚠️ ❌ ❌ ✔️ ❌ ❌ ❌ ❌ ❌ ❌
Array ⚠️ ❌ ❌ ✔️ ❌ ❌ ❌ ❌ ❌ ❌

Zoals u in de tabel kunt zien, zijn sommige conversies van gegevenstypen geslaagd, zoals tekenreeks naar tekenreeks. Deze conversies genereren geen ontwerpfouten en hebben geen invloed op de werking van uw gebeurtenisprocessor.

Sommige conversies van gegevenstypen zijn onmogelijk, zoals int naar tekenreeks. Deze conversies genereren onherstelbare ontwerpfouten op niveau, waardoor de gebeurtenisprocessor niet kan worden opgeslagen. U moet uw gegevenstype wijzigen in uw Eventstream of in de KQL-tabel om deze fouten te voorkomen.

Sommige conversies van gegevenstypen zijn mogelijk, maar niet nauwkeurig, zoals int naar echt. Deze conversies genereren ontwerpfouten op informatieniveau, wat aangeeft dat de gegevenstypen niet overeenkomen en de resultaten van de automatische conversie. Deze conversies kunnen ertoe leiden dat uw gegevens precisie of structuur verliezen. U kunt kiezen of u deze fouten wilt negeren of uw gegevenstype wilt wijzigen in uw Eventstream of in de KQL-tabel om uw gebeurtenisprocessor te optimaliseren.

Transformatieoperators

De gebeurtenisprocessor biedt zes operators, die u kunt gebruiken om uw gebeurtenisgegevens te transformeren op basis van de behoeften van uw bedrijf.

Schermopname van de operators die beschikbaar zijn in het menu Operations.

Samenvoegen

Gebruik de aggregatietransformatie om telkens wanneer een nieuwe gebeurtenis plaatsvindt in een bepaalde periode een aggregatie (Som, Minimum, Maximum of Gemiddelde) te berekenen. Met deze bewerking kunt u ook de naam van deze berekende kolommen wijzigen en de aggregatie filteren of segmenteren op basis van andere dimensies in uw gegevens. U kunt een of meer aggregaties in dezelfde transformatie hebben.

Uitvouwen

Gebruik de matrixtransformatie Uitvouwen om een nieuwe rij te maken voor elke waarde in een matrix.

Filter

Gebruik de filtertransformatie om gebeurtenissen te filteren op basis van de waarde van een veld in de invoer. Afhankelijk van het gegevenstype (getal of tekst) behoudt de transformatie de waarden die overeenkomen met de geselecteerde voorwaarde, zoals null of niet null.

Groeperen op

Gebruik de transformatie Groeperen op om aggregaties te berekenen voor alle gebeurtenissen binnen een bepaald tijdvenster. U kunt groeperen op de waarden in een of meer velden. Het is net zoals de aggregatietransformatie de naam van kolommen kan wijzigen, maar biedt meer opties voor aggregatie en bevat complexere opties voor tijdvensters. Net als Aggregatie kunt u meer dan één aggregatie per transformatie toevoegen.

De aggregaties die beschikbaar zijn in de transformatie zijn:

  • Gemiddeld
  • Tellen
  • Maximum
  • Minimum
  • Percentiel (doorlopend en discreet)
  • Standaardafwijking
  • Sum
  • Verschil

In tijdstreamingscenario's is het uitvoeren van bewerkingen op de gegevens in tijdelijke vensters een gemeenschappelijk patroon. De gebeurtenisprocessor ondersteunt vensterfuncties, die zijn geïntegreerd met de operator Group by . U kunt deze definiëren in de instelling van deze operator.

Schermopname van de operator Groeperen op die beschikbaar is in de editor van de gebeurtenisprocessor.

Velden beheren

Met de transformatie Velden beheren kunt u velden toevoegen, verwijderen, wijzigen of de naam van velden wijzigen die afkomstig zijn van een invoer of een andere transformatie. Met de instellingen voor het zijvenster kunt u een nieuw veld toevoegen door veld toevoegen te selecteren, meerdere velden toe te voegen of alle velden tegelijk toe te voegen.

Schermopname van de veldoperator Beheren die beschikbaar is in de gebeurtenisprocessoreditor.

Bovendien kunt u een nieuw veld met de ingebouwde functies toevoegen om de gegevens van upstream te aggregeren. (Momenteel zijn de ingebouwde functies die we ondersteunen enkele functies in Tekenreeksfuncties, datum- en tijdfuncties en wiskundige functies. Als u ze wilt vinden, zoekt u op 'ingebouwd'.)

Schermopname van de ingebouwde functies van het veld beheren.

In de volgende tabel ziet u de resultaten van het wijzigen van het gegevenstype met behulp van velden beheren. De kolommen vertegenwoordigen de oorspronkelijke gegevenstypen en de rijen vertegenwoordigen het doelgegevenstype.

  • Als er een ✔️ cel is, betekent dit dat deze rechtstreeks kan worden geconverteerd en dat de optie voor het doelgegevenstype wordt weergegeven in de vervolgkeuzelijst.
  • Als de cel een ❌ cel bevat, betekent dit dat deze niet kan worden geconverteerd en dat de optie voor het doelgegevenstype niet wordt weergegeven in de vervolgkeuzelijst.
  • Als er een ⚠jpeg in de cel staat, betekent dit dat deze kan worden geconverteerd, maar moet voldoen aan bepaalde voorwaarden, zoals de tekenreeksindeling moet voldoen aan de vereisten van het doelgegevenstype. Als u bijvoorbeeld converteert van tekenreeks naar int, moet de tekenreeks een geldig geheel getal zijn, zoals 123, niet abc.
Int64 Dubbel String Datum/tijd Opnemen Matrix
Int64 ✔️ ✔️ ✔️ ❌ ❌ ❌
Dubbel ✔️ ✔️ ✔️ ❌ ❌ ❌
Tekenreeks ⚠️ ⚠️ ✔️ ⚠️ ❌ ❌
Datum/tijd ❌ ❌ ✔️ ✔️ ❌ ❌
Record ❌ ❌ ✔️ ❌ ✔️ ❌
Array ❌ ❌ ✔️ ❌ ❌ ✔️

Vakbond

Gebruik de samenvoegtransformatie om twee of meer knooppunten te verbinden en gebeurtenissen toe te voegen die gedeelde velden (met dezelfde naam en hetzelfde gegevenstype) in één tabel hebben. Velden die niet overeenkomen, worden verwijderd en niet opgenomen in de uitvoer.

Deelnemen

Gebruik de jointransformatie om gebeurtenissen van twee invoer te combineren op basis van de veldparen die u selecteert. Als u geen veldpaar selecteert, is de join standaard gebaseerd op tijd. De standaardinstelling is wat deze transformatie anders maakt dan een batch.

Net als bij gewone joins hebt u opties voor uw joinlogica:

  • Inner join: Neem alleen records op uit beide tabellen waarin het paar overeenkomt.
  • Left outer join: neem alle records uit de linkertabel (eerste) op en alleen de records uit de tweede die overeenkomen met het paar velden. Als er geen overeenkomst is, zijn de velden uit de tweede invoer leeg.

Gerelateerde inhoud