Elaborare i dati degli eventi con l'editor del processore di eventi

L'editor del processore di eventi è un'esperienza senza codice che consente di trascinare e rilasciare per progettare la logica di elaborazione dei dati dell'evento. Questo articolo descrive come usare l'editor per progettare la logica di elaborazione.

Nota

Per usare funzionalità avanzate in anteprima, selezionare Funzionalità avanzate nella parte superiore. In caso contrario, selezionare Funzionalità standard. Per informazioni sulle funzionalità avanzate disponibili in anteprima, vedere Introduzione ai flussi di eventi di Fabric.

Prerequisiti

Prima di iniziare, è necessario completare i prerequisiti seguenti:

• Ottenere l'accesso a un'area di lavoro Premium con autorizzazioni di collaboratore o superiore in cui si trova il flusso di eventi.

Importante

Le funzionalità avanzate dei flussi di eventi di Fabric sono attualmente in anteprima.

Progettare l'elaborazione degli eventi con l'editor

Per eseguire operazioni di elaborazione dei flussi sui flussi di dati usando un editor senza codice, seguire questa procedura:

1. Selezionare Modifica sulla barra multifunzione se non si è già in modalità di modifica. Verificare che il nodo upstream per le operazioni connesse abbia uno schema.

   

2. Per inserire un operatore di elaborazione eventi tra il nodo del flusso e la destinazione nella modalità di modifica, è possibile usare uno dei due metodi seguenti:

   • Inserire l'operatore direttamente dalla riga di connessione. Passare il puntatore del mouse sulla riga di connessione e quindi selezionare il + pulsante . Nella riga di connessione viene visualizzato un menu a discesa ed è possibile selezionare un operatore da questo menu.

     

   • Inserire l'operatore dal menu della barra multifunzione o dall'area di disegno.

     1. È possibile selezionare un operatore dal menu Trasforma eventi nella barra multifunzione.

        

        In alternativa, è possibile passare il puntatore del mouse su uno dei nodi e quindi selezionare il + pulsante se è stata eliminata la riga di connessione. Accanto a tale nodo viene visualizzato un menu a discesa ed è possibile selezionare un operatore da questo menu.

        

     2. Dopo aver inserito l'operatore, è necessario riconnettere questi nodi. Passare il puntatore del mouse sul bordo sinistro del nodo del flusso e quindi selezionare e trascinare il cerchio verde per connetterlo al nodo dell'operatore Gestisci campi . Seguire la stessa procedura per connettere il nodo dell'operatore Gestisci campi alla destinazione.

        

3. Selezionare il nodo dell'operatore Gestisci campi . Nel pannello Gestione campi di configurazione selezionare i campi da restituire. Per aggiungere tutti i campi, selezionare Aggiungi tutti i campi. È anche possibile aggiungere un nuovo campo con le funzioni predefinite per aggregare i dati da upstream. Attualmente, le funzioni predefinite supportate sono alcune funzioni in Funzioni stringa, Funzioni di data e ora, Funzioni matematiche. Per trovarli, cercare . built-in)

   

4. Dopo aver configurato l'operatore Gestisci campi , selezionare Aggiorna per convalidare i risultati dei test prodotti da questo operatore.

   

5. Se si verificano errori di configurazione, vengono visualizzati nella scheda Errori di creazione nel riquadro inferiore.

   

6. Se il risultato del test è corretto, selezionare Pubblica per salvare la logica di elaborazione degli eventi e tornare alla visualizzazione dinamica.

   

7. Dopo aver completato questi passaggi, è possibile visualizzare il modo in cui il flusso di eventi avvia lo streaming ed elabora i dati nella visualizzazione Live.

   

Editor elaborazione eventi

L'editor del processore di eventi (l'area di disegno in modalità di modifica) consente di trasformare i dati in varie destinazioni. Immettere la modalità di modifica per progettare le operazioni di elaborazione dei flussi di dati.

La modalità Di modifica include un'area di disegno e un riquadro inferiore in cui è possibile:

• Compilare la logica di trasformazione dei dati dell'evento con trascinamento della selezione.
• Risultato del test di anteprima in ognuno dei nodi di elaborazione dall'inizio alla fine.
• Individuare eventuali errori di creazione all'interno dei nodi di elaborazione.

Layout dell'editor

• Menu della barra multifunzione e Canvas (numerato uno nell'immagine): in questo riquadro è possibile progettare la logica di trasformazione dei dati selezionando un operatore (dal menu Trasforma eventi) e connettendo il flusso e i nodi di destinazione tramite il nodo dell'operatore appena creato. È possibile trascinare e rilasciare le linee di connessione oppure selezionare ed eliminare le connessioni.
• Riquadro di modifica a destra (due nell'immagine): questo riquadro consente di configurare il nome del nodo o del flusso di visualizzazione selezionato.
• Riquadro inferiore con le schede di anteprima dei dati e errori di creazione (tre nell'immagine): in questo riquadro visualizzare in anteprima il risultato del test in un nodo selezionato con la scheda Risultati test. Nella scheda Errori di creazione sono elencate eventuali configurazioni incomplete o non corrette nei nodi dell'operazione.

Esempi ed tipi di nodo supportati

Ecco i tipi di destinazione che supportano l'aggiunta di operatori prima dell'inserimento:

• Lakehouse
• Database KQL (elaborazione di eventi prima dell'inserimento)
• Flusso derivato

Nota

Per le destinazioni che non supportano l'aggiunta dell'operatore di pre-inserimento, è prima possibile aggiungere un flusso derivato come output dell'operatore. Aggiungere quindi la destinazione desiderata a questo flusso derivato.

Il processore di eventi in Lakehouse e nel database KQL (elaborazione degli eventi prima dell'inserimento) consente di elaborare i dati prima che venga inseriti nella destinazione.

Prerequisiti

Prima di iniziare, è necessario completare i prerequisiti seguenti:

• Ottenere l'accesso a un'area di lavoro Premium con autorizzazioni di collaboratore o superiore in cui si trova il flusso di eventi.
• Ottenere l'accesso a un'area di lavoro Premium con autorizzazioni di collaboratore o superiore in cui si trova il lakehouse o il database KQL.

Progettare l'elaborazione degli eventi con l'editor

Per progettare l'elaborazione degli eventi con l'editor del processore di eventi:

1. Aggiungere una destinazione Lakehouse e immettere i parametri necessari nel riquadro destro. (Vedere Aggiungere e gestire una destinazione in un flusso di eventi per istruzioni dettagliate. )

2. Selezionare Apri processore di eventi. Viene visualizzata la schermata Editor elaborazione eventi.

   

3. Nell'area di disegno dell'editor di elaborazione eventi selezionare il nodo eventstream. È possibile visualizzare in anteprima lo schema dei dati o modificare il tipo di dati nel riquadro Eventstream a destra.

   

4. Per inserire un operatore di elaborazione eventi tra questo flusso di eventi e la destinazione nell'editor del processore di eventi, è possibile utilizzare uno dei due metodi seguenti:

   1. Inserire l'operatore direttamente dalla riga di connessione. Passare il puntatore del mouse sulla riga di connessione e quindi selezionare il pulsante "+". Nella riga di connessione viene visualizzato un menu a discesa ed è possibile selezionare un operatore da questo menu.

      

   2. Inserire l'operatore dal menu della barra multifunzione o dall'area di disegno.

      1. È possibile selezionare un operatore dal menu Operazioni della barra multifunzione. In alternativa, è possibile passare il puntatore del mouse su uno dei nodi e quindi selezionare il pulsante "+" se è stata eliminata la riga di connessione. Accanto a tale nodo viene visualizzato un menu a discesa ed è possibile selezionare un operatore da questo menu.

         

         

      2. Infine, è necessario riconnettere questi nodi. Passare il puntatore del mouse sul bordo sinistro del nodo del flusso di eventi e quindi selezionare e trascinare il cerchio verde per connetterlo al nodo dell'operatore Gestisci campi . Seguire lo stesso processo per connettere il nodo dell'operatore Gestisci campi al nodo lakehouse.

         

5. Selezionare il nodo dell'operatore Gestisci campi . Nel pannello Gestione campi di configurazione selezionare i campi da restituire. Per aggiungere tutti i campi, selezionare Aggiungi tutti i campi. È anche possibile aggiungere un nuovo campo con le funzioni predefinite per aggregare i dati da upstream. Attualmente, le funzioni predefinite supportate sono alcune funzioni in Funzioni stringa, funzioni di data e ora, funzioni matematiche. Per trovarli, cercare "built-in".")

   

6. Dopo aver configurato l'operatore Gestisci campi , selezionare Aggiorna anteprima statica per visualizzare in anteprima i dati generati dall'operatore.

   

7. Se si verificano errori di configurazione, vengono visualizzati nella scheda Errore di creazione nel riquadro inferiore.

   

8. Se i dati visualizzati in anteprima sono corretti, selezionare Fine per salvare la logica di elaborazione degli eventi e tornare alla schermata di configurazione della destinazione Lakehouse.

9. Selezionare Aggiungi per completare la creazione della destinazione lakehouse.

Editor processore di eventi

Il processore di eventi consente di trasformare i dati inseriti in una destinazione lakehouse. Quando si configura la destinazione lakehouse, si trova l'opzione Apri processore eventi al centro della schermata di configurazione della destinazione Lakehouse .

Selezionando Apri processore di eventi viene avviata la schermata Editor elaborazione eventi, in cui è possibile definire la logica di trasformazione dei dati.

L'editor del processore di eventi include un'area di disegno e un riquadro inferiore in cui è possibile:

• Compilare la logica di trasformazione dei dati dell'evento con trascinamento della selezione.
• Visualizzare in anteprima i dati in ognuno dei nodi di elaborazione dall'inizio alla fine.
• Individuare eventuali errori di creazione all'interno dei nodi di elaborazione.

Il layout dello schermo è simile all'editor principale. È costituito da tre sezioni, illustrate nell'immagine seguente:

1. Canvas con vista diagramma: in questo riquadro è possibile progettare la logica di trasformazione dei dati selezionando un operatore (dal menu Operazioni ) e connettendo il flusso di eventi e i nodi di destinazione tramite il nodo dell'operatore appena creato. È possibile trascinare e rilasciare le linee di connessione oppure selezionare ed eliminare le connessioni.

2. Riquadro di modifica a destra: questo riquadro consente di configurare il nodo dell'operazione selezionato o di visualizzare lo schema del flusso di eventi e della destinazione.

3. Riquadro inferiore con le schede di anteprima dei dati e errore di creazione: in questo riquadro visualizzare in anteprima i dati in un nodo selezionato con la scheda Anteprima dati. Nella scheda Errori di creazione sono elencate eventuali configurazioni incomplete o non corrette nei nodi dell'operazione.

Errori di creazione

Gli errori di creazione si riferiscono agli errori che si verificano nell'editor del processore di eventi a causa di una configurazione incompleta o errata dei nodi dell'operazione, consentendo di individuare e risolvere potenziali problemi nel processore di eventi.

È possibile visualizzare gli errori di creazione nel pannello inferiore dell'editor del processore di eventi. Nel pannello inferiore sono elencati tutti gli errori di creazione, ogni errore di creazione ha quattro colonne:

• ID nodo: indica l'ID del nodo dell'operazione in cui si è verificato l'errore di creazione.
• Tipo di nodo: indica il tipo del nodo dell'operazione in cui si è verificato l'errore di creazione.
• Livello: indica la gravità dell'errore di creazione, sono presenti due livelli, Fatal e Information. Errore irreversibile di creazione a livello significa che il processore di eventi presenta gravi problemi e non può essere salvato o eseguito. Errore di creazione a livello di informazioni indica che il processore di eventi include alcuni suggerimenti o suggerimenti che consentono di ottimizzare o migliorare il processore di eventi.
• Errore: indica le informazioni specifiche dell'errore di creazione, descrivendo brevemente la causa e l'impatto dell'errore di creazione. È possibile selezionare la scheda Mostra dettagli per visualizzare i dettagli.

Poiché Eventstream e database KQL supportano tipi di dati diversi, il processo di conversione dei tipi di dati potrebbe generare errori di creazione.

La tabella seguente illustra i risultati della conversione del tipo di dati da Eventstream a KQL Database. Le colonne rappresentano i tipi di dati supportati da Eventstream e le righe rappresentano i tipi di dati supportati dal database KQL. Le celle indicano i risultati della conversione, che possono essere uno dei tre seguenti:

✔️ Indica la corretta conversione, non vengono generati errori o avvisi.

❌ Indica la conversione impossibile, viene generato un errore di creazione irreversibile. Il messaggio di errore è simile al seguente: il tipo di dati "{1}" per la colonna "{0}" non corrisponde al tipo previsto "{2}" nella tabella KQL selezionata e non può essere convertito automaticamente.

⚠️ Indica la conversione possibile ma imprecisa, viene generato un errore di creazione delle informazioni. Il messaggio di errore è simile al seguente: il tipo di dati "{1}" per la colonna "{0}" non corrisponde esattamente al tipo previsto "{2}" nella tabella KQL selezionata. Viene convertita automaticamente in "{2}".

	string	bool	datetime	dynamic	guid	int	long	real	timespan	decimale
Int64	❌	❌	❌	✔️	❌	⚠️	✔️	⚠️	❌	✔️
Double	❌	❌	❌	✔️	❌	❌	❌	⚠️	❌	⚠️
Stringa	✔️	❌	❌	✔️	❌	❌	❌	❌	❌	❌
Datetime	⚠️	❌	✔️	✔️	❌	❌	❌	❌	❌	❌
Record	⚠️	❌	❌	✔️	❌	❌	❌	❌	❌	❌
Array	⚠️	❌	❌	✔️	❌	❌	❌	❌	❌	❌

Come si può notare dalla tabella, alcune conversioni dei tipi di dati hanno esito positivo, ad esempio stringa in stringa. Queste conversioni non generano errori di creazione e non influiscono sul funzionamento del processore di eventi.

Alcune conversioni dei tipi di dati sono impossibili, ad esempio int in stringa. Queste conversioni generano errori di creazione a livello irreversibile, causando il mancato salvataggio del processore di eventi. Per evitare questi errori, è necessario modificare il tipo di dati nella tabella Eventstream o nella tabella KQL.

Alcune conversioni dei tipi di dati sono possibili, ma non precise, ad esempio int a real. Queste conversioni generano errori di creazione a livello di informazioni, che indicano la mancata corrispondenza tra i tipi di dati e i risultati della conversione automatica. Queste conversioni potrebbero causare la perdita di precisione o struttura dei dati. È possibile scegliere se ignorare questi errori o modificare il tipo di dati nella tabella Eventstream o nella tabella KQL per ottimizzare il processore di eventi.

Operatori di trasformazione

Il processore di eventi fornisce sei operatori, che è possibile usare per trasformare i dati degli eventi in base alle esigenze aziendali.

Aggregazione

Utilizzare la trasformazione Aggregazione per calcolare un'aggregazione (Somma, Minimo, Massimo o Media) ogni volta che si verifica un nuovo evento in un periodo di tempo. Questa operazione consente anche la ridenominazione di queste colonne calcolate e il filtro o il sezionamento dell'aggregazione in base ad altre dimensioni nei dati. È possibile avere una o più aggregazioni nella stessa trasformazione.

Espandere

Usare la trasformazione Espandi matrice per creare una nuova riga per ogni valore all'interno di una matrice.

Filtro

Usare la trasformazione Filtro per filtrare gli eventi in base al valore di un campo nell'input. A seconda del tipo di dati (numero o testo), la trasformazione mantiene i valori corrispondenti alla condizione selezionata, ad esempio null o non è Null.

Raggruppa per

Usare la trasformazione Group by per calcolare le aggregazioni in tutti gli eventi in un determinato intervallo di tempo. Puoi raggruppare i valori di uno o più campi. La trasformazione Aggregazione consente la ridenominazione delle colonne, ma offre altre opzioni per l'aggregazione e include opzioni più complesse per le finestre temporali. Come Aggregazione, è possibile aggiungere più aggregazioni per trasformazione.

Le aggregazioni disponibili nella trasformazione sono:

• Average
• Count
• Massimo
• Requisiti minimi
• Percentile (continuo e discreto)
• Deviazione standard
• Sum
• Scostamento

Negli scenari di flusso tempo eseguire operazioni solo sui dati contenuti in finestre temporali è un modello comune. Il processore di eventi supporta le funzioni di windowing, integrate con l'operatore Group by . È possibile definirlo nell'impostazione di questo operatore.

Gestire i campi

La trasformazione Gestisci campi consente di aggiungere, rimuovere, modificare il tipo di dati o rinominare i campi provenienti da un input o da un'altra trasformazione. Le impostazioni del riquadro laterale consentono di aggiungere un nuovo campo selezionando Aggiungi campo, aggiungendo più campi o aggiungendo tutti i campi contemporaneamente.

È anche possibile aggiungere un nuovo campo con le funzioni predefinite per aggregare i dati da upstream. Attualmente, le funzioni predefinite supportate sono alcune funzioni in Funzioni stringa, funzioni di data e ora e funzioni matematiche. Per trovarli, cercare "built-in".")

Nella tabella seguente vengono illustrati i risultati della modifica del tipo di dati usando i campi di gestione. Le colonne rappresentano i tipi di dati originali e le righe rappresentano il tipo di dati di destinazione.

• Se è presente una ✔️ cella, significa che può essere convertita direttamente e l'opzione tipo di dati di destinazione viene visualizzata nell'elenco a discesa.
• Se è presente una ❌ cella, significa che non può essere convertita e l'opzione tipo di dati di destinazione non viene visualizzata nell'elenco a discesa.
• Se c'è un ⚠️ nella cella, significa che può essere convertito, ma deve soddisfare determinate condizioni, ad esempio il formato stringa deve essere conforme ai requisiti del tipo di dati di destinazione. Ad esempio, quando si esegue la conversione da stringa a int, la stringa deve essere un formato integer valido, ad esempio 123, non abc.

	Int64	Double	Stringa	Datetime	Registra	Matrice
Int64	✔️	✔️	✔️	❌	❌	❌
Double	✔️	✔️	✔️	❌	❌	❌
Stringa	⚠️	⚠️	✔️	⚠️	❌	❌
Datetime	❌	❌	✔️	✔️	❌	❌
Record	❌	❌	✔️	❌	✔️	❌
Array	❌	❌	✔️	❌	❌	✔️

Popolare

Usare la trasformazione Unione per connettere due o più nodi e aggiungere eventi condivisi (con lo stesso nome e tipo di dati) in una tabella. I campi che non corrispondono vengono rimossi e non vengono inclusi nell'output.

Join.

Usare la trasformazione Join per combinare gli eventi di due input in base alle coppie di campi selezionate. Se non si seleziona una coppia di campi, il join è basato sul tempo per impostazione predefinita. Il valore predefinito è ciò che rende questa trasformazione diversa da una batch.

Come per i normali join, sono disponibili opzioni per la logica di join:

• Inner join: includere solo i record di entrambe le tabelle in cui la coppia corrisponde.
• Left outer join: includere tutti i record della tabella sinistra (prima) e solo i record del secondo che corrispondono alla coppia di campi. Se non esiste alcuna corrispondenza, i campi del secondo input sono vuoti.

Contenuto correlato

• Aggiungere e gestire destinazioni in un flusso di eventi.