Analyse de l’état et performances d’un flux d’événements
La fonctionnalité de flux d’événements Microsoft Fabric vous permet de surveiller facilement les données d’un événement de streaming, l’état et le niveau de performance d’une ingestion. Cet article explique comment surveiller l’état de flux d’événements, vérifierr les journaux, les erreurs et les insights de données avec des métriques.
Dans un flux d’événements, il existe deux types d’expériences de supervision : Insights de données et Journaux d’exécution. Vous voyez l’un ou les deux affichages en fonction de la source ou de la destination que vous sélectionnez.
Prérequis
Avant de commencer, vous devez avoir :
- Accédez à un espace de travail Premium avec des autorisations Viewer ou supérieures dans lequel se trouve votre élément Eventstream.
- Une source de hub d’événements Azure ou une destination lakehouse est ajoutée à votre flux d’événements.
Insights sur les données
L’onglet Insight sur les données s’affiche dans le volet inférieur du principal éditeur. Il fournit des métriques que vous pouvez utiliser pour surveiller l’état et le niveau de performance du flux d’événements, des sources et des destinations. Différentes sources et destinations ont des métriques différentes. Lorsque vous sélectionnez un nœud dans le canevas principal de l’éditeur, les métriques pour ce nœud spécifique s’affichent sous l’onglet Insights sur les données.
Insights sur les données dans un nœud de flux d’événements
Les métriques suivantes s’affichent pour un nœud de flux d’événements sous l’onglet Insights sur les données :
| Métrique | Unité | Description |
|---|---|---|
| IncomingMessages | Count | Nombre d'événements ou de messages envoyés à un flux d'événements au cours d'une période donnée. |
| OutgoingMessages | Count | Nombre d'événements ou de messages provenant d'un flux d'événements au cours d'une période donnée. |
| IncomingBytes | Octets | Octets entrants pour un flux d’événements sur une période spécifiée. |
| OutgoingBytes | Octets | Octets sortants pour un flux d’événements sur une période spécifiée. |
Pour afficher des insights sur les données d’un flux d’événements :
Sélectionnez le nœud flux d’événements dans le canevas de l’éditeur principal.
Dans le volet inférieur, sélectionnez l’onglet Insights sur les données.
S’il existe des données dans le flux d’événements, le graphique des métriques s’affiche sous l’onglet Insights sur les données.
Sur le côté droit de l’onglet, sélectionnez les cases à cocher près des métriques que vous souhaitez afficher.
Aperçu des données dans les nœuds de source Azure event hub, de source Azure IoT Hub, de destination Lakehouse et de destination de la base de données KQL
Les métriques suivantes sont disponibles dans l'onglet Data insights pour les nœuds de source Azure event hub, de source Azure IoT Hub, de destination lakehouse et de destination de la base de données KQL (mode « Traitement des événements avant l'ingestion ») :
| Mesure | Unité | Description |
|---|---|---|
| Événements d’entrée | Count | Nombre de données d'événements que le moteur de flux d'événements tire d'un flux d'événements (dans une destination lakehouse ou une destination de base de données KQL), ou d'une source de hub d'événements Azure (dans une source de hub d'événements Azure). |
| Octets des événements d’entrée | Octets | Quantité de données d'événements que le moteur de flux d'événements tire d'un flux d'événements (dans une destination lakehouse ou une destination de base de données KQL), ou d'une source de hub d'événements Azure (dans une source de hub d'événements Azure). |
| Événements de sortie | Count | Nombre de données d'événements que le moteur de flux d'événements envoie à une base de données lakehouse ou KQL (dans une destination lakehouse ou une destination de base de données KQL), ou à un flux d'événements (dans une source de hub d'événements Azure). |
| Événements d’entrée en backlog | Count | Nombre d’événements d’entrée en backlog dans le moteur de flux d’événements. |
| Erreurs d’exécution | Count | Nombre total d’erreurs liées au traitement des événements. |
| Erreurs de conversion de données | Count | Nombre d’événements de sortie qui n’ont pas pu être convertis dans le schéma de sortie attendu. |
| Erreurs de désérialisation | Count | Nombre d’événements d’entrée qui n’ont pas pu être désérialisés à l’intérieur du moteur de flux d’événements. |
| Délai en filigrane | Second | Retard maximal du filigrane dans toutes les partitions de toutes les sorties pour cette source ou cette destination. Il est calculé en tant que temps d’horloge mur moins le filigrane le plus grand. |
Pour afficher les insights de données pour une source Azure event hub, une source Azure IoT Hub, une destination lakehouse ou une destination de base de données KQL (« Traitement des événements avant le mode d’ingestion ») :
Sélectionnez le nœud de source Azure event hub, le nœud de source Azure IoT Hub, le nœud de destination lakehouse ou le nœud de destination de la base de données KQL dans le canevas principal de l'éditeur
Dans le volet inférieur, sélectionnez l’onglet Insights sur les données.
S'il y a des données dans la source Azure event hub, la destination lakehouse ou la destination de la base de données KQL, le graphique de métriques apparaît dans l'onglet Data Insights.
Sur le côté droit de l’onglet, sélectionnez les cases à cocher près des métriques que vous souhaitez afficher.
Insights de données dans les nœuds sources du connecteur de streaming
Les nœuds sources du connecteur de streaming incluent les sources suivantes :
- Capture des changements de données (CDC) de la base de données Azure SQL
- CDC de la base de données PostgreSQL
- CDC de la base de données MySQL
- CDC d’Azure Cosmos DB
- SQL Server sur la base de données de machine virtuelle (CDC)
- Capture de données modifiées Azure SQL Managed Instance
- Google Cloud Pub/Sub
- Flux de données Amazon Kinesis
- Confluent Cloud Kafka
- Apache Kafka
- Amazon MSK Kafka
Les métriques suivantes sont disponibles sous l’onglet Informations sur les données pour les nœuds sources du connecteur de streaming :
| Mesure | Unité | Description |
|---|---|---|
| Événements sortants sources | Count | Nombre d’enregistrements générés à partir des transformations (le cas échéant) et écrits dans un flux d’événements pour la tâche appartenant au connecteur source nommé dans le worker (depuis le dernier redémarrage de la tâche). |
| Événements entrants sources | Count | Avant l’application des transformations, il s’agit du nombre d’enregistrements générés ou interrogés par la tâche appartenant au connecteur source nommé dans le worker (depuis le dernier redémarrage de la tâche). |
| Erreurs de connecteur journalisées | Count | Nombre d’erreurs enregistrées pour cette ou ces tâches de connecteur. |
| Erreurs de traitement du connecteur | Count | Nombre d’erreurs de traitement des enregistrements dans cette ou ces tâches de connecteur. |
| Échecs de traitement du connecteur | Count | Nombre d’échecs de traitement des enregistrements dans cette ou ces tâches de connecteur, y compris les échecs de nouvelle tentative. |
| Événements de connecteur ignorés | Count | Nombre d’enregistrements ignorés en raison d’erreurs dans cette ou ces tâches de connecteur. |
Pour afficher les insights de données d’une source de connecteur de streaming :
- Sélectionnez Utiliser une source externe, puis choisissez une source de connecteur de streaming.
- Configurez et publiez la source du connecteur de streaming.
- Dans le volet inférieur en mode direct, sélectionnez l’onglet Informations sur les données.
- S’il existe des données à l’intérieur de la source du connecteur de streaming, le graphique des métriques s’affiche sous l’onglet Informations sur les données.
- Sur le côté droit de l’onglet, sélectionnez les cases à cocher près des métriques que vous souhaitez afficher.
Journaux de runtime
L’onglet Journaux de runtime vous permet de vérifier les journaux détaillés qui se produisent dans l’engin de flux d’événements. Les journaux de runtime ont trois niveaux de gravité : avertissement, erreur et information.
Pour afficher les journaux d’exécution pour la source Azure event hub, la source Azure IoT hub, la destination lakehouse et la destination de base de données KQL (« Traitement des événements avant le mode d’ingestion ») :
Sélectionner la source Azure event hub, la destination lakehouse ou la destination de la base de données KQL dans le canevas principal de l'éditeur.
Dans le volet inférieur, sélectionnez l’onglet Journaux de runtime.
S’il existe des données à l’intérieur de la source du hub d’événements Azure, de la destination lakehouse ou de la destination de base de données KQL, les journaux s’affichent sous l’onglet Journaux d’activité runtime.
Recherchez les journaux avec l’option Filtrer par mot clé ou filtrez la liste en modifiant la gravité ou le type.
Pour consulter les journaux les plus actuels, sélectionnez Actualiser.
