Informations de référence sur les données de surveillance Azure Stream Analytics
Cet article contient toutes les informations de référence de surveillance pour ce service.
Consultez Surveiller Azure Stream Analytics pour plus d’informations sur les données que vous pouvez collecter pour Azure Stream Analytics et comment l’utiliser.
Métriques
Cette section répertorie toutes les métriques de plateforme collectées automatiquement pour App Service. Ces métriques font également partie de la liste globale de toutes les métriques de plateforme prises en charge dans Azure Monitor.
Pour plus d’informations sur les métriques de surveillance, consultez la section Présentation des métriques Azure Monitor.
Azure Stream Analytics vous fournit de nombreuses mesures qui peuvent servir à surveiller et résoudre les problèmes affectant les performances de vos requêtes et de vos travaux. Vous pouvez afficher les données de ces métriques sur la page Vue d’ensemble du portail Azure, dans la section Surveillance.
Si vous souhaitez vérifier une métrique spécifique, sélectionnez Métriques dans la section Surveillance. Dans la page qui s’affiche, sélectionnez la métrique.
Métriques prises en charge pour Microsoft.StreamAnalytics/streamingjobs
Le tableau suivant répertorie les métriques disponibles pour le type de ressource Microsoft.StreamAnalytics/streamingjobs.
- Toutes les colonnes peuvent ne pas être présentes dans chaque table.
- Certaines colonnes peuvent dépasser la zone d’affichage de la page. Sélectionnez Développer la table pour afficher toutes les colonnes disponibles.
Titres du tableau
- Catégorie : le groupe de métriques ou classification.
- Métrique : nom complet de la métrique tel qu’il apparaît dans le portail Azure.
- Nom dans l’API REST : le nom de la métrique comme appelé dans l’API REST.
- Unité : unité de mesure.
- Agrégation : le type d’agrégation par défaut. Valeurs valides : Moyen (moy), Minimum (min), Maximum (max), Total (somme), Nombre.
- Dimensions - Dimensions disponibles pour la métrique.
- Fragments de temps - Intervalles auxquels la métrique est échantillonnée. Par exemple,
PT1Mindique que la métrique est échantillonnée toutes les minutes,PT30Mtoutes les 30 minutes,PT1Htoutes les heures, et ainsi de suite. - Exportation DS : indique si la métrique est exportable vers les journaux Azure Monitor via les paramètres de diagnostic. Pour plus d’informations sur l’exportation des métriques, consultez Créer des paramètres de diagnostic dans Azure Monitor.
| Catégorie | Métrique | Nom dans l’API REST | Unité | Agrégation | Dimensions | Fragments de temps | Exportation DS |
|---|---|---|---|---|---|---|---|
| Requêtes de fonction ayant échoué Requêtes de fonction ayant échoué |
AMLCalloutFailedRequests |
Count | Total (Somme) | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| Événements de fonction Événements de fonction |
AMLCalloutInputEvents |
Count | Total (Somme) | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| Requêtes de fonction Requêtes de fonction |
AMLCalloutRequests |
Count | Total (Somme) | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| Erreurs de conversion de données Erreurs de conversion de données |
ConversionErrors |
Count | Total (Somme) | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| Erreurs de désérialisation d’entrée Erreurs de désérialisation d’entrée |
DeserializationError |
Count | Total (Somme) | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| Événements dans le désordre Événements en désordre |
DroppedOrAdjustedEvents |
Count | Total (Somme) | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| Événements d’entrée précoces Événements d’entrée précoces |
EarlyInputEvents |
Count | Total (Somme) | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| Erreurs d’exécution Erreurs d’exécution |
Errors |
Count | Total (Somme) | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| Octets des événements d’entrée Octets des événements d’entrée |
InputEventBytes |
Octets | Total (Somme) | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| Événements d’entrée Événements d’entrée |
InputEvents |
Count | Total (Somme) | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| Événements d'entrée en backlog Événements d'entrée en backlog |
InputEventsSourcesBacklogged |
Count | Moyenne, Maximum, Minimum | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| Sources d'entrée reçues Sources d'entrée reçues |
InputEventsSourcesPerSecond |
Count | Total (Somme) | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| Événements d’entrée tardifs Événements d’entrée tardifs |
LateInputEvents |
Count | Total (Somme) | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| Événements de sortie Événements de sortie |
OutputEvents |
Count | Total (Somme) | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| Délai en filigrane Délai en filigrane |
OutputWatermarkDelaySeconds |
Secondes | Moyenne, Maximum, Minimum | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| % d’utilisation de l’UC % d’utilisation de l’UC |
ProcessCPUUsagePercentage |
Pourcentage | Moyenne, Maximum, Minimum | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui | |
| SU (Mémoire) % d'utilisation SU (Mémoire) % d'utilisation |
ResourceUtilization |
Pourcentage | Moyenne, Maximum, Minimum | LogicalName, , PartitionIdProcessorInstance, ,NodeName |
PT1M | Oui |
Descriptions des métriques
Azure Stream Analytics fournit les métriques suivantes pour vous permettre de surveiller l’intégrité de votre travail.
| Métrique | Définition |
|---|---|
| Événements d'entrée en backlog | Nombre d’événements d’entrée qui sont en backlog. Une valeur non nulle pour cette métrique implique que votre travail n’est pas en mesure de suivre le nombre d’événements entrants. Si cette valeur est croissante ou constamment différente de zéro, vous devez effectuer un scale-out de votre travail. Pour plus d’informations, consultez Comprendre et ajuster les unités de diffusion en continu. |
| Erreurs de conversion de données | Nombre d’événements de sortie qui n’ont pas pu être convertis dans le schéma de sortie attendu. Pour supprimer les événements qui rencontrent ce scénario, vous pouvez modifier la stratégie d’erreur en Annuler. |
| % d’utilisation de l’UC (préversion) | Pourcentage d’UC que votre travail utilise. Même si cette valeur est très élevée (90 % ou plus), vous ne devez pas augmenter le nombre de SU uniquement sur la base de cette métrique. Si le nombre d’événements d’entrée en backlog ou de délais en filigrane augmente, vous pouvez utiliser cette métrique pour déterminer si le processeur constitue le goulot d’étranglement. Cette métrique peut avoir des pics intermittents. Nous vous recommandons d’effectuer des tests de mise à l’échelle pour déterminer la limite supérieure de votre travail après laquelle les entrées sont en backlog ou les délais en filigrane augmentent en raison d’un goulot d’étranglement du processeur. |
| Événements d’entrée précoces | Événements dont l’horodatage d’application est antérieur à leur heure d’arrivée de plus de 5 minutes. |
| Requêtes de fonction ayant échoué | Nombre d’appels à la fonction Azure Machine Learning ayant échoué (le cas échéant). |
| Événements de fonction | Nombre d’événements envoyés à la fonction Azure Machine Learning (le cas échéant). |
| Requêtes de fonction | Nombre d’appels à la fonction Azure Machine Learning (le cas échéant). |
| Erreurs de désérialisation d’entrée | Nombre d’événements d’entrée qui n’ont pas pu être désérialisés. |
| Octets des événements d’entrée | Quantité de données que le travail Stream Analytics reçoit, en octets. Vous pouvez utiliser cette métrique pour valider que les événements sont envoyés à la source d’entrée. |
| Événements d’entrée | Nombre d’enregistrements désérialisé à partir des événements d’entrée. Ce nombre n’inclut pas les événements entrants qui génèrent des erreurs de désérialisation. Stream Analytics peut ingérer les mêmes événements plusieurs fois dans des scénarios comme les récupérations internes ou les jointures réflexives. Ne vous attendez pas à ce que les métriques Événements d’entrée et Événements de sortie correspondent si votre travail comporte une simple requête directe. |
| Sources d'entrée reçues | Nombre de messages reçus par le travail. Pour Azure Event Hubs, un message est un élément EventData unique. Pour Stockage Blob Azure, un message est un blob unique. Notez que les sources d’entrée sont comptabilisées avant la désérialisation. En cas d’erreurs de désérialisation, les sources d’entrée peuvent être supérieures aux événements d’entrée. Sinon, les sources d’entrée peuvent être inférieures ou égales aux événements d’entrée dans la mesure où chaque message peut contenir plusieurs événements. |
| Événements d’entrée tardifs | Événements reçus plus tard que la valeur configurée dans la fenêtre de tolérance d’arrivée tardive. En savoir plus sur les Considérations relatives à l’ordre des événements Azure Stream Analytics. |
| Événements dans le désordre | Nombre d’événements reçus dans le désordre qui ont été supprimés ou dont l’horodatage a été réglé, en fonction de la stratégie de classement des événements. Cette métrique peut être affectée par la configuration du paramètre Plage de tolérance pour les événements en désordre. |
| Événements de sortie | Quantité de données envoyées par le travail Stream Analytics à la cible de sortie, en nombre d’événements. |
| Erreurs d’exécution | Nombre total d’erreurs liées au traitement des requêtes. Cela exclut les erreurs trouvées lors de l’ingestion d’événements ou de la sortie des résultats. |
| SU (Mémoire) % d'utilisation | Pourcentage de mémoire que votre travail utilise. Si cette métrique est régulièrement supérieure à 80 %, le délai en filigrane augmente; tout comme le nombre d’événements retardés. Dans ce cas, vous pouvez d’augmenter les unités de streaming (SU). Une utilisation intensive indique que la tâche atteint une limite proche de la quantité maximale de ressources allouées. |
| Délai en filigrane | Le délai en filigrane maximal sur toutes les partitions de toutes les sorties du travail. |
Dimensions de métrique
Pour plus d’informations sur les dimensions de métrique, consultez Métriques multidimensionnelles.
Ce service a les dimensions suivantes associées à ses métriques.
| Dimension | Définition |
|---|---|
| Nom logique | Nom d’entrée ou de sortie d’un travail Stream Analytics. |
| ID de partition | ID de la partition de données d’entrée provenant d’une source d’entrée. Par exemple, si la source d’entrée est un hub d’événements, l’ID de partition est l’ID de la partition du hub d’événements. Pour un travail présentant un parallélisme embarrassant, l’ID de partition de la sortie est identique à celui de l’entrée. |
| Node Name | Identificateur d’un nœud de streaming approvisionné au moment de l’exécution de votre travail. Un nœud de streaming représente la quantité de ressources de calcul et de mémoire allouées à votre travail. |
Dimension Nom logique
Le Nom logique est le nom d’entrée ou de sortie d’un travail Stream Analytics. Par exemple, supposons qu’un travail Stream Analytics comporte quatre entrées et cinq sorties. Vous voyez les quatre entrées logiques individuelles et les cinq sorties logiques individuelles lorsque vous fractionnez les métriques liées aux entrées et aux sorties en fonction de cette dimension.
La dimension Nom logique est disponible pour filtrer et fractionner les métriques suivantes :
- Événements d'entrée en backlog
- Erreurs de conversion de données
- Événements d’entrée précoces
- Erreurs de désérialisation d’entrée
- Octets des événements d’entrée
- Événements d’entrée
- Source d’entrée reçue
- Événements d’entrée tardifs
- Événements dans le désordre
- Événements de sortie
- Délai en filigrane
Dimension Nom de nœud
Un nœud de streaming représente un ensemble de ressources de calcul utilisées pour traiter vos données d’entrée. Six unités de streaming se traduisent par un nœud, que le service gère automatiquement en votre nom. Pour plus d’informations sur la relation entre les unités de streaming et les nœuds de streaming, consultez Comprendre et ajuster les unités de streaming.
La dimension Nom de nœud est une dimension de niveau Nœud de streaming. Celle-ci peut vous aider à explorer en détail certaines métriques jusqu’au niveau du nœud de streaming spécifique. Par exemple, vous pouvez fractionner la métrique % d’utilisation du processeur par niveau de nœud de streaming pour vérifier l’utilisation du processeur d’un nœud de streaming individuel.
La dimension Nom de nœud est disponible pour filtrer et fractionner les métriques suivantes :
- Événements d'entrée en backlog
- % d’utilisation de l’UC (préversion)
- Événements d’entrée
- Événements de sortie
- SU (Mémoire) % d'utilisation
- Délai en filigrane
Dimension ID de partition
Lorsque des données de streaming sont ingérées dans le service Azure Stream Analytics à des fins de traitement, les données d’entrée sont distribuées aux nœuds de streaming en fonction des partitions de la source d’entrée. La dimension ID de partition correspond à l’ID de la partition des données d’entrée provenant de la source d’entrée.
Par exemple, si la source d’entrée est un hub d’événements, l’ID de partition est l’ID de la partition du hub d’événements. L’ID de partition de l’entrée est le même que celui de la sortie.
La dimension ID de partition est disponible pour filtrer et fractionner les métriques suivantes :
- Événements d'entrée en backlog
- Erreurs de conversion de données
- Événements d’entrée précoces
- Erreurs de désérialisation d’entrée
- Octets des événements d’entrée
- Événements d’entrée
- Source d’entrée reçue
- Événements d’entrée tardifs
- Événements de sortie
- Délai en filigrane
Journaux d’activité de ressources
Cette section répertorie les types de journaux d’activité de ressources que vous pouvez collecter pour ce service. La section extrait la liste de tous les types de catégorie de journaux d’activité de ressources pris en charge dans Azure Monitor.
Journaux de ressources pris en charge pour Microsoft.StreamAnalytics/streamingjobs
| Category | Nom complet de la catégorie | Table de journal | Prend en charge le plan de journal de base | Prend en charge la transformation de la durée d’ingestion | Exemples de requêtes | Coûts d’exportation |
|---|---|---|---|---|---|---|
Authoring |
Création | AzureDiagnostics Journaux d’activité de plusieurs ressources Azure. |
Non | Non | Requêtes | Non |
Execution |
Exécution | AzureDiagnostics Journaux d’activité de plusieurs ressources Azure. |
Non | Non | Requêtes | Non |
Schéma des journaux de ressource
Tous les journaux d’activité sont stockés au format JSON. Chaque entrée comprend les champs de chaîne courants suivants :
| Nom | Description |
|---|---|
| time | L’horodatage (heure UTC) du journal. |
| resourceId | L’ID de la ressource sur laquelle l’opération a eu lieu, en majuscules. Comprend l’ID d’abonnement, le groupe de ressources et le nom du travail. Par exemple, /SUBSCRIPTIONS/6503D296-DAC1-4449-9B03-609A1F4A1C87/RESOURCEGROUPS/MY-RESOURCE-GROUP/PROVIDERS/MICROSOFT.STREAMANALYTICS/STREAMINGJOBS/MYSTREAMINGJOB. |
| catégorie | La catégorie de journal, Exécution ou Création. |
| operationName | Le nom de l’opération qui est journalisée. Par exemple, Événements d’envoi : Échec d’écriture de la sortie SQL sur mysqloutput. |
| status | État de l’opération. Par exemple, Échec ou Réussite. |
| level | Le niveau du journal. Par exemple, Erreur, Avertissement ou Informations. |
| properties | Détail spécifique de l’entrée du journal, sérialisé comme chaîne JSON. Pour plus d’informations, consultez les sections suivantes de cet article. |
Schéma de propriétés des journaux d’exécution
Les journaux d’activité d’exécution contiennent des informations sur les événements qui se sont produits pendant l’exécution du travail Stream Analytics. Le schéma de propriétés varie selon que l’événement est une erreur de données ou un événement générique.
Erreurs de données
Toute erreur qui se produit lorsque le travail traite des données est consignée dans cette catégorie de journaux d’activité. La plupart du temps, ces journaux d’activité sont créés au cours des opérations de lecture, de sérialisation et d’écriture des données. Ces journaux d’activité n’incluent pas les erreurs de connectivité. Les erreurs de connectivité sont traitées comme des événements génériques. Vous pouvez en apprendre davantage sur la cause des différentes erreurs de données d’entrée et de sortie.
| Nom | Description |
|---|---|
| Source | Nom de l’entrée ou de la sortie du travail où l’erreur s’est produite. |
| Message | Message associé à l’erreur. |
| Type | Type d'erreur Par exemple, DataConversionError, CsvParserError ou ServiceBusPropertyColumnMissingError. |
| Données | Contient des données utiles pour localiser avec précision la source de l’erreur. Troncation possible en fonction de la taille. |
En fonction de la valeur operationName, les erreurs de données ont le schéma suivant :
Les événements de sérialisation se produisent pendant les opérations de lecture d’événements, Elles se produisent lorsque les données en entrée ne répondent pas aux conditions du schéma de requête pour l’une des raisons suivantes :
Incompatibilité de type pendant la sérialisation/désérialisation de l’événement : identifie le champ à l’origine de l’erreur.
Impossible de lire un événement, sérialisation non valide : fournit des informations sur l’emplacement où l’erreur s’est produite dans les données d’entrée. (nom d’objet blob pour une entrée d’objet blob, décalage et exemple de données).
Les événements d’envoi surviennent pendant les opérations d’écriture. Ils identifient l’événement de streaming à l’origine de l’erreur.
Événements génériques
Les événements génériques couvrent tout le reste.
| Nom | Description |
|---|---|
| Error | (facultatif) Informations sur l’erreur, En général, il s’agit des informations sur l’exception si celles-ci sont disponibles. |
| Message | Message de journal. |
| Type | Type de message, correspond à la catégorisation interne des erreurs. Par exemple, JobValidationError ou BlobOutputAdapterInitializationFailure. |
| ID de corrélation : | GUID qui identifie de façon unique l’exécution du travail. Toutes les entrées du journal d’exécution générées depuis le démarrage du travail jusqu’à son arrêt ont le même ID de corrélation. |
Pour référence, consultez la liste de tous les types de catégorie de journaux de ressource pris en charge dans Azure Monitor ou tous les types de catégorie de journaux de ressource collectés pour Azure Stream Analytics.
Tables Azure Monitor Logs
Cette section répertorie les tables de journaux Azure Monitor pertinentes pour ce service, disponibles pour une requête par l’analytique des journaux d’activité à l’aide de requêtes Kusto. Les tables contiennent les données du journal des ressources et éventuellement d’autres données en fonction de ce qui est collecté et acheminé vers elles.
Tâches Stream Analytics
| Category | Nom complet de la catégorie | Table de journal | Prend en charge le plan de journal de base | Prend en charge la transformation de la durée d’ingestion | Exemples de requêtes | Coûts d’exportation |
|---|---|---|---|---|---|---|
Authoring |
Création | AzureDiagnostics Journaux d’activité de plusieurs ressources Azure. |
Non | Non | Requêtes | Non |
Execution |
Exécution | AzureDiagnostics Journaux d’activité de plusieurs ressources Azure. |
Non | Non | Requêtes | Non |
Journal d’activité
La table liée répertorie les opérations qui peuvent être enregistrées dans le journal d’activité de ce service. Ces opérations constituent un sous-ensemble de toutes les opérations possibles du fournisseur de ressources dans le journal d’activité.
Pour plus d’informations sur le schéma des entrées du journal d’activité, consultez Schéma du journal d’activité.