Azure Data Explorer Clusters Insights
Azure Data Explorer Clusters Insights fournit une surveillance complète de vos clusters en fournissant une vue unifiée des performances, des opérations, de l’utilisation et des échecs de votre cluster.
Il offre ce qui suit :
- Perspective à grande échelle. Une vue instantanée des principales métriques de vos clusters vous aide à suivre les performances des requêtes, l’ingestion et les opérations d’exportation.
- Analyse approfondie. Vous pouvez effectuer une analyse détaillée d’un cluster Azure Data Explorer particulier.
- Personnalisation. Vous pouvez choisir les métriques que vous souhaitez voir, modifier ou définir des seuils qui s’alignent sur vos limites, et enregistrer vos propres classeurs personnalisés. Les graphiques d’un classeur peuvent être épinglés aux tableaux de bord Azure.
Cet article vous aidera à comprendre comment intégrer et utiliser Azure Data Explorer Clusters Insights.
Affichage à partir d’Azure Monitor (perspective à grande échelle)
À partir d’Azure Monitor, vous pouvez afficher les principales métriques de performances du cluster. Ces métriques incluent des informations sur les requêtes, l’ingestion et les opérations d’exportation de plusieurs clusters dans votre abonnement. Elles peuvent vous aider à identifier les problèmes de performances.
Pour afficher les performances de vos clusters sur l’ensemble de vos abonnements
Connectez-vous au portail Azure.
Sélectionnez Surveillance dans le volet gauche. Dans la section Hub Insights, sélectionnez Clusters Azure Data Explorer.
Onglet Vue d’ensemble de l’abonnement
Dans l’onglet Vue d’ensemble de l’abonnement sélectionné, le tableau affiche les métriques interactives des clusters Azure Data Explorer regroupés dans l’abonnement. Vous pouvez filtrer les résultats en fonction des options que vous sélectionnez dans les listes déroulantes suivantes :
Abonnements : seuls les abonnements qui comportent des clusters Azure Data Explorer sont listés.
Clusters Azure Data Explorer : par défaut, jusqu’à cinq clusters sont présélectionnés. Si vous sélectionnez tous les clusters ou plusieurs d’entre eux dans le sélecteur d’étendue, jusqu’à 200 clusters seront retournés.
Intervalle de temps : par défaut, le tableau affiche les 24 dernières heures d’informations en fonction des sélections correspondantes effectuées.
La vignette de compteur, sous la liste déroulante, indique le nombre total de clusters Azure Data Explorer dans les abonnements sélectionnés, et combien sont sélectionnés. Il existe des codages de couleur conditionnels pour les colonnes : Keep Alive, Processeur, Utilisation de l’ingestion et Utilisation du cache. Les cellules codées en orange affichent des valeurs qui ne sont pas viables pour le cluster.
Pour mieux comprendre ce que chaque métrique représente, nous vous recommandons de lire la documentation relative aux métriques Azure Data Explorer.
Onglet Performances des requêtes
L’onglet Performances des requêtes affiche la durée des requêtes, le nombre total de requêtes simultanées et le nombre total de requêtes limitées.
Onglet Performances d’ingestion
L’onglet Performances de l’ingestion affiche la latence d’ingestion, les résultats des ingestions réussies, les résultats des ingestions qui ont échoué, le volume d’ingestion, et les événements traités pour les hubs d’événements et les hubs IoT.
Onglet Performances d’ingestion de streaming
L’onglet Performances de l’ingestion en streaming fournit des informations sur le débit moyen de données, la durée moyenne et le taux de demandes.
Onglet Performances d’exportation
L’onglet Performances d’exportation fournit des informations sur les enregistrements exportés, le retard, le nombre en attente, et le pourcentage d’utilisation pour les opérations d’exportation continues.
Vue d’une ressource de cluster Azure Data Explorer (analyse approfondie)
Pour accéder à Azure Data Explorer Clusters Insights directement à partir d’un cluster Azure Data Explorer :
Dans le portail Azure, sélectionnez Clusters Azure Data Explorer.
Dans la liste, choisissez un cluster Azure Data Explorer. Dans la section de supervision, sélectionnez Insights.
Vous pouvez également accéder à ces vues en sélectionnant le nom de ressource d’un cluster Azure Data Explorer dans la vue Azure Monitor Insights.
Notes
Azure Data Explorer Clusters Insights combine les journaux et les métriques pour fournir une solution de supervision globale. L’inclusion de visualisations basées sur les journaux oblige les utilisateurs à activer la journalisation des diagnostics de leur cluster Azure Data Explorer et à les envoyer à un espace de travail Log Analytics. Les journaux de diagnostic qui doivent être activés sont Command, Query, SucceededIngestion, FailedIngestion, IngestionBatching, TableDetails et TableUsageStatistics. (L’activation des journaux SucceededIngestion peut être coûteuse. Ne les activez que si vous avez besoin de surveiller les ingestions réussies.)
Onglet Overview
L’onglet Vue d’ensemble affiche les éléments suivants :
Les vignettes de métriques qui mettent en évidence la disponibilité et l’état global du cluster pour une évaluation rapide de l’intégrité
Un résumé des recommandations Azure Advisor actives et de l’état d’intégrité des ressources
Des graphiques présentant les principaux consommateurs de processeur et de mémoire, ainsi que le nombre d’utilisateurs uniques au fil du temps
Onglet Métriques clés
L’onglet Métriques clés affiche une vue unifiée de certaines métriques du cluster. Elles sont regroupées en métriques générales, métriques liées à la requête, métriques liées à l’ingestion et métriques liées à l’ingestion en streaming.
Onglet Utilisation
L’onglet Utilisation permet aux utilisateurs d’approfondir les performances des commandes et des requêtes du cluster. Dans cet onglet, vous pouvez :
- Identifier les groupes de charge de travail, les utilisateurs et les applications qui envoient le plus de requêtes ou qui consomment le plus de ressources processeur et mémoire. Vous pouvez alors identifier les charges de travail qui envoient les requêtes les plus lourdes à traiter par le cluster.
- Identifier les principaux groupes de charge de travail, utilisateurs et applications par requêtes ayant échoué.
- Identifier les modifications récentes du nombre de requêtes, par rapport à la moyenne quotidienne historique (au cours des 16 derniers jours), par groupe de charges de travail, par utilisateur et par application.
- Identifier les tendances et les pics de nombre de requêtes, de mémoire et de consommation du processeur par groupe de charges de travail, utilisateur, application et type de commande.
L’onglet Utilisation comprend des actions qui sont effectuées directement par les utilisateurs. Les opérations internes de cluster ne figurent pas dans cet onglet.
Onglet Tables
L’onglet Tables affiche les propriétés les plus récentes et l’historique des propriétés des tables du cluster. Cela vous permet d’identifier les tables qui consomment le plus d’espace. Vous pouvez également suivre l’historique de croissance par taille de table, les données à chaud ainsi que le nombre de lignes dans le temps.
Onglet Cache
L’onglet Cache permet aux utilisateurs d’analyser leurs modèles de fenêtre de recherche en arrière des requêtes réelles, et de les comparer à la stratégie de cache configurée (pour chaque table). Vous pouvez identifier les tables utilisées par le plus grand nombre de requêtes ainsi que les tables qui ne sont pas interrogées, et adapter ainsi la stratégie de cache en conséquence.
Vous pouvez recevoir des recommandations de stratégie de cache sur des tables spécifiques dans Azure Advisor. Actuellement, les recommandations de cache sont uniquement disponibles à partir du tableau de bord principal Azure Advisor. Elles sont basées sur la fenêtre de recherche en arrière des requêtes réelles au cours des 30 derniers jours et sur une stratégie de cache non optimisée pour au moins 95 % des requêtes.
Des recommandations de réduction du cache dans Azure Advisor sont disponibles pour les clusters « délimités par les données ». Cela signifie que le cluster a une faible utilisation du processeur et une faible ingestion, mais qu’en raison d’une capacité de données élevée, le cluster ne peut pas faire l’objet d’un scale-in ou d’un scale-down.
Onglet Limites du cluster
L’onglet Limites du cluster montre les limites du cluster en fonction de votre utilisation. Sous cet onglet, vous pouvez inspecter l’utilisation du cache, le processeur et l’ingestion. Ces métriques sont notées Basse, Moyenne ou Élevée. Ces métriques et scores sont importants lors du choix du nombre d’instances et de la référence SKU optimale pour votre cluster. Elles sont prises en compte dans la recommandation de SKU/taille d’Azure Advisor.
Sous cet onglet, vous pouvez sélectionner une vignette de métrique et effectuer une exploration approfondie afin de comprendre sa tendance et comment son score est déterminé. Vous pouvez également afficher la recommandation de SKU/taille d’Azure Advisor pour votre cluster. Par exemple, dans l’image suivante, vous pouvez voir que toutes les métriques sont notées Basse. Le cluster reçoit une recommandation de coût qui lui permettra de subir un scale-in ou scale-out et de réduire les coûts.
Onglet Ingestion (onglet d’aperçu)
L’onglet Ingestion vous permet de surveiller l’status des opérations d’ingestion en file d’attente sur le cluster.
Dans le processus d’ingestion en file d’attente , l’ingestion des données est optimisée pour un débit élevé. Cela s’effectue en regroupant de petits blocs de données entrantes en lots en fonction d’une stratégie d’ingestion par lots configurable.
L’onglet Ingestion vous fournit des informations détaillées sur les éléments suivants :
- Résultat de l’ingestion mise en file d’attente, par granularité de base de données ou de table.
- Détails de l’erreur d’ingestion par table.
- La quantité de données ingérées
- Latence de l’ingestion mise en file d’attente et où elle se produit.
- Le processus de traitement par lots lui-même, y compris les informations de surveillance sur la stratégie de traitement par lot d’ingestion et la façon dont les lots ont été scellés.
- Pour les ingestions Event Hubs, Event Grid et IoT Hub : nombre d’événements reçus dans le cluster et nombre d’événements envoyés pour l’ingestion réelle.
Épingler à un tableau de bord Azure
Vous pouvez épingler l’une des sections de métriques (dans la perspective « à grande échelle ») à un tableau de bord Azure en sélectionnant l’icône de punaise en haut à droite de la section.
Personnaliser Azure Data Explorer Clusters Insights
Vous pouvez modifier le classeur pour le personnaliser afin de prendre en charge vos besoins d’analytique des données :
- Régler l’étendue du classeur pour qu’il sélectionne toujours un abonnement ou des clusters Azure Data Explorer particuliers
- Changer les métriques dans la grille
- Changer les seuils ou le rendu/les codes de couleur
Vous pouvez commencer les personnalisations en sélectionnant le bouton Personnaliser dans la barre d’outils supérieure.
Les personnalisations sont enregistrées dans un classeur personnalisé, afin d’éviter de remplacer la configuration par défaut dans un classeur publié. Les classeurs sont enregistrés au sein d’un groupe de ressources, soit dans la section Mes rapports qui est privée ou dans la section Rapports partagés accessible à tous les utilisateurs ayant accès au groupe de ressources. Une fois que vous avez enregistré le classeur personnalisé, accédez à la galerie de classeurs pour l’ouvrir.
Résolution des problèmes
Pour obtenir des conseils généraux sur la résolution des problèmes, consultez l’article de résolution des problèmes liés aux insights basés sur des classeurs.
Les sections suivantes vous aideront à diagnostiquer et à résoudre certains des problèmes courants que vous pouvez rencontrer lors de l’utilisation d’Azure Data Explorer Clusters Insights.
Pourquoi ne puis-je pas voir tous mes abonnements dans le sélecteur d’abonnement ?
affiche uniquement les abonnements qui contiennent des clusters Azure Data Explorer choisis dans le filtre d’abonnement sélectionné. Vous sélectionnez un filtre d’abonnement sous Répertoire + abonnement dans le portail Azure.
Pourquoi ne vois-je aucune donnée pour mon cluster Azure Data Explorer dans la section Utilisation, Tables ou Cache ?
Pour afficher vos données basées sur les journaux, vous devrez activer les journaux de diagnostic pour chaque cluster Azure Data Explorer que vous souhaitez superviser. Vous pouvez effectuer cette opération dans les paramètres de diagnostic pour chaque cluster. Vous devrez envoyer vos données à un espace de travail Log Analytics. Les journaux de diagnostic qui doivent être activés sont Command, Query, TableDetails et TableUsageStatistics.
J’ai déjà activé les journaux pour mon cluster Azure Data Explorer. Pourquoi ne puis-je toujours pas voir mes données sous Commandes et Requêtes ?
Actuellement, les journaux de diagnostic ne fonctionnent pas rétroactivement. Les données commencent à apparaître une fois que des actions ont été effectuées dans Azure Data Explorer. Cela peut prendre un certain temps, allant de quelques heures à une journée, selon le degré d’activité de votre cluster Azure Data Explorer.
Notes
Dans le portail Azure, les données de métriques brutes des pages Métriques et Insights sont stockées dans Azure Monitor. Les requêtes sur ces pages interrogent directement les données de métriques brutes pour fournir les résultats les plus précis. Lorsque vous utilisez la fonctionnalité de paramètres de diagnostic, vous pouvez migrer les données de métriques brutes vers l’espace de travail Log Analytics. Pendant la migration, certaines précisions de données peuvent être perdues en raison de l’arrondi ; par conséquent, les résultats de requête peuvent varier légèrement des données d’origine. La marge d’erreur est inférieure à 1 %.