Détection d’anomalie dans l'Intelligence en Temps Réel (aperçu)

Cet article explique comment configurer la détection d’anomalies dans Real-Time Intelligence pour identifier automatiquement des modèles et des valeurs hors norme dans vos tables Eventhouse. Le système fournit des modèles recommandés et vous permet de configurer une surveillance continue avec des actions automatisées.

Les fonctionnalités clés sont les suivantes :

  • Recommandations de modèle : suggère les meilleurs algorithmes et paramètres pour vos données.
  • Exploration interactive des anomalies : visualisez les anomalies détectées et ajustez la sensibilité du modèle.
  • Surveillance continue : configurez la détection d’anomalies en temps réel avec des notifications automatisées.
  • Réanalyse avec de nouvelles données : mettez à jour vos modèles à mesure que de nouvelles données arrivent pour améliorer la précision.

La détection des anomalies s’exécute en mode natif sur des tables Eventhouse sans copier de données, fonctionnant directement sur des jeux de données en direct pour une analyse en temps réel. L’analyse et la surveillance continue s’exécutent en place dans Eventhouse, ce qui réduit le déplacement des données.

La détection d’anomalies prend également en charge les tableaux de raccourcis Eventhouse, ce qui permet d’analyser les données sans d’abord les copier ou les déplacer dans une table dédiée à Eventhouse. Vous pouvez créer des détecteurs d’anomalies directement sur des tableaux de raccourcis pris en charge et utiliser les mêmes analyses, recommandations de modèles et expériences de surveillance continue disponibles pour les sources de données natives d’Eventhouse. Ce support étend la détection d’anomalies aux sources de données externes et fédérées déjà connectées via les raccourcis Eventhouse, afin que vous puissiez passer de la connexion des données à la détection de problèmes avec moins de configuration et de duplication.

Important

Cette fonctionnalité est en version préliminaire.

Prerequisites

  • Un espace de travail avec une capacité activée par Microsoft Fabric.

  • Un rôle Administrateur, Contributeur, ou Membre dans un espace de travail.

  • Un Eventhouse dans votre espace de travail avec une base de données KQL.

  • Un plug-in Python activé sur ce même Eventhouse.

    1. Pour désactiver le plugin, allez sur votre Eventhouse.
    2. Dans la barre d’outils supérieure, sélectionnez Plug-ins , puis activez l’extension de langage Python.
    3. Sélectionnez le plug-in DL Python 3.11.7, puis sélectionnez Terminé.

    Capture d’écran de l’activation du plug-in Python dans Eventhouse.

  • Détectez les anomalies dans Real-Time Intelligence activée dans votre espace de travail.

    1. Pour activer la détection d’anomalie, allez dans votre espace de travail.
    2. Passez à une version d’essai gratuite de Microsoft Fabric ou assurez-vous que votre espace de travail possède une licence Microsoft Fabric.
    3. Soit contactez votre administrateur pour activer le bouton de prévisualisation, soit allez sur le portail administrateur et activez la fonction Détection des anomalies dans Real-Time Intelligence (Aperçu). Capture d’écran d’activation de la détection d’anomalies dans Real-Time Intelligence (Aperçu) dans le portail d’administration.

Note

  • Assurez-vous que votre table Eventhouse contient suffisamment de données historiques pour améliorer les recommandations de modèle et la précision de la détection des anomalies. Par exemple, les jeux de données avec un point de données par jour nécessitent quelques mois de données, tandis que les jeux de données avec un point de données par seconde peuvent nécessiter seulement quelques jours.
  • Cette fonctionnalité est disponible dans toutes les régions où Microsoft Fabric est disponible.

Comment configurer la détection d’anomalies

Premiers pas

Vous pouvez démarrer la détection des anomalies de trois façons :

  1. Sélectionnez une base de données et la table ou le raccourci que vous souhaitez analyser.

  2. Dans la barre d’outils supérieure, sélectionnez Créer un détecteur d’anomalies ou sélectionnez l’option Détecteur d’anomalies dans les points de suspension (⋯) dans l’arborescence de la base de données.

Capture d’écran de l’option Détecteur d’anomalies dans l’arborescence de base de données Eventhouse et dans la barre d’outils supérieure.

Voir les configurations existantes de détection d’anomalies

Avant de créer un nouveau détecteur d’anomalie, vérifiez si une configuration de détection d’anomalie existe déjà pour la source de données que vous avez sélectionnée. Cette vue vous donne une visibilité rapide sur la façon dont la détection d’anomalies est actuellement configurée pour cette source de données. Cela vous aide à éviter les doublons et à mieux comprendre comment les autres utilisent les données.

  1. Dans votre liste de sources de données, sélectionnez les ellipsis (...) pour la source de données que vous souhaitez analyser, puis sélectionnez Détecteur d’anomalies existant.

    Capture d’écran de l’option existante de détecteur d’anomalies dans la liste de points de suspension.

  2. Dans Voir les anomalies détectées, vous pouvez consulter toutes les configurations existantes de détection d’anomalies pour la source de données sélectionnée et explorer les détails de chacune.

    1. Dans le panneau de navigation de gauche, sélectionnez une configuration pour explorer les anomalies détectées, ou sélectionnez Ouvrir pour la visualiser en plein écran.

    2. Si les configurations existantes ne répondent pas à vos besoins, sélectionnez Nouveau pour créer une nouvelle configuration de détection d’anomalie.

    Capture d’écran de la vue des détails pour une configuration existante de détection d’anomalie.

Cette expérience vous aide à passer rapidement de l’exploration à l’action, sans sortir du contexte de votre source de données.

Configurer des colonnes d’entrée pour l’analyse

Spécifiez les colonnes à analyser et comment regrouper vos données.

  1. Dans le volet de configuration, ajoutez la colonne Valeur à surveiller qui contient les données numériques que vous souhaitez surveiller pour les anomalies.

    Capture d’écran de la valeur pour regarder les paramètres de configuration.

    Note

    Vérifiez que la colonne sélectionnée contient des valeurs numériques, car seules les données numériques sont prises en charge pour la détection des anomalies.

  2. Choisissez la colonne Group by pour spécifier la façon dont vos données doivent être partitionnées à des fins d’analyse. Cette colonne représente généralement des entités telles que des appareils, des emplacements ou d’autres regroupements logiques.

    Capture d’écran des paramètres de configuration Group by.

  3. Sélectionnez la colonne Timestamp qui représente l’heure à laquelle chaque point de données a été enregistré. Cette colonne est cruciale pour la détection des anomalies de série chronologique et garantit une analyse précise des tendances au fil du temps.

    Capture d’écran des paramètres de configuration timestamp.

  4. Sélectionnez Exécuter l’analyse pour commencer l’évaluation automatisée du modèle.

Attendre la fin de l’analyse

Le système analyse vos données pour trouver les meilleurs modèles de détection d’anomalies.

Important

L’analyse prend généralement jusqu’à quatre minutes en fonction de la taille de vos données et peut s’exécuter pendant jusqu’à 30 minutes. Vous pouvez accéder à une autre page et revenir à la fin de l’analyse.

Pendant l’analyse, le système :

  • Échantillonne vos données de table pour un traitement efficace
  • Teste plusieurs algorithmes de détection d’anomalies
  • Évalue différentes configurations de paramètres
  • Identifie les modèles les plus efficaces pour vos modèles de données spécifiques

Une fois l’analyse terminée, passez en revue les résultats et explorez les anomalies détectées.

  1. Ouvrez les résultats de la détection des anomalies en sélectionnant la notification que vous avez reçue ou en revenant à la table et en sélectionnant Afficher les résultats des anomalies.

  2. La page de résultats fournit les insights suivants :

    • Visualisation de vos données avec des anomalies clairement mises en surbrillance.
    • Liste des algorithmes recommandés, classés par leur efficacité pour vos données.
    • Paramètres de confidentialité pour ajuster les seuils de détection.
    • Tableau détaillé des anomalies détectées dans l’intervalle de temps sélectionné.

  3. Utilisez le sélecteur de modèle pour comparer les performances de différents algorithmes recommandés et choisissez celui qui convient le mieux à vos besoins.

  4. Ajustez les paramètres de sensibilité pour affiner les résultats de la détection d’anomalie :

    • Les options incluent des niveaux de confiance faibles, moyens et élevés.
    • Expérimentez ces paramètres pour équilibrer la détection d’anomalies supplémentaires et la réduction des faux positifs.

  5. Interagissez avec les visuels et les tables pour obtenir des insights plus approfondis sur les anomalies détectées et comprendre les modèles de vos données. Vous pouvez également ouvrir le contexte d’analyse des anomalies dans un notebook Fabric pour explorer davantage les données et détecter des anomalies à l’aide de KQL, SQL, Python ou Spark, ce qui permet des transformations avancées et le Machine Learning sur la même base de données.

  6. Enregistrez le détecteur d’anomalies pour conserver votre configuration et revisitez-le ultérieurement.

  7. Publier les anomalies détectées dans Real-Time Hub afin d’assurer une surveillance continue des données en temps réel entrantes sous la gouvernance de Fabric, sans dupliquer le jeu de données. Vous pouvez également configurer des actions en aval, telles que l’envoi d’alertes à Activateor.

En examinant et en définissant les résultats, vous pouvez vous assurer que votre configuration de détection d’anomalie est optimisée pour votre cas d’usage spécifique.

Réanalyser des modèles de détection d’anomalies avec de nouvelles données

Conservez vos modèles de détection d’anomalies à jour à mesure que de nouvelles données deviennent disponibles.

Procédez comme suit pour réanalyser le modèle avec de nouvelles données :

  1. Accédez à votre élément de détection d’anomalie.
  2. Dans le panneau Modifier , modifiez l’un des champs précédemment remplis en fonction des besoins.
  3. Cliquez sur Exécuter l’analyse. Cette action démarre une nouvelle analyse basée sur vos entrées mises à jour.

Avertissement

La reanalysation met à jour le modèle utilisé par les règles de surveillance existantes, ce qui peut affecter les actions en aval.

Explorer les événements de détection d’anomalies et définir des alertes

Après avoir publié vos résultats de détection d’anomalies, vous pouvez explorer les anomalies détectées dans le hub Real-Time et configurer des alertes pour vous avertir des anomalies futures.

Les événements d’anomalie peuvent également être connectés aux agents de données Fabric pour permettre un raisonnement automatisé et des actions automatisées sur les données d’événements en temps réel et historiques. Les agents peuvent traiter des événements d’anomalie et orchestrer des processus en aval, en complément des alertes basées sur Activator.

Interroger les résultats d’anomalie à l’aide du point de terminaison SQL

Eventhouse fournit un point de terminaison SQL géré, aligné sur le modèle de données Eventhouse et la gouvernance de Fabric. Vous pouvez interroger les sorties du détecteur d’anomalies et les tables ou vues associées via SQL pour l’analytique et les intégrations en aval. Pour trouver les détails de connexion au point de terminaison SQL, accédez à votre élément Eventhouse dans l’espace de travail Fabric.

Pour plus d’informations, consultez :

Limitations et considérations

Tenez compte de ces limitations :

  • La détection d’anomalie est désactivée si la table d’entrée ne correspond pas au schéma requis (colonne de valeur numérique, colonne datetime et colonne de chaîne).
  • Les données historiques suffisantes améliorent les recommandations et la précision du modèle.
  • Chaque détecteur d’anomalies ne prend en charge qu’une seule configuration de modèle.

Exécution de plusieurs opérations dans le détecteur d’anomalies

Lorsque vous interagissez avec le détecteur d’anomalies, Eventhouse exécute des requêtes Python en arrière-plan pour prendre en charge l’analyse en temps réel. Ces opérations comprennent :

  • Exécution de la détection d’anomalies ou d’autres types d’analyse.
  • Passer entre les modèles recommandés.
  • Modifier la plage horaire ou les ID que vous affichez.
  • Surveillance continue des données entrantes pour les anomalies en définissant des alertes.

Eventhouse prend en charge jusqu’à huit requêtes simultanées par Eventhouse. Si vous dépassez cette limite, le système retente les requêtes, mais il ne met pas en file d’attente des requêtes supplémentaires et peut échouer en mode silencieux. Les messages d’erreur qui fournissent plus de clarté sont en cours de développement.

Pour éviter les problèmes :

  • Autoriser chaque requête à se terminer avant de commencer une nouvelle requête.
  • Si les performances semblent lentes ou ne répondent pas, réduisez le nombre de requêtes simultanées.

Pour plus d’informations, consultez plug-in Python.

Délais d’attente pour activer le plugin Python

Lorsque vous lancez l’analyse des données, le détecteur d’anomalies active automatiquement le plugin Python sur votre Eventhouse. L’activation du plug-in peut prendre jusqu’à une heure. Une fois activée, l’analyse démarre automatiquement.

Pour plus d’informations, consultez Activer le plug-in Python dans Real-Time Intelligence.

Étapes suivantes

Après avoir configuré la détection des anomalies, vous pouvez :

Contenu connexe

  • Last updated on