Nouveautés et planifications de l’intelligence en temps réel dans Microsoft Fabric
Important
Les plans de mise en production décrivent les fonctionnalités susceptibles ou non d’avoir été publiées. Les délais de livraison et les fonctionnalités projetées peuvent changer ou ne pas être expédiés. Pour plus d’informations, consultez la stratégie Microsoft.
Real-Time Intelligence permet aux professionnels des données, aux analystes et aux utilisateurs professionnels d’ingérer, de traiter, d’analyser, de transformer, de visualiser et d’agir sur des données volumineuses, sensibles au temps et hautement granulaires pour aider les organisations à prendre des décisions métier plus rapides et plus éclairées. Il s’agit d’une expérience de bout en bout qui permet de gérer en toute transparence les données en temps réel sans avoir besoin de l’atterrir en premier. Real-Time Intelligence s’appuie sur les fonctionnalités existantes de Analytique en temps réel et d’activateur de données et offre de nouvelles fonctionnalités qui facilitent encore davantage les utilisateurs de tous les niveaux de compétence pour tirer le meilleur parti de leurs données en temps réel. Cela inclut l’ingestion de données de diffusion en continu avec une granularité élevée, la transformation dynamique des données de diffusion en continu, les données de requête en temps réel pour obtenir des insights instantanés et déclencher des actions telles que l’alerte d’un responsable de production lorsque l’équipement est surchauffé ou réexécuter les travaux lorsque les pipelines de données échouent.
Même s’il est appelé « temps réel », vos données n’ont pas besoin d’être transmises à des taux élevés et des volumes pour obtenir une véritable valeur métier. Real-Time Intelligence vous offre des solutions basées sur des événements plutôt que des solutions pilotées par la planification, ce qui vous permet de prendre les meilleures décisions en temps réel.
Derrière cette charge de travail puissante est le hub en temps réel, un emplacement unique pour découvrir, gérer et utiliser des données de vapeur d’événements à partir de Fabric, d’autres sources de données Microsoft et de sources de données externes. Tout comme le hub de données OneLake, il est facile de découvrir, de gérer et d’utiliser les données au repos, le hub en temps réel peut vous aider à faire de même pour les données en mouvement. Tous les événements qui circulent via le hub en temps réel peuvent être facilement transformés et routés vers n’importe quel magasin de données Fabric et peuvent créer de nouveaux flux qui peuvent être découverts et consommés.
Pour plus d’informations, consultez la documentation Real-Time Intelligence et visitez le blog d’annonce.
Les éléments disponibles en temps réel sont les suivants :
Hub en temps réel, un emplacement unique pour découvrir, gérer et utiliser des données de vapeur d’événements à partir de Fabric, d’autres sources de données Microsoft et de sources de données externes
Flux d’événements pour la capture, la transformation et le routage d’événements en temps réel vers différentes destinations avec une expérience sans code.
La base de données Eventhouse et KQL sont le moteur de analytique idéal pour traiter les données en mouvement. Ils sont spécifiquement adaptés aux événements de diffusion en continu basés sur le temps et comprenant des données structurées, semi-structurées et non structurées. Ces données sont automatiquement indexées et partitionnés en fonction du temps d’ingestion, ce qui vous offre des fonctionnalités d’interrogation analytiques extrêmement rapides et complexes sur des données de haute granularité. Les données stockées dans des event houses peuvent être mises à disposition dans OneLake pour être exploitées par d’autres expériences Fabric.
Ensemble de requêtes KQL pour exécuter des requêtes, afficher et personnaliser les résultats des requêtes sur les données. L’ensemble de requêtes KQL vous permet d’enregistrer des requêtes pour une utilisation future, exporter et partager des requêtes avec d’autres utilisateurs. Elle inclut l’option permettant de générer un rapport Power BI.
Tableaux de bord en temps réel, qui contient une collection de vignettes. Chaque vignette a une requête sous-jacente et une représentation visuelle parfaite pour l’exploration, la surveillance et les analyses des données.
Activateur de données qui s’intègre avec le hub en temps réel, les flux d’événements, les tableaux de bord en temps réel et les ensembles de requêtes KQL, ce qui facilite le déclenchement sur tous les modèles ou la modification des données en temps réel.
Domaines d’investissement
Azure Synapse Link de Cosmos DB à Fabric Eventhouse
Chronologie estimée de la publication : Q3 2024
Les clients peuvent diffuser toutes les mises à jour de Cosmos DB vers une base de données KQL, ce qui permet une grande échelle, des analytique puissantes.
Nouveaux connecteurs de streaming pour les clusters publics Kafka et la capture de données modifiées Mongo DB
Chronologie estimée de la publication : Q3 2024
Type de version : préversion publique
Des connecteurs supplémentaires seront disponibles via l’expérience Get Events, notamment les clusters Kafka publics et la capture de données modifiées Mongo DB.
Événements système Fabric supplémentaires
Chronologie estimée de la publication : Q3 2024
Type de version : préversion publique
Au-delà des événements d’espace de travail Fabric, d’autres événements système Fabric tels que les événements de diagnostic de plateforme seront disponibles pour l’abonnement via le hub en temps réel.
Intégration du catalogue d’événements
Chronologie estimée de la publication : Q3 2024
Type de version : préversion publique
Le hub en temps réel étend les fonctionnalités permettant de prendre en charge la gestion des types d’événements, en fournissant un catalogue pour la gestion et la découverte de schémas.
Prise en charge du point de terminaison privé au niveau du locataire Eventstream
Chronologie estimée de la publication : Q3 2024
Type de version : préversion publique
Eventstream prend en charge les points de terminaison privés au niveau du locataire, ce qui garantit que les données circulent et sortent d’Eventstream sur des réseaux sécurisés.
Destinations supplémentaires pour Eventstreams
Chronologie estimée de la publication : Q3 2024
Type de version : préversion publique
Les flux d’événements prennent en charge des destinations supplémentaires, notamment Eventhouse et Intégration de données éléments.
Streaming de données d’Azure Event Grid vers les flux d’événements
Chronologie estimée de la publication : Q3 2024
Les clients peuvent s’abonner à des événements de ressources Azure (tels que des événements de stockage Blob), des événements partenaires (comme SAP), des événements personnalisés ou des rubriques MQTT, puis les publier dans des flux d’événements.
Prise en charge CI/CD pour les éléments Eventstream
Chronologie estimée de la publication : Q3 2024
Type de version : préversion publique
Les clients peuvent facilement versionner et déployer leurs flux d’événements dans les espaces de travail de développement, de test et de production à l’aide de l’expérience de déploiement et d’intégration Git intégrée dans la plateforme Fabric.
Enrichir les données d’événement en joignant des données de référence dans les flux d’événements
Chronologie estimée de la publication : Q3 2024
Pendant l’ingestion des données d’événement dans des destinations, un flux d’événements peut enrichir les données d’événement en les joignant aux données de référence SQL, ce qui permet aux clients d’extraire des insights plus précieux de leurs données d’événements.
Définir des alertes sur des ensembles de requêtes KQL
Chronologie estimée de la publication : Q3 2024
Type de version : préversion publique
L’activateur de données sera en mesure de surveiller les résultats des requêtes gérées dans un ensemble de requêtes KQL, en exécutant la requête selon une planification régulière et en agissant sur les résultats.
Autres options de déclencheur
Chronologie estimée de la publication : Q3 2024
Type de version : préversion publique
Pour répondre à d’autres demandes de surveillance de différentes conditions métier, l’activateur de données prend en charge les déclencheurs qui vérifient les valeurs de date/heure, les fonctions mathématiques de base, etc.
Déclencheurs à faible latence
Chronologie estimée de la publication : Q3 2024
Nous entendons dans les commentaires des clients que les déclencheurs doivent réagir plus rapidement lorsque la condition spécifiée est remplie. L’activateur de données prend en charge les déclencheurs à latence inférieure dans les scénarios avec des conditions simples et des volumes inférieurs de données. Cette fonctionnalité sera une préversion privée dans ce délai.
Diagramme des entités de base de données KQL
Chronologie estimée de la publication : Q4 2024
Type de version : préversion publique
représentation visuelle des entités de base de données KQL et de leurs relations (tables, fonctions, vues matérialisées, etc.).
Prise en charge des paramètres dans le déclenchement d’actions et de webhooks fabric
Chronologie estimée de la publication : Q4 2024
Type de version : préversion publique
Les déclencheurs qui prennent des mesures en démarrant des travaux Fabric ou en appelant des webhooks pourront transmettre la valeur des propriétés dans le modèle réflex en tant que paramètres au travail ou au webhook.
Prise en charge du webhook
Chronologie estimée de la publication : Q4 2024
Type de version : préversion publique
Les webhooks représentent une grande base d’intégrations d’applications qui peuvent être utilisées dans différents scénarios. L’activateur de données prend en charge les actions qui appellent des webhooks lorsque des déclencheurs se déclenchent.
Fonctionnalités livrées
Routage d’événements basé sur le contenu vers des destinations dans les flux d’événements
Expédié (Q2 2024)
Type de version : préversion publique
L’apport du processeur d’événements sans code au canevas principal eventstream permet aux clients d’acheminer les données d’événement vers leurs destinations en fonction du contenu de l’événement, à l’aide de la logique de traitement des événements définie avec le processeur d’événements.
Obtenir des données à partir d’un hub en temps réel dans l’activateur de données
Expédié (Q2 2024)
Type de version : préversion publique
Intégrer de nouveaux événements dans des éléments réflexiels à l’aide du navigateur Hub en temps réel incorporé.
Créer des déclencheurs à partir d’un hub en temps réel
Expédié (Q2 2024)
Type de version : préversion publique
Dans le hub en temps réel, vous verrez des options pour créer de nouveaux déclencheurs et des alertes sur les événements métier et système.
Action à l’aide d’éléments de structure
Expédié (Q2 2024)
Type de version : préversion publique
Les éléments Reflex prennent en charge le démarrage des travaux d’élément Fabric en tant qu’action. Vous serez en mesure de lancer des pipelines de données et des notebooks.
Eventhouse
Expédié (Q2 2024)
Type de publication : Disponibilité générale
Eventhouse, un espace de travail de base de données de pointe conçu méticuleusement pour gérer et stocker des données basées sur des événements, est désormais officiellement disponible pour une utilisation générale. Avec Eventhouse, les utilisateurs peuvent effectuer une analyse hautes performances du Big Data et des requêtes de données en temps réel, en traitant des milliards d’événements en quelques secondes. La plateforme permet aux utilisateurs d’organiser les données en compartiments (bases de données) dans un élément logique, ce qui facilite la gestion efficace des données. En outre, Eventhouse permet le partage des ressources de calcul et de cache entre les bases de données, ce qui optimise l’utilisation des ressources.
Disponibilité d’Eventhouse OneLake
Expédié (Q2 2024)
Type de publication : Disponibilité générale
L’activation de la disponibilité des données d’Eventhouse dans OneLake signifie que les clients peuvent profiter du meilleur des deux mondes : ils peuvent interroger les données avec des performances élevées et une faible latence dans leur Eventhouse et interroger les mêmes données au format Delta Lake via tous les autres moteurs Fabric tels que le mode Power BI Direct Lake, Warehouse, Lakehouse, Notebooks, etc.
Créer un raccourci de base de données vers une autre base de données KQL
Expédié (Q2 2024)
Type de version : préversion publique
Un raccourci de base de données dans Eventhouse est une référence incorporée à une base de données source. Le raccourci de base de données est attaché en mode lecture seule, ce qui permet d’afficher et d’exécuter des requêtes sur les données ingérées dans la base de données KQL source sans l’ingérer. Cela permet de partager des données dans des scénarios où vous pouvez partager des données sur place au sein d’équipes ou même avec des clients externes.
Prise en charge du détecteur d’anomalies IA
Expédié (Q2 2024)
Type de version : préversion publique
Les algorithmes détecteurs d’anomalies IA sont pris en charge dans Microsoft Fabric, ce qui permet un scoring en temps réel par KQL avec Python inline en temps réel.
Prise en charge du point de terminaison privé au niveau du locataire Eventhouse
Expédié (Q2 2024)
Type de version : préversion publique
Les clients peuvent augmenter leur sécurité réseau en limitant l’accès à Eventhouse au niveau du locataire, à partir d’un ou de plusieurs réseaux virtuels via des liaisons privées. Cela empêche tout accès non autorisé à partir de réseaux publics et autorise uniquement les opérations de plan de données à partir de réseaux virtuels spécifiques.
Nouvelle expérience pour l’exploration des données à partir de tableaux de bord en temps réel
Expédié (Q2 2024)
Type de version : préversion publique
Directement à partir d’un tableau de bord en temps réel, les utilisateurs peuvent affiner leur exploration à l’aide d’une interface de type formulaire conviviale. Cette expérience intuitive et dynamique est adaptée pour les explorateurs d’insights qui ont envie d’insights en fonction des données en temps réel. Ajoutez des filtres, créez des agrégations et changez de types de visualisation sans écrire de requêtes pour découvrir facilement les insights.
Utiliser le hub en temps réel pour obtenir des données dans la base de données KQL dans Eventhouse
Expédié (Q2 2024)
Type de version : préversion publique
Avec le hub en temps réel incorporé dans l’expérience de base de données KQL, chaque utilisateur du locataire peut afficher et ajouter des flux auxquels il a accès et l’ingérer directement dans une table de base de données KQL dans Eventhouse.
Tableau de bord en temps réel
Expédié (Q2 2024)
Type de version : préversion publique
Un tableau de bord est une collection de vignettes, éventuellement organisées en pages, où chaque vignette a une requête sous-jacente et une représentation visuelle. Exportez en mode natif des requêtes Langage de requête Kusto (KQL) vers un tableau de bord en tant que visuels et modifiez ultérieurement leurs requêtes sous-jacentes et leur mise en forme visuelle si nécessaire. En plus de faciliter l’exploration des données, cette expérience de tableau de bord entièrement intégrée offre des performances de requête et de visualisation améliorées avec une modélisation légère et flexible sur des données à faible latence de granularité élevée.
Créer des actions et des alertes avec l’activateur de données
Expédié (Q2 2024)
Cette fonctionnalité offre une expérience de faible code/sans code pour générer des actions et des alertes à partir de vos données de base de données KQL présentées dans un tableau de bord en temps réel. L’activateur de données vous donne un emplacement unique pour définir des modèles actionnables dans vos données. Ces modèles peuvent aller de seuils simples (par exemple, une valeur dépassée) à des modèles plus complexes au fil du temps (une telle valeur tendance vers le bas). Lorsque l’activateur de données détecte un modèle actionnable, il déclenche une action. Cette action peut être un e-mail ou une alerte Teams à la personne concernée dans votre organisation. Il peut également déclencher un processus automatique, via un flux Power Automate ou une action dans l’une des applications métier de votre organisation.
Suspendre, arrêter ou redémarrer des flux d’événements
Expédié (Q2 2024)
Cette fonctionnalité offre aux clients la possibilité de suspendre, d’arrêter ou de redémarrer des flux d’événements en temps réel, afin qu’ils puissent itérer sur la transformation ou la logique de flux d’événements pendant la phase de développement.
Copilote pour l’intelligence en temps réel
Expédié (Q2 2024)
Type de version : préversion publique
Le copilote vous permet d’écrire des requêtes en langage naturel et de les traduire en Langage de requête Kusto (KQL). Vous pouvez utiliser le copilote pour demander à vos requêtes de procédure, explorer vos données dans une base de données KQL et créer des entités Kusto telles que des tables, des fonctions et des vues matérialisées.
Définir une alerte sur des tableaux de bord en temps réel
Expédié (Q2 2024)
Type de version : préversion publique
Outre la surveillance des données Power BI et Eventstream, l’activateur de données prend en charge les requêtes périodiques sur les requêtes KQL enregistrées dans les tableaux de bord en temps réel. Ces requêtes peuvent être utilisées pour retourner des exceptions ou suivre les résultats au fil du temps pour détecter les modifications de données ou les conditions de seuil.
Hub en temps réel pour toutes les données en mouvement
Expédié (Q2 2024)
Type de version : préversion publique
Le hub en temps réel est l’espace unique pour toutes les données en mouvement dans toute votre organisation.
Obtenir l’expérience des événements dans le hub en temps réel (modifier pour expliquer la valeur ou supprimer pour 18/24)
Expédié (Q2 2024)
Type de version : préversion publique
Que les données proviennent de sources nouvelles ou existantes, de flux ou d’événements disponibles, l’expérience Get Events permet aux utilisateurs de se connecter à un large éventail de sources directement à partir d’un hub en temps réel, d’Eventstreams, d’Eventhouse et d’activateur de données.
Nouveaux connecteurs de diffusion en continu, notamment Confluent Kafka, AWS Brokers, PostgresSQL CDC et bien plus encore
Expédié (Q2 2024)
Type de version : préversion publique
Au-delà des sources Microsoft, les utilisateurs peuvent désormais diffuser en continu des données à partir d’autres plateformes telles que Google Cloud, Amazon Assemblys, Flux de capture de données modifiées de base de données, etc. à l’aide de nos nouveaux connecteurs de messagerie. Nos connecteurs de messagerie sont alimentés par Kafka connectent avec des connecteurs Kafka chameaux qui offrent un framework d’intégration de données enfichable, déclaratif et flexible pour diverses connexions sources sur des plateformes de données populaires, ainsi que le Debezium qui pourrait connecter des bases de données pour extraire les flux de capture de données modifiées (CDC).
Nouvelles sources d’événements discrets à partir d’événements système Fabric et d’événements de stockage Azure
Expédié (Q2 2024)
Type de version : préversion publique
Les événements discrets (événements de notification a.k.a.) sont des faits significatifs (importants) qui se sont produits et qui déclenchent des modifications d’état ou des actions dans les applications grand public en aval (abonnés). Par exemple, citons des événements tels que OrderPlaced dans le système d’ordre, les modifications de stockage d’objets blob dans les sources Azure ou les modifications d’élément dans le système Fabric.
Source du hub en temps réel dans le flux d’événements amélioré
Expédié (Q2 2024)
Type de version : préversion publique
La page d’accueil Eventstream facilite encore la mise à jour des données. En cliquant sur « Ajouter une source externe », vous trouverez ces sources dans l’Assistant Obtenir des événements qui vous aide à configurer la source en quelques étapes. Après avoir ajouté la source à votre flux d’événements, vous pouvez la publier pour diffuser en continu les données dans votre flux d’événements. Utilisation d’Eventstream avec des sources discrètes pour transformer les événements en flux pour plus d’analyse. Vous pouvez envoyer les flux à différentes destinations de données Fabric, comme Lakehouse et KQL Database.
Modes d’édition et de diffusion en direct d’eventstream
Expédié (Q2 2024)
Type de version : préversion publique
Eventstream offre deux modes distincts, Edit et Live, pour fournir une flexibilité et un contrôle sur le processus de développement de votre flux d’événements. Si vous créez un flux d’événements avec des fonctionnalités améliorées activées, vous pouvez le modifier en mode Édition. Ici, vous pouvez concevoir des opérations de traitement de flux pour vos flux de données à l’aide d’un éditeur sans code. Une fois que vous avez terminé la modification, vous pouvez publier votre Eventstream et visualiser la façon dont il démarre la diffusion et le traitement des données en mode Live.
Flux par défaut et dérivés
Expédié (Q2 2024)
Type de version : préversion publique
Plusieurs flux sont répertoriés dans le hub en temps réel, y compris les flux par défaut et dérivés. Le flux par défaut est généré automatiquement lorsqu’une source de diffusion en continu est ajoutée à Eventstream. Le flux par défaut capture les données d’événement brutes directement à partir de la source, prêtes à être transformées ou analysées. flux dérivé : flux spécialisé que les utilisateurs peuvent créer en tant que destination dans Eventstream. Le flux dérivé peut être créé après une série d’opérations telles que le filtrage et l’agrégation, puis elle est prête à être consommée ou analysée par d’autres utilisateurs de l’organisation via le hub en temps réel.
Options de déclencheur améliorées
Expédié (Q2 2024)
Pour représenter les conditions métier de surveillance, l’activateur de données prend en charge davantage de conditions de déclenchement, telles que les changements de pourcentage au fil du temps, les fonctions de date/heure, les fonctions mathématiques de base, la détection des absences de signal et bien plus encore.
Monter en puissance jusqu’à 100 Mo/s pour le traitement de flux d’événements
Expédié (Q1 2024)
Un flux d’événements peut prendre en charge le débit d’ingestion des événements jusqu’à 100 Mo/s lors de l’ingestion de données dans des bases de données KQL et des lakehouses.
Intégration de notebooks
Expédié (Q1 2024)
Les clients peuvent interroger en mode natif des bases de données KQL à partir de notebooks Microsoft Fabric. Utilisez des notebooks pour exécuter des requêtes sur des bases de données KQL, enregistrer les trames de données résultantes, ingérer des données dans des bases de données KQL, etc.
Conservation des données d’événements personnalisables dans les flux d’événements
Expédié (Q1 2024)
Les clients ont la possibilité de définir le temps de rétention des données d’événement, en s’assurant que les données d’événement sont conservées dans leurs flux d’événements en fonction de leurs besoins métier spécifiques.
Améliorations apportées au processeur d’événements dans Eventstream
Expédié (Q1 2024)
Cela comprend trois améliorations. Tout d’abord, personnalisez les nœuds d’opération et filtrez facilement les valeurs « null » de vos données. Ensuite, gérez et renommez facilement vos champs de colonne dans l’opération d’agrégation. Troisièmement, modifiez vos valeurs en différents types de données à l’aide de l’opération Gérer les champs.
Nouvelle destination eventstream vers l’activateur de données
Expédié (Q1 2024)
L’option de destination de l’activateur de données permet aux clients d’acheminer les événements vers l’activateur de données, où ils peuvent générer des déclencheurs en fonction des données d’événements des flux d’événements en mode natif.
Flux d’événements de mise à l’échelle automatique
Expédié (Q1 2024)
Cette fonctionnalité offre la possibilité de mettre à l’échelle automatiquement la capacité en réponse au volume de trafic de données d’événement, ce qui permet une amélioration transparente du débit de flux d’événements sans perturber vos opérations métier.
Prise en charge delta de la représentation OneLake de la base de données KQL
Expédié (Q1 2024)
Type de version : préversion publique
Les données de base de données KQL sont déjà disponibles dans OneLake au format Parquet. L’ajout de la prise en charge de Delta permet à d’autres fonctionnalités fabric d’utiliser la présence OneLake en tant que table plutôt que comme liste de fichiers.
Surveillance administrative
Expédié (Q1 2024)
Vous pouvez utiliser la supervision administrative pour rechercher les journaux d’audit et suivre l’utilisation et l’adoption, la consommation de capacité et la disponibilité.
Raccourci d’optimisation de table dans les destinations eventstream lakehouse
Expédié (Q1 2024)
Le raccourci d’optimisation de la table permet aux utilisateurs d’ouvrir un bloc-notes avec un travail Spark qui compacte les petits fichiers de streaming dans la table lakehouse.
L’onglet Détails de l’application personnalisée améliorée offre des informations complètes sur le point de terminaison
Expédié (Q1 2024)
L’onglet Détails de la source et de la destination de l’application personnalisée offre des informations complètes sur le point de terminaison eventstream. Les informations disponibles incluent des chaîne de connexion dans des formats Kafka, Eventhub et AMQP, ainsi que des exemples de code Java pour l’ingestion et la consommation d’événements à l’aide de ces trois protocoles.
Concepteur de traitement de flux sans code amélioré
Expédié (Q1 2024)
Les utilisateurs ont une expérience d’édition de flux d’événements améliorée, avec des mouvements plus intuitifs dans le concepteur sans code.
« Obtenir des données à partir d’Eventstream » dans plusieurs éléments Fabric
Expédié (Q1 2024)
Les clients peuvent obtenir des données d’événements à partir de flux d’événements dans plusieurs éléments Fabric, notamment Lakehouse, KQL Database et Reflex.
Prétraitement des données Eventstream vers la destination de la base de données KQL
Expédié (Q1 2024)
L’ajout de la destination de base de données KQL avec transformation de données permet aux clients de transformer, d’enrichir et de réduire le volume de données avant qu’il ne soit routé vers des bases de données KQL.
Création de connexion cloud incorporée dans les flux d’événements
Expédié (Q1 2024)
Les clients peuvent créer une connexion cloud directement dans leurs flux d’événements, sans accéder à une autre page web.
Deux modes d’ingestion pour les destinations eventstream lakehouse
Expédié (Q1 2024)
Les destinations Eventstream lakehouse prennent en charge deux modes d’ingestion : faible latence et débit élevé.
Amélioration de l’expérience Obtenir des données
Expédié (Q1 2024)
Les utilisateurs bénéficient d’une expérience simplifiée et améliorée pour obtenir leurs données dans une base de données KQL.