Traiter des données de votre instance Event Hub avec Azure Stream Analytics

Le service Azure Stream Analytics facilite l'ingestion, le traitement et l'analyse des données de streaming Azure Event Hubs, et offre de précieux insights permettant des actions en temps réel. Vous pouvez utiliser le portail Azure pour visualiser les données entrantes et écrire une requête Stream Analytics. Une fois votre requête prête, vous pouvez la déplacer en production en quelques clics.

Principaux avantages

Voici les principaux avantages de l’intégration d’Azure Event Hubs et d'Azure Stream Analytics :

• Aperçu des données : vous pouvez afficher un aperçu des données entrantes à partir d’un Event Hub dans le portail Azure.
• Tester votre requête : préparez une requête de transformation et testez-la directement dans le portail Azure. Pour la syntaxe du langage de requête, consultez la documentation Langage de requête Stream Analytics.
• Déployer votre requête en production : vous pouvez déployer la requête en production en créant et en démarrant un travail Azure Stream Analytics.

Flux de bout en bout

Important

• Si vous n’êtes pas membre du rôle propriétaire ou contributeur au niveau de l’abonnement Azure, vous devez être membre du rôle Testeur de requêtes Stream Analytics au niveau de l’abonnement Azure pour pouvoir effectuer les étapes de cette section. Ce rôle vous permet d’effectuer des requêtes de test sans créer d’abord de tâche Stream Analytics. Pour obtenir des instructions sur l’attribution d’un rôle à un utilisateur, consultez Affecter des rôles AD aux utilisateurs.
• Si votre hub d’événements autorise uniquement l’accès privé via des points de terminaison privés, vous devez connecter le travail de Stream Analytics au même réseau pour que le travail puisse accéder aux événements dans le hub d’événements.

1. Connectez-vous au portail Azure.

2. Accédez à votre espace de noms Event Hubs, puis au Event Hub contenant les données entrantes.

3. Dans le menu de navigation de gauche, développez Fonctionnalités, puis sélectionnez Traiter les données, puis sélectionnez Démarrer dans le Activer les insights en temps réel à partir des vignettes d’événements.

   

4. Une page de requête contenant les valeurs déjà définies pour les champs suivants s’affiche. Si vous voyez une fenêtre contextuelle sur un groupe de consommateurs et une stratégie créée pour vous, sélectionnez OK. Vous voyez immédiatement une capture instantanée des dernières données entrantes dans cet onglet.

   1. Votre Event Hub en tant qu’entrée pour la requête.

   2. Un exemple de requête SQL avec l’instruction SELECT.

   3. Un alias de sortie pour référencer vos résultats de test de requête.

      

   • Le type de sérialisation de vos données est automatiquement détecté (JSON ou CSV). Vous pouvez le remplacer manuellement par JSON/CSV/AVRO.

   • Vous pouvez afficher un aperçu des données entrantes au format tableau ou au format brut.

   • Si les données qui apparaissent ne sont pas à jour, sélectionnez Actualiser pour afficher les événements les plus récents.

   • Dans l’image précédente, les résultats sont présentés sous forme de tableau. Pour afficher les données brutes, sélectionnez Brut

     

5. Sélectionnez Tester la requête pour afficher l’instantané des résultats du test de votre requête dans l'onglet Résultats des tests. Vous pouvez également télécharger les résultats.

   

   Écrivez votre propre requête de transformation des données. Consultez Référence sur le langage de requête Stream Analytics.

6. Une fois la requête testée, pour la déplacer en production, sélectionnez Créer un travail Stream Analytics.

   

7. Sur la page Nouveau travail Stream Analytics, procédez comme suit :

   1. Donnez un nom au travail.

   2. Sélectionnez votre Abonnement Azure dans lequel vous souhaitez créer le travail.

   3. Sélectionnez le groupe de ressources pour la ressource de travail Stream Analytics.

   4. Sélectionnez un emplacement pour le travail.

   5. Pour le Nom de la stratégie Event Hubs, créez une stratégie ou sélectionnez une stratégie existante.

   6. Pour le Groupe de consommateurs Event Hubs, créez un groupe de consommateurs ou sélectionnez un groupe de consommateurs existant.

   7. Sélectionnez Créer pour créer le travail Stream Analytics.

      

      Notes

      Nous vous recommandons de créer un groupe de consommateurs et une stratégie pour chaque nouveau travail Azure Stream Analytics que vous créez à partir de la page Event Hubs. Les groupes de consommateurs autorisent uniquement cinq lecteurs simultanés et dès lors, fournir un groupe de consommateurs dédié pour chaque travail permet d’éviter les erreurs liées à un dépassement de cette limite. Une stratégie dédiée vous permet de faire pivoter votre clé ou de révoquer des autorisations sans affecter d’autres ressources.

8. Votre travail Stream Analytics est maintenant créé dans le même contexte que celui où vous avez testé votre requête, et l’entrée correspond à votre Event Hub.

   

9. Ajoutez une sortie de votre choix.

10. Revenez à la page du travail Stream Analytics en cliquant sur le nom du travail dans le lien de navigation.

11. Sélectionnez Modifier une requête au-dessus de la fenêtre Requête.

12. Mettez à jour [OutputAlias] avec votre nom de sortie, puis sélectionnez le lien Enregistrer une requête au-dessus de la requête. Fermez la page Requête en sélectionnant X dans le coin supérieur droit.

13. Maintenant, dans la page du travail Stream Analytics, sélectionnez Démarrer dans la barre d’outils pour démarrer le travail.

    

Accès

Problème : l’utilisateur ne peut pas accéder à l’aperçu des données, car il ne dispose pas des autorisations appropriées sur l’abonnement.

Option 1 : l’utilisateur qui veut afficher un aperçu des données entrantes doit être ajouté en tant que Contributeur sur l’abonnement.

Option 2 : l’utilisateur doit être ajouté en tant que rôle Testeur de requête Stream Analytics sur l’abonnement. Accédez au contrôle d’accès pour l’abonnement. Ajoutez une nouvelle attribution de rôle pour l’utilisateur en tant que rôle « Testeur de requête Stream Analytics ».

Option 3 : l’utilisateur peut créer un travail Azure Stream Analytics. Définissez l’entrée comme ce hub d’événements, puis accédez à « Interroger » pour afficher un aperçu des données entrantes provenant de ce hub d’événements.

Option 4 : l’administrateur peut créer un rôle personnalisé sur l’abonnement. Ajoutez les autorisations suivantes au rôle personnalisé, puis ajoutez l’utilisateur au nouveau rôle personnalisé.

Unités de diffusion en continu

Votre travail Azure Stream Analytics affiche par défaut trois unités de streaming. Pour ajuster ce paramètre, sélectionnez Mettre à l’échelledans le menu de gauche de la page Travail Stream Analytics du portail Azure. Pour plus d’informations sur les unités de streaming, consultez Comprendre et ajuster les unités de streaming.

Considérations relatives à l’utilisation de la fonctionnalité de géo Event Hubs

Azure Event Hubs a récemment lancé la fonctionnalité géo en préversion publique. Cette fonctionnalité est différente de la fonctionnalité récupération d’urgence géo d’Azure Event Hubs.

Lorsque le type de basculement est Forcé et que la cohérence de la réplication est Asynchrone, le travail Stream Analytics ne garantit pas exactement une sortie vers une sortie Azure Event Hubs.

Azure Stream Analytics, comme producteur avec un hub d’événements en tant que sortie, peut observer un retard de filigrane sur le travail pendant la durée de basculement et pendant la limitation par Event Hubs au cas où le décalage de réplication entre le serveur principal et le serveur secondaire atteint la limite maximale configurée de décalage.

Azure Stream Analytics, comme consommateur avec Event Hubs en tant qu’entrée, peut observer un délai de filigrane sur le travail pendant la durée de basculement et peut ignorer les données ou rechercher des données dupliquées une fois le basculement terminé.

En raison de ces avertissements, nous vous recommandons de redémarrer le travail Stream Analytics avec l’heure de début appropriée juste après la fin du basculement d’Event Hubs. En outre, étant donné que la fonctionnalité géo d’Event Hubs est en préversion publique, nous vous déconseillons d’utiliser ce modèle pour les travaux Stream Analytics de production à ce stade. Le comportement actuel de Stream Analytics s’améliore avant que la fonctionnalité de géo d’Event Hubs soit généralement disponible et puisse être utilisée dans des travaux de production Stream Analytics.

Contenu connexe

Pour plus d'informations sur les requêtes Stream Analytics, consultez Langage de requête Stream Analytics