Partage via

Utilisez l’éditeur sans code Azure Stream Analytics pour transformer et stocker des données dans Azure SQL Database.

  • Article

Cet article explique comment utiliser l’éditeur sans code pour créer facilement une tâche Stream Analytics, qui lit en continu les données d’une instance Event Hubs (hub d’événements), transforme les données, puis écrit les résultats dans une base de données Azure SQL.

Prérequis

Vos ressources Azure Event Hubs et Azure SQL Database doivent être accessibles publiquement, et ne peuvent pas résider derrière un pare-feu ou être sécurisées dans un réseau virtuel Azure. Les données de votre Event Hubs doivent être sérialisées au format JSON, CSV ou Avro.

Si vous souhaitez essayer les étapes de cet article, procédez comme suit.

  • Créez un hub d’événements si vous n’en avez pas déjà un. Générez des données dans le hub d’événements. Dans la page Instance Event Hubs, sélectionnez Générer des données (préversion) dans le menu de gauche, sélectionnez Données de stock pour Jeu de données, puis sélectionnez Envoyer pour envoyer des exemples de données au hub d’événements. Cette étape est obligatoire si vous souhaitez essayer les étapes de cet article.

    Capture d’écran montrant la page Générer des données (préversion) pour une instance Event Hubs.

  • Créez une instance Azure SQL Database. Voici quelques points importants à noter lors de la création de la base de données.

    1. Dans la page Informations de base, sélectionnez Créer pour le Serveur. Ensuite, dans la page Créer un serveur SQL Database, sélectionnez Utiliser l’authentification SQL, puis spécifiez l’ID utilisateur administrateur et le mot de passe.

    2. Dans la page Mise en réseau, procédez comme suit :

      1. Activez Point de terminaison public.
      2. Sélectionnez Oui pour Autoriser les services et les ressources Azure à accéder à ce serveur.
      3. Sélectionnez Oui pour Ajouter l’adresse IP actuelle du client.

    3. À la page Paramètres supplémentaires, sélectionnez Aucun pour Utiliser des données existantes.

    4. Dans l’article, ignorez les étapes des sections Interroger la base de données et Nettoyer les ressources.

    5. Si vous souhaitez essayer les étapes, créez une table dans la base de données SQL à l’aide de l’éditeur de requête (préversion).

      create table stocks (
    symbol varchar(4),
    price decimal
)

Utiliser un éditeur sans code pour créer une tâche Stream Analytics

Dans cette section, vous créez une tâche Azure Stream Analytics en utilisant l’éditeur sans code. La tâche transforme la diffusion de données à partir d’une instance Event Hubs (hub d’événements) et stocke les données de résultat dans une base de données Azure SQL.

  1. Dans le Portail Azure, accédez à la page Instance Event Hubs de votre hub d’événements.

  2. Dans le menu de gauche, sélectionnez Fonctionnalités>Traiter les données, puis Démarrer sur la carte Transformer et stocker des données dans une base de données SQL.

    Capture d’écran montrant le filtre et l’ingestion dans la carte ADLS Gen2 lorsque vous sélectionnez Démarrer.

  3. Saisissez un nom pour le travail Stream Analytics, puis sélectionnez Créer. Vous voyez le diagramme des tâches Stream Analytics avec la fenêtre Event Hubs à droite.

    Capture d’écran montrant où saisir le nom d’un travail.

  4. Dans la fenêtre Event Hub, passez en revue les paramètres de Sérialisation et de la Méthode d’authentification, puis sélectionnez Se connecter.

    Capture d’écran montrant la configuration de la connexion à Event Hubs.

  5. Lorsque la connexion est établie avec succès et que vous disposez de données dans votre instance Event Hubs, vous constatez deux choses :

    • Champs présents dans les données d’entrée. Vous pouvez choisir Ajouter un champ ou sélectionner le symbole trois points en regard d’un champ pour supprimer, renommer ou modifier son type.

      Capture d’écran montrant la liste des champs Event Hubs dans laquelle vous pouvez supprimer, renommer ou modifier le type de champ.

    • Exemple dynamique de données entrantes dans la table d’aperçu des données sous la vue diagramme. Il s’actualise automatiquement à intervalles réguliers. Vous pouvez sélectionner Suspendre la préversion de streaming pour afficher une vue statique des exemples de données d’entrée.

      Capture d’écran montrant des exemples de données sous Aperçu des données.

  6. Sélectionnez la vignette Grouper par pour agréger les données. Dans le panneau de configuration Grouper par, vous pouvez spécifier le champ par lequel Regrouper avec la fenêtre Délai.

    Dans l’exemple suivant, la moyenne du prix et le symbole sont utilisés.

    Capture d’écran montrant la configuration Grouper par opérateur.

  7. Vous pouvez valider les résultats de l’étape dans la section Aperçu des données.

    Capture d’écran montrant l’aperçu des données pour le groupe par opérateur.

  8. Sélectionnez la vignette Gérer les champs. Dans le panneau de configuration Gérer les champs, choisissez les champs que vous souhaitez générer en sélectionnant Ajouter un champ –>Schéma importé –> champ.

    Si vous souhaitez ajouter tous les champs, sélectionnez Ajouter tous les champs. Lorsque vous ajoutez un champ, vous pouvez spécifier un nom différent pour la sortie. Par exemple, AVG_Value en Value. Après avoir enregistré les sélections, les données s’affichent dans le volet Aperçu des données.

    Dans l’exemple suivant, Symbole et AVG_Value sont sélectionnés. Symbole correspond au symbole et AVG_Value correspond au prix.

    Capture d’écran montrant la configuration de l’opérateur de champ Gérer.

  9. Sélectionnez la vignette SQL. Dans le panneau de configuration SQL Database, renseignez les paramètres nécessaires et connectez-vous. Sélectionnez Charger la table existante pour que la table soit automatiquement sélectionnée. Dans l’exemple suivant, [dbo].[stocks] est choisi. puis Connecter.

    Notes

    Le schéma de la table dans laquelle vous choisissez d’écrire doit correspondre exactement au nombre et aux types de champs que votre aperçu de données génère.

    Capture d’écran montrant la configuration de sortie de la base de données sql.

  10. Dans le volet Aperçu des données, vous voyez l’aperçu des données ingérées dans SQL Database.

    Capture d’écran montrant l’option Obtenir l’aperçu statique/Actualiser la préversion statique.

  11. Sélectionnez Enregistrer, puis Démarrer le travail Stream Analytics.

    Capture d’écran montrant les options Enregistrer et Démarrer.

  12. Pour démarrer le travail, spécifiez :

    • Le nombre d’unités de streaming (SU) avec lesquelles le travail est exécuté. Les SU représentent les capacités de calcul et de mémoire allouées au travail. Nous vous recommandons de commencer par trois, puis d’ajuster selon les besoins.

    • Gestion des erreurs de données de sortie : elle vous permet de spécifier le comportement souhaité lorsque la sortie d’un travail vers votre destination échoue en raison d’erreurs de données. Par défaut, votre travail réessaie jusqu’à ce que l’opération d’écriture aboutisse. Vous pouvez également choisir de supprimer de tels événements de sortie.

      Capture d’écran montrant les options pour Démarrer le travail Stream Analytics dans lesquelles vous pouvez modifier l’heure de sortie, définir le nombre d’unités de diffusion en continu et sélectionner les options de gestion des erreurs de données de sortie.

  13. Une fois que vous avez sélectionné Démarrer, le travail commence à s’exécuter dans les deux minutes. Vous voyez le volet Métriques dans le volet inférieur ouvert. Il faut un certain temps pour que ce volet soit mis à jour. Sélectionnez Actualiser dans le coin supérieur droit du panneau pour actualiser le graphique. Passez à l’étape suivante dans un autre onglet ou dans une autre fenêtre du navigateur web.

    Capture d’écran montrant les métriques du travail après avoir démarré.

    Vous pouvez également voir le travail sous la section Traiter les données de l’onglet Travaux Stream Analytics. Sélectionnez Ouvrir les métriques pour surveiller le travail ou l’arrêter et le redémarrer, selon les besoins.

    Capture d’écran de l’onglet Travaux Stream Analytics dans lequel vous affichez l’état des travaux en cours d’exécution.

  14. Accédez à votre hub d’événements dans le portail dans une autre fenêtre ou un autre onglet de navigateur, puis envoyez à nouveau des exemples de données boursières (comme vous l’avez fait dans les prérequis). Dans la page Instance Event Hubs, sélectionnez Générer des données (préversion) dans le menu de gauche, sélectionnez Données de stock pour Jeu de données, puis sélectionnez Envoyer pour envoyer des exemples de données au hub d’événements. La mise à jour du volet Métriques peut prend quelques minutes.

  15. Vous devez voir les enregistrements insérés dans la base de données Azure SQL.

    Capture d’écran montrant le contenu des tables boursières dans la base de données.

Considérations relatives à l’utilisation de la fonctionnalité de géo Event Hubs

Azure Event Hubs a récemment lancé la fonctionnalité géo en préversion publique. Cette fonctionnalité est différente de la fonctionnalité récupération d’urgence géo d’Azure Event Hubs.

Lorsque le type de basculement est Forcé et que la cohérence de la réplication est Asynchrone, le travail Stream Analytics ne garantit pas exactement une sortie vers une sortie Azure Event Hubs.

Azure Stream Analytics, comme producteur avec un hub d’événements en tant que sortie, peut observer un retard de filigrane sur le travail pendant la durée de basculement et pendant la limitation par Event Hubs au cas où le décalage de réplication entre le serveur principal et le serveur secondaire atteint la limite maximale configurée de décalage.

Azure Stream Analytics, comme consommateur avec Event Hubs en tant qu’entrée, peut observer un délai de filigrane sur le travail pendant la durée de basculement et peut ignorer les données ou rechercher des données dupliquées une fois le basculement terminé.

En raison de ces avertissements, nous vous recommandons de redémarrer le travail Stream Analytics avec l’heure de début appropriée juste après la fin du basculement d’Event Hubs. En outre, étant donné que la fonctionnalité géo d’Event Hubs est en préversion publique, nous vous déconseillons d’utiliser ce modèle pour les travaux Stream Analytics de production à ce stade. Le comportement actuel de Stream Analytics s’améliore avant que la fonctionnalité de géo d’Event Hubs soit généralement disponible et puisse être utilisée dans des travaux de production Stream Analytics.

Étapes suivantes

En savoir plus sur Azure Stream Analytics et sur la surveillance du travail que vous avez créé.