Partager via


Créer une connexion de données Event Hubs pour Azure Data Explorer

Azure Data Explorer offre une ingestion à partir d’Event Hubs, une plateforme de streaming Big Data et un service d’ingestion d’événements. Event Hubs peut traiter des millions d’événements par seconde en quasi-temps réel.

Dans cet article, vous vous connectez à un Event Hub et ingérez des données dans Azure Data Explorer. Pour obtenir une vue d’ensemble de l’ingestion à partir d’Event Hubs, consultez l’article Connexion de données Azure Event Hubs.

Pour savoir comment créer la connexion à l’aide des Kits de développement logiciel (SDK) Kusto, consultez Créer une connexion de données Event Hubs avec des kits SDK.

Pour obtenir des exemples de code fondés sur les versions précédentes du kit de développement logiciel (SDK), consultez l’article archivé.

Créer une connexion de données Event Hub

Dans cette section, vous établissez une connexion entre l’Event Hub et votre table Azure Data Explorer. Tant que cette connexion est en place, les données sont transmises depuis l’Event Hub dans votre table cible. Si l’Event Hub est déplacé vers une autre ressource ou un autre abonnement, vous devez mettre à jour ou recréer la connexion.

Prérequis

Obtenir des données

  1. Dans le menu de gauche, sélectionnez Requête.

  2. Cliquez avec le bouton droit sur la base de données dans laquelle vous souhaitez ingérer les données. Sélectionnez Obtenir les données.

    Capture d’écran de l’onglet Requête, avec un clic droit sur une base de données et la boîte de dialogue Obtenir les options s’ouvre.

Source

Dans la fenêtre Obtenir des données, l’onglet Source est sélectionné.

Sélectionnez la source de données dans la liste disponible. Dans cet exemple, vous ingérez des données à partir d’Events Hubs.

Capture d’écran de la fenêtre Obtenir des données avec l’onglet source sélectionné.

Configurer

  1. Sélectionnez une base de données et une table cibles. Si vous souhaitez ingérer des données dans une nouvelle table, sélectionnez +Nouvelle table et entrez un nom de table.

    Remarque

    Les noms de tables peuvent comporter jusqu’à 1024 caractères, y compris des espaces, des caractères alphanumériques, des traits d’union et des traits de soulignement. Les caractères spéciaux ne sont pas pris en charge.

    Capture d’écran de l’onglet Configurer avec des champs pour configurer la source de données d’Event Hubs dans Azure Data Explorer.

  2. Remplissez les champs suivants :

    Paramètre Description du champ
    Abonnement ID d’abonnement où se trouve la ressource de hub d’événements.
    Espace de noms du hub d’événements Nom unique qui permet d’identifier votre espace de noms.
    Hub d’événements Hub d’événements que vous souhaitez
    Groupe de consommateurs Groupe de consommateurs défini dans votre événement
    Nom de la connexion de données Nom qui permet d’identifier votre connexion de données.
    Filtres avancés
    Compression Type de compression de la charge utile des messages du hub d’événements.
    Propriétés du système d’événements Les propriétés système du hub d’événements. S’il existe plusieurs enregistrements par message d’événement, les propriétés système sont ajoutées au premier enregistrement. Lors de l’ajout des propriétés système, créez ou mettez à jour le schéma de table et le mappage pour inclure les propriétés sélectionnées.
    Date de début de la récupération d’événement La connexion de données récupère les événements Event Hubs existants créés après la date de début de la récupération d’événements. Seuls les événements conservés par la période de rétention d’Event Hubs peuvent être récupérés. Si la date de début de récupération d’événement n’est pas spécifiée, l’heure par défaut est l’heure à laquelle la connexion de données est créée.
  3. Sélectionnez Suivant.

Inspecter

L’onglet Inspecter s’ouvre avec un aperçu des données.

Pour terminer le processus d’ingestion, sélectionnez Terminer.

Capture d’écran de l’inspection des données pour l’ingestion d’Event Hubs vers Azure Data Explorer.

Si vous le souhaitez :

  • Si les données que vous voyez dans la fenêtre d’aperçu sont incomplètes, il est possible que vous ayez besoin de davantage de données pour créer une table avec tous les champs de données nécessaires. Utilisez les commandes suivantes pour récupérer de nouvelles données auprès de votre hub d’événements :

    • Ignorer et extraire de nouvelles données : ignore les données présentées et recherche de nouveaux événements.

    • Récupérer plus de données : recherche d’autres événements, en plus de ceux déjà trouvés.

      Notes

      Pour vous permettre de voir un aperçu de vos données, votre hub d’événements doit envoyer des événements.

  • Sélectionnez Visionneuse de commandes pour afficher et copier les commandes automatiques générées à partir de vos entrées.

  • Utilisez la liste déroulante Fichier de définition de schéma pour modifier le fichier à partir duquel le schéma est déduit.

  • Modifiez le format de données déduit automatiquement en sélectionnant le format souhaité dans la liste déroulante. Consultez les formats de données pris en charge par Azure Data Explorer pour l’ingestion.

  • Modifier les colonnes.

  • Explorez les options avancées basées sur le type de données.

Modifier les colonnes

Remarque

  • Pour les formats tabulaires (CSV, TSV, PSV), vous ne pouvez pas mapper deux fois une même colonne. Pour effectuer un mappage à une colonne existante, commencez par supprimer la nouvelle colonne.
  • Vous ne pouvez pas changer un type de colonne existant. Si vous essayez de mapper à une colonne avec un format différent, vous risquez de vous retrouver avec des colonnes vides.

Les modifications que vous pouvez apporter dans une table dépendent des paramètres suivants :

  • Si le type de la table est nouveau ou existant
  • Si le type du mappage est nouveau ou existant
Type de la table Type de mappage Ajustements disponibles
Nouvelle table Nouveau mappage Renommer une colonne, modifier le type de données, modifier la source de données, transformation de mappage, ajouter une colonne, supprimer une colonne
Table existante Nouveau mappage Ajoutez une colonne (vous pourrez ensuite modifier le type de données, la renommer ou la mettre à jour)
Table existante Mappage existant Aucune

Capture d’écran des colonnes ouvertes pour modification.

Mappage des transformations

Certains mappages de format de données (Parquet, JSON et Avro) prennent en charge des transformations simples au moment de l’ingestion. Pour appliquer des transformations de mappage, créez ou mettez à jour une colonne dans la fenêtre Modifier les colonnes.

Les transformations de mappage peuvent être effectuées sur une colonne de type string ou datetime, avec la source dont le type de données est int ou long. Les transformations de mappage prises en charge sont :

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Options avancées basées sur le type de données

Tabulaire (CSV, TSV, PSV) :

  • Si vous ingestionnez des formats tabulaires dans une table existante, vous pouvez sélectionner Advanced>Keep current table schema. Les données tabulaires n’incluent pas nécessairement les noms de colonnes utilisés pour mapper les données sources aux colonnes existantes. Quand cette option est activée, le mappage est effectué dans l’ordre et le schéma de la table reste le même. Si cette option est désactivée, des colonnes sont créées pour les données entrantes, quelle que soit la structure de données.

  • Pour utiliser la première ligne comme noms de colonnes, sélectionnez Avancé>La première ligne est l’en-tête de colonne.

    Capture d’écran des options CSV avancées.

JSON :

  • Pour déterminer la division de colonnes des données JSON, sélectionnez Avancé>Niveaux imbriqués, de 1 à 100.

  • Si vous sélectionnez Erreurs>avancées de format de données Ignorer, les données sont ingérées au format JSON. Si vous laissez cette case à cocher désactivée, les données sont ingérées au format multijson.

    Capture d’écran des options JSON avancées.

Résumé

Dans la fenêtre Préparation des données, les trois étapes sont signalées par des coches vertes quand l’ingestion des données s’est terminée avec succès. Vous pouvez afficher les commandes utilisées pour chaque étape, ou sélectionner une carte pour interroger, visualiser ou supprimer les données ingérées.

Capture d’écran récapitulative de l’obtention de données à partir d’Event Hubs dans Azure Data Explorer.

Supprimer une connexion de données Event Hub

Supprimez la connexion de données via le Portail Azure, comme expliqué dans l’onglet portail.