Partage via

Utiliser Azure Data Lake Storage Gen1 pour capturer des données Event Hubs

  • Article

Découvrez comment utiliser Azure Data Lake Storage Gen1 pour capturer les données reçues par Azure Event Hubs.

Prérequis

Affecter des autorisations à Event Hubs

Dans cette section, vous allez créer un dossier au sein du compte dans lequel vous souhaitez capturer les données Event Hubs. Vous allez également affecter des autorisations à Event Hubs pour qu’il puisse écrire des données dans un compte Data Lake Storage Gen1.

  1. Ouvrez le compte Data Lake Storage Gen1 dans lequel vous souhaitez capturer les données Event Hubs, puis cliquez sur Explorateur de données.

    Explorateur de données Data Lake Storage Gen1

  2. Cliquez sur Nouveau dossier, puis entrez un nom pour le dossier dans lequel vous souhaitez capturer les données.

    Créer un dossier dans Data Lake Storage Gen1

  3. Affectez des autorisations à la racine du compte Data Lake Storage Gen1.

    a. Cliquez sur Explorateur de données, sélectionnez la racine du compte Data Lake Storage Gen1, puis cliquez sur Accès.

    Capture d’écran de l’Explorateur de données avec la racine du compte et l’option Accéder.

    b. Sous Accès, cliquez sur Ajouter, cliquez sur Sélectionner un utilisateur ou un groupe, puis recherchez Microsoft.EventHubs.

    Capture d’écran de la page Accès avec les options Ajouter, Sélectionner un utilisateur ou un groupe et Microsoft Eventhubs.

    Cliquez sur Sélectionner.

    c. Sous Affecter des autorisations, cliquez sur Sélectionner des autorisations. Définissez Autorisations à Exécuter. Définissez Ajouter à sur Ce dossier et tous ses enfants. Définissez Ajouter en tant que sur Une entrée d’autorisation d’accès et une entrée d’autorisation par défaut.

    Important

    Lorsque vous créez une nouvelle hiérarchie de dossiers pour la capture des données reçues par Azure Event Hubs, cela permet d’accéder facilement au dossier de destination. Toutefois, l’ajout d’autorisations à tous les enfants d’un dossier de niveau supérieur avec de nombreux fichiers et dossiers enfants peut prendre beaucoup de temps. Si votre dossier racine contient un grand nombre de fichiers et dossiers, il peut être plus rapide d’ajouter des autorisations Execute pour Microsoft.EventHubs individuellement dans chaque dossier dans le chemin d’accès à votre dossier de destination finale.

    Capture d’écran de la section Attribuer des autorisations avec l’option Sélectionner des autorisations mise en évidence. La section Sélectionner des autorisations se trouve à côté avec les options Exécuter, Ajouter à et Ajouter en tant que.

    Cliquez sur OK.

  4. Affectez des autorisations pour le dossier situé dans le compte Data Lake Storage Gen1 où vous voulez capturer des données.

    a. Cliquez sur Explorateur de données, sélectionnez le dossier du compte Data Lake Storage Gen1, puis cliquez sur Accès.

    Capture d’écran de l’Explorateur de données avec un dossier dans le compte et l’option Accéder.

    b. Sous Accès, cliquez sur Ajouter, cliquez sur Sélectionner un utilisateur ou un groupe, puis recherchez Microsoft.EventHubs.

    Capture d’écran de la page Accès de l’Explorateur de données avec les options Ajouter, Sélectionner un utilisateur ou un groupe et Microsoft Eventhubs.

    Cliquez sur Sélectionner.

    c. Sous Affecter des autorisations, cliquez sur Sélectionner des autorisations. Définissez Autorisations sur Lecture, écriture et exécution. Définissez Ajouter à sur Ce dossier et tous ses enfants. Enfin, définissez Ajouter en tant que sur Une entrée d’autorisation d’accès et une entrée d’autorisation par défaut.

    Capture d’écran de la section Attribuer des autorisations avec l’option Sélectionner des autorisations mise en évidence. La section Sélectionner des autorisations se trouve à côté avec les options Lire, Écrire et Exécuter, Ajouter à et Ajouter en tant que.

    Cliquez sur OK.

Configurer Event Hubs pour capturer des données et les envoyer vers Data Lake Storage Gen1

Dans cette section, vous allez créer un Event Hub dans un espace de noms Event Hubs. Vous allez également configurer l’Event Hub pour capturer des données et les envoyer vers un compte Azure Data Lake Storage Gen1. Cette section part du principe que vous avez déjà créé un espace de noms Event Hubs.

  1. Dans le volet Vue d’ensemble de l’espace de noms Event Hubs, cliquez sur + Event Hub.

    Capture d’écran du volet Vue d’ensemble avec l’option Hub d’événements.

  2. Fournissez les valeurs suivantes pour configurer Event Hubs de manière à capturer des données et à les envoyer vers Data Lake Storage Gen1.

    Capture d’écran de la boîte de dialogue Créer un hub d’événements avec la zone de texte Nom, l’option Capturer, l’option Capturer le fournisseur, l’option Sélectionner un magasin Data Lake Store et l’option Chemin de Data Lake.

    a. Donnez un nom à l’Event Hub.

    b. Pour ce didacticiel, définissez Nombre de partitions et Rétention des messages sur les valeurs par défaut.

    c. Définissez Capture sur Activé. Définissez la Fenêtre de temps (fréquence de capture) et la Fenêtre de taille (taille des données à capturer).

    d. Pour Fournisseur de capture, sélectionnez Azure Data Lake Store, puis sélectionnez le compte Data Lake Storage Gen1 que vous avez créé précédemment. Pour Chemin de Data Lake, entrez le nom du dossier que vous avez créé dans le compte Data Lake Storage Gen1. Vous devez uniquement fournir le chemin relatif du dossier.

    e. Pour l’option Exemples de formats de nom de fichier de capture, conservez la valeur par défaut. Cette option détermine la structure de dossiers qui est créée sous le dossier de capture.

    f. Cliquez sur Créer.

Tester la configuration

Vous pouvez maintenant tester la solution en envoyant des données vers Azure Event Hub. Suivez les instructions de la rubrique Envoyer des événements vers les hubs d’événements Azure avec .NET Framework. Une fois que vous démarrez l’envoi des données, vous pouvez voir les données dans Data Lake Storage Gen1 avec la structure de dossiers que vous avez spécifiée. Vous pouvez voir une structure de dossiers, telle que celle de la capture d’écran ci-dessous, dans votre compte Data Lake Storage Gen1.

Exemple de données EventHub dans Data Lake Storage Gen1

Notes

Même si aucun message n’entre dans Event Hubs, celui-ci écrit des fichiers vides avec en-tête dans le compte Data Lake Storage Gen1. Les fichiers sont écrits au même intervalle de temps que celui que vous avez configuré lors de la création des Event Hubs.

Sécuriser les données dans Data Lake Storage Gen1

Une fois les données dans Data Lake Storage Gen1, vous pouvez exécuter des tâches analytiques pour traiter et analyser les données. Pour plus d’informations sur cette procédure à l’aide d’Azure Data Lake Analytics, consultez Exemple Avro USQL.

Voir aussi