Obtenir des données à partir d'Amazon S3

L’ingestion de données est le processus utilisé pour charger des données à partir d’une ou plusieurs sources dans une table dans Azure Data Explorer. Une fois ingérées, les données sont disponibles pour les requêtes. Dans cet article, vous allez apprendre à obtenir des données d’Amazon S3 dans une table nouvelle ou existante.

Pour plus d’informations sur Amazon S3, consultez Qu’est-ce qu’Amazon S3 ?.

Pour obtenir des informations générales sur l’ingestion de données, consultez Vue d’ensemble de l’ingestion de données Azure Data Explorer.

Prérequis

• Un compte Microsoft ou une identité d’utilisateur Microsoft Entra. Un abonnement Azure n’est pas requis.
• Connectez-vous à l’interface utilisateur web Azure Data Explorer.
• Un cluster et une base de données Azure Data Explorer. Créez un cluster et une base de données.

Obtenir des données

1. Dans le menu de gauche, sélectionnez Requête.

2. Cliquez avec le bouton droit sur la base de données dans laquelle vous souhaitez ingérer les données, puis sélectionnez Obtenir des données.

   

Source

Dans la fenêtre Obtenir des données, l’onglet Source est sélectionné.

Sélectionnez la source de données dans la liste disponible. Dans cet exemple, vous ingérez des données à partir d’Amazon S3.

Configurer

1. Sélectionnez une base de données et une table cibles. Si vous souhaitez ingérer des données dans une nouvelle table, sélectionnez +Nouvelle table et entrez un nom de table.

   Notes

   Les noms de table peuvent avoir jusqu’à 1 024 caractères, y compris des espaces, des alphanumériques, des traits d’union et des traits de soulignement. Les caractères spéciaux ne sont pas pris en charge.

2. Dans le champ URI, collez le chaîne de connexion d’un compartiment unique ou d’un objet individuel au format suivant.

   Compartiment : https://BucketName.s3.RegionName.amazonaws.com

   Objet : ObjectName;AwsCredentials=AwsAccessID,AwsSecretKey

   Si vous le souhaitez, vous pouvez appliquer des filtres de compartiment pour filtrer les données en fonction d’une extension de fichier spécifique.

   

   Notes

   L’ingestion prend en charge une taille de fichier maximale de 6 Go. Nous vous recommandons d’ingérer des fichiers entre 100 Mo et 1 Go.

3. Sélectionnez Suivant.

Inspecter

L’onglet Inspection s’ouvre avec un aperçu des données.

Pour terminer le processus d’ingestion, sélectionnez Terminer.

Éventuellement :

• Sélectionnez Visionneuse de commandes pour afficher et copier les commandes automatiques générées à partir de vos entrées.
• Utilisez la liste déroulante fichier de définition de schéma pour modifier le fichier à partir duquel le schéma est déduit.
• Modifiez le format des données déduites automatiquement en sélectionnant le format souhaité dans la liste déroulante. Consultez Formats de données pris en charge par Azure Data Explorer pour l’ingestion.
• Modifier les colonnes.
• Explorez les options avancées en fonction du type de données.

Modifier les colonnes

Notes

• Pour les formats tabulaires (CSV, TSV, PSV), vous ne pouvez pas mapper une colonne deux fois. Pour effectuer un mappage à une colonne existante, commencez par supprimer la nouvelle colonne.
• Vous ne pouvez pas changer un type de colonne existant. Si vous essayez de mapper à une colonne avec un format différent, vous risquez de vous retrouver avec des colonnes vides.

Les modifications que vous pouvez apporter dans une table dépendent des paramètres suivants :

• Si le type de la table est nouveau ou existant
• Si le type du mappage est nouveau ou existant

Type de la table	Type de mappage	Ajustements disponibles
Nouvelle table	Nouveau mappage	Renommer la colonne, modifier le type de données, modifier la source de données, la transformation de mappage, ajouter une colonne, supprimer une colonne
Table existante	Nouveau mappage	Ajouter une colonne (sur laquelle vous pouvez ensuite modifier le type de données, renommer et mettre à jour)
Table existante	Mappage existant	aucun

Mappage des transformations

Certains mappages de format de données (Parquet, JSON et Avro) prennent en charge des transformations simples au moment de l’ingestion. Pour appliquer des transformations de mappage, créez ou mettez à jour une colonne dans la fenêtre Modifier les colonnes .

Les transformations de mappage peuvent être effectuées sur une colonne de type chaîne ou datetime, la source ayant le type de données int ou long. Les transformations de mappage prises en charge sont :

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Options avancées en fonction du type de données

Tabulaire (CSV, TSV, PSV) :

• Si vous ingérez des formats tabulaires dans une table existante, vous pouvez sélectionner Avancé>Conserver le schéma de table actuel. Les données tabulaires n’incluent pas nécessairement les noms de colonnes utilisés pour mapper les données sources aux colonnes existantes. Lorsque cette option est activée, le mappage est effectué par ordre et le schéma de table reste le même. Si cette option est décochée, de nouvelles colonnes sont créées pour les données entrantes, quelle que soit la structure des données.

• Pour utiliser la première ligne comme noms de colonne, sélectionnez Advanced>First row is column header.

  

JSON :

• Pour déterminer la division des colonnes des données JSON, sélectionnez Niveaux imbriqués avancés>, de 1 à 100.

• Si vous sélectionnez Avancé>Ignorer les erreurs de format de données, les données sont ingérées au format JSON. Si vous laissez cette case à cocher désactivée, les données sont ingérées au format multijson.

  

Résumé

Dans la fenêtre Préparation des données, les trois étapes sont marquées par des marques case activée vertes lorsque l’ingestion des données se termine correctement. Vous pouvez afficher les commandes utilisées pour chaque étape, ou sélectionner un carte pour interroger, visualiser ou supprimer les données ingérées.

Contenu connexe

• Écrire des requêtes Langage de requête Kusto dans l’interface utilisateur web
• Tutoriel : Découvrir les opérateurs de Langage de requête Kusto courants
• Visualiser des données avec des tableaux de bord Azure Data Explorer