Obtenir des données du stockage Azure

Dans cet article, vous allez apprendre à obtenir des données à partir du stockage Azure (conteneur ADLS Gen2, conteneur d’objets blob ou objets blob individuels) dans une table nouvelle ou existante.

Prérequis

• Un espace de travail avec une capacité compatible Microsoft Fabric
• Une base de données KQL avec des autorisations de modification
• Un compte de stockage

Source

1. Dans le ruban inférieur de votre base de données KQL, sélectionnez Obtenir des données.

   Dans la fenêtre Obtenir des données, l’onglet Source est sélectionné.

2. Sélectionnez la source de données dans la liste disponible. Dans cet exemple, vous ingérez des données à partir d’un stockage Azure.

   

Configurer

1. Sélectionner la table cible. Si vous souhaitez ingérer des données dans une nouvelle table, sélectionnez +Nouvelle table et entrez un nom de table.

   Remarque

   Les noms de tables peuvent comporter jusqu’à 1024 caractères, y compris des espaces, des caractères alphanumériques, des traits d’union et des traits de soulignement. Les caractères spéciaux ne sont pas pris en charge.

2. Pour ajouter votre source de données, collez votre chaîne de connexion de stockage dans le champ URI, puis sélectionnez +. Le tableau suivant répertorie les méthodes d’authentification prises en charge et les autorisations nécessaires à l’ingestion de données à partir du stockage Azure.

   Méthode d'authentification	Blob individuel	Conteneur d’objets blob	Azure Data Lake Storage Gen2
   Jeton d’accès partagé (SAS)	Lecture et écriture	Lire et Liste	Lire et Liste
   Clé d’accès au compte de stockage

   Remarque

   • Vous pouvez ajouter jusqu’à 10 objets blob individuels ou ingérer jusqu’à 5 000 objets blob à partir d’un seul conteneur. Vous ne pouvez pas ingérer les deux en même temps.
   • Chaque objet blob peut être un maximum de 1 Go non compressé.

   1. Si vous avez collé une chaîne de connexion pour un conteneur d’objets blob ou Azure Data Lake Storage Gen2, vous pouvez ajouter les filtres facultatifs suivants :

      

      Paramètre	Description du champ
      Filtres de fichiers (facultatif)
      Chemin d’accès du dossier	Filtre les données pour ingérer des fichiers avec un chemin d’accès de dossier spécifique.
      Extension de fichier	Filtre les données pour ingérer des fichiers avec une extension de fichier spécifique uniquement.

3. Sélectionnez Suivant.

Inspecter

L’onglet Inspecter s’ouvre avec une préversion des données.

Pour terminer le processus d’ingestion, sélectionnez Terminer.

Si vous le souhaitez :

• Sélectionnez Visionneuse de commandes pour afficher et copier les commandes automatiques générées à partir de vos entrées.
• Utilisez la liste déroulante Fichier de définition de schéma pour modifier le fichier à partir duquel le schéma est déduit.
• Modifiez le format de données déduit automatiquement en sélectionnant le format souhaité dans la liste déroulante. Pour plus d’informations, consultez Formats de données pris en charge par l’analyse en temps réel.
• Modifier les colonnes.
• Explorez les options avancées basées sur le type de données.

Modifier les colonnes

Remarque

• Pour les formats tabulaires (CSV, TSV, PSV), vous ne pouvez pas mapper deux fois une même colonne. Pour effectuer un mappage à une colonne existante, commencez par supprimer la nouvelle colonne.
• Vous ne pouvez pas changer un type de colonne existant. Si vous essayez de mapper à une colonne avec un format différent, vous risquez de vous retrouver avec des colonnes vides.

Les modifications que vous pouvez apporter dans une table dépendent des paramètres suivants :

• Si le type de la table est nouveau ou existant
• Si le type du mappage est nouveau ou existant

Type de la table	Type de mappage	Ajustements disponibles
Nouvelle table	Nouveau mappage	Renommer une colonne, modifier le type de données, modifier la source de données, transformation de mappage, ajouter une colonne, supprimer une colonne
Table existante	Nouveau mappage	Ajoutez une colonne (vous pourrez ensuite modifier le type de données, la renommer ou la mettre à jour)
Table existante	Mappage existant	aucun(e)

Mappage des transformations

Certains mappages de format de données (Parquet, JSON et Avro) prennent en charge des transformations simples au moment de l’ingestion. Pour appliquer des transformations de mappage, créez ou mettez à jour une colonne dans la fenêtre Modifier les colonnes.

Les transformations de mappage peuvent être effectuées sur une colonne de type string ou datetime, avec la source dont le type de données est int ou long. Les transformations de mappage prises en charge sont :

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Options avancées basées sur le type de données

Tabulaire (CSV, TSV, PSV) :

• Si vous ingérez des formats tabulaires dans une table existante, vous pouvez sélectionner Avancé>Conserver le schéma de table. Les données tabulaires n’incluent pas nécessairement les noms de colonnes utilisés pour mapper les données sources aux colonnes existantes. Quand cette option est activée, le mappage est effectué dans l’ordre et le schéma de la table reste le même. Si cette option est désactivée, des colonnes sont créées pour les données entrantes, quelle que soit la structure de données.

• Pour utiliser la première ligne comme noms de colonnes, sélectionnez Avancé>La première ligne est l’en-tête de colonne.

  

JSON :

• Pour déterminer la division de colonnes des données JSON, sélectionnez Avancé>Niveaux imbriqués, de 1 à 100.

• Si vous sélectionnez Avancé>Ignorer les lignes contenant des erreurs, les données sont ingérées au format JSON. Si vous laissez cette case à cocher désactivée, les données sont ingérées au format multijson.

  

Résumé

Dans la fenêtre Préparation des données, les trois étapes sont signalées par des coches vertes quand l’ingestion des données s’est terminée avec succès. Vous pouvez sélectionner une carte à interroger, supprimer les données ingérées ou afficher un tableau de bord de votre résumé d’ingestion.

Contenu connexe

• Pour gérer votre base de données, consultez Gérer les données
• Pour créer, stocker et exporter des requêtes, consultez Interroger des données dans un ensemble de requêtes KQL