Utiliser l’URI Azure Data Lake Storage Gen2

  • Article

Le pilote du système de fichiers Hadoop compatible avec Azure Data Lake Storage Gen2 est connu par son identificateur de schéma abfs (système de fichiers blob Azure). Conformément à d’autres pilotes de système de fichiers Hadoop, le pilote ABFS emploie un format d’URI pour traiter les fichiers et les répertoires dans un compte avec Data Lake Storage Gen2.

Syntaxe d’URI

Le pilote Azure Blob File System peut être utilisé avec le point de terminaison Data Lake Storage d’un compte, même si cet espace de noms hiérarchique n’est pas activé. Si le compte de stockage n’a pas d’espace de noms hiérarchique, la syntaxe abrégée de l’URI est :

abfs[s]1://<file_system>2@<account_name>3.dfs.core.windows.net/<path>4/<file_name>5

  1. Identificateur de schéma : le protocole abfs est utilisé comme identificateur de schéma. Si vous ajoutez un s à la fin (abfss), le pilote du client ABFS Hadoop utilise toujours le protocole TLS, quelle que soit la méthode d’authentification choisie. Si vous choisissez OAuth comme méthode d’authentification, le pilote client va utiliser toujours le protocole TLS même si vous spécifiez abfs plutôt que abfss, car OAuth s’appuie uniquement sur la couche TLS. Enfin, si vous choisissez d’utiliser l’ancienne méthode de clé de compte de stockage, le pilote client va interpréter abfs comme l’indication que vous ne souhaitez pas utiliser le TLS.

  2. Système de fichiers : emplacement parent qui contient les fichiers et dossiers. C’est l’équivalent des conteneurs du service Azure Storage Blob.

  3. Nom du compte : nom donné à votre compte de stockage à sa création.

  4. Chemins : représentation délimitée par des barres obliques (/) de la structure de répertoires.

  5. Nom de fichier : nom du fichier en question. Ce paramètre est facultatif si vous utilisez un répertoire.

Toutefois, si le compte que vous souhaitez adresser a un espace de noms hiérarchique, la syntaxe abrégée de l’URI est :

/<path>1/<file_name>2

  1. Chemin d’accès : représentation délimitée par des barres obliques (/) de la structure de répertoires.

  2. Nom de fichier : nom du fichier en question.

Étapes suivantes