API de système de fichiers WebHDFS

Azure Data Lake Store est un système de fichiers à l’échelle du cloud compatible avec hdFS (Hadoop Distributed File System) et fonctionne avec l’écosystème Hadoop. Vos applications ou services existants qui utilisent l’API WebHDFS peuvent facilement s’intégrer à ADLS.

URL des appels REST

Une URL REST WebHDFS classique ressemble à ce qui suit :

http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=<OP>...

Pour mapper cette URL pour un appel REST à Data Lake Store, apportez les modifications suivantes :

  • Utiliser https à la place de http

  • Pour <HOST>, utilisez le nom de compte complet, par exemple <data_lake_store_name>.azuredatalakestore.net

  • L’option :<PORT> est facultative

Par conséquent, une URL de point de terminaison REST pour Data Lake Store à l’aide des API WebHDFS doit ressembler à ceci :

https://<data_lake_store_name>.azuredatalakestore.net/webhdfs/v1/<PATH>?op=<OP>... 

Passage d’un jeton d’autorisation dans l’en-tête du message

Data Lake Store utilise Azure Active Directory pour autoriser les appels REST. Tous les appels REST à Data Lake Store doivent inclure un jeton d’autorisation dans le cadre de l’en-tête de message. Pour obtenir une discussion détaillée sur la façon dont Azure Active Directory utilise OAuth, consultez OAuth2.0 dans Azure Active Directory. Pour obtenir des instructions sur la façon de demander un jeton d’autorisation, consultez Comment faire s’authentifier à l’aide de Azure Active Directory.

Notes

Pour obtenir la liste des en-têtes et paramètres courants requis pour les appels à Data Lake Store, consultez Paramètres courants et en-têtes.

WEBHDFS API conformes pour Data Lake Store

Le tableau ci-dessous répertorie les API WebHDFS qui peuvent être utilisées avec Data Lake Store. Le cas échéant, le tableau répertorie également l’écart par rapport aux API de WebHDFS standard, par exemple si certains paramètres ne sont pas pris en charge, ou lorsque certains paramètres sont pris en charge différemment.

Notes

Data Lake Store prend actuellement en charge WebHDFS version 2.7.2.

API WebHDFS avec Data Lake Store Requête-réponse Points importants à prendre en compte
CREATE Voir ici Les paramètres de requête suivants ne sont pas pris en charge.

- blockize : cette valeur est fixe à 256 Mo et ne peut pas être modifiée.
- réplication : il est géré en interne par Data Lake Store. Même si vous fournissez ce paramètre, il est ignoré et aucune erreur n’est retournée.
- buffersize : cette valeur est fixe à 4 Mo et ne peut pas être modifiée.
APPEND Voir ici Les paramètres de requête suivants ne sont pas pris en charge :

- buffersize : cette valeur est fixe à 4 Mo et ne peut pas être modifiée
CONCAT Voir ici -
OPEN Voir ici Les paramètres de requête suivants ne sont pas pris en charge :

- buffersize : cette valeur est fixe à 4 Mo et ne peut pas être modifiée
MKDIRS Voir ici -
RENAME Voir ici -
Suppression Voir ici -
GETFILESTATUS Voir ici Les paramètres de réponse suivants sont pris en charge différemment :

- type - SYMLINK n’est pas pris en charge afin qu’il ne soit pas retourné ; FILE et DIRECTORY seront.
LISTSTATUS Voir ici -
GETCONTENTSUMMARY Voir ici Les paramètres de réponse suivants ne sont pas pris en charge :

- quota : Data Lake Store ne retourne pas de quota.
- spaceQuota - Data Lake Store ne retourne pas spaceQuota.
SETPERMISSION Voir ici -
SETOWNER Voir ici -
MODIFYACLENTRIES Voir ici -
REMOVEACLENTRIES Voir ici -
SETACL Voir ici -
GETACLSTATUS Voir ici -
CHECKACCESS Voir ici -