API de système de fichiers WebHDFS
Azure Data Lake Store est un système de fichiers à l’échelle du cloud compatible avec hdFS (Hadoop Distributed File System) et fonctionne avec l’écosystème Hadoop. Vos applications ou services existants qui utilisent l’API WebHDFS peuvent facilement s’intégrer à ADLS.
URL des appels REST
Une URL REST WebHDFS classique ressemble à ce qui suit :
http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=<OP>...
Pour mapper cette URL pour un appel REST à Data Lake Store, apportez les modifications suivantes :
Utiliser
https
à la place dehttp
Pour
<HOST>
, utilisez le nom de compte complet, par exemple<data_lake_store_name>.azuredatalakestore.net
L’option
:<PORT>
est facultative
Par conséquent, une URL de point de terminaison REST pour Data Lake Store à l’aide des API WebHDFS doit ressembler à ceci :
https://<data_lake_store_name>.azuredatalakestore.net/webhdfs/v1/<PATH>?op=<OP>...
Passage d’un jeton d’autorisation dans l’en-tête du message
Data Lake Store utilise Azure Active Directory pour autoriser les appels REST. Tous les appels REST à Data Lake Store doivent inclure un jeton d’autorisation dans le cadre de l’en-tête de message. Pour obtenir une discussion détaillée sur la façon dont Azure Active Directory utilise OAuth, consultez OAuth2.0 dans Azure Active Directory. Pour obtenir des instructions sur la façon de demander un jeton d’autorisation, consultez Comment faire s’authentifier à l’aide de Azure Active Directory.
Notes
Pour obtenir la liste des en-têtes et paramètres courants requis pour les appels à Data Lake Store, consultez Paramètres courants et en-têtes.
WEBHDFS API conformes pour Data Lake Store
Le tableau ci-dessous répertorie les API WebHDFS qui peuvent être utilisées avec Data Lake Store. Le cas échéant, le tableau répertorie également l’écart par rapport aux API de WebHDFS standard, par exemple si certains paramètres ne sont pas pris en charge, ou lorsque certains paramètres sont pris en charge différemment.
Notes
Data Lake Store prend actuellement en charge WebHDFS version 2.7.2.
API WebHDFS avec Data Lake Store | Requête-réponse | Points importants à prendre en compte |
---|---|---|
CREATE | Voir ici | Les paramètres de requête suivants ne sont pas pris en charge. - blockize : cette valeur est fixe à 256 Mo et ne peut pas être modifiée. - réplication : il est géré en interne par Data Lake Store. Même si vous fournissez ce paramètre, il est ignoré et aucune erreur n’est retournée. - buffersize : cette valeur est fixe à 4 Mo et ne peut pas être modifiée. |
APPEND | Voir ici | Les paramètres de requête suivants ne sont pas pris en charge : - buffersize : cette valeur est fixe à 4 Mo et ne peut pas être modifiée |
CONCAT | Voir ici | - |
OPEN | Voir ici | Les paramètres de requête suivants ne sont pas pris en charge : - buffersize : cette valeur est fixe à 4 Mo et ne peut pas être modifiée |
MKDIRS | Voir ici | - |
RENAME | Voir ici | - |
Suppression | Voir ici | - |
GETFILESTATUS | Voir ici | Les paramètres de réponse suivants sont pris en charge différemment : - type - SYMLINK n’est pas pris en charge afin qu’il ne soit pas retourné ; FILE et DIRECTORY seront. |
LISTSTATUS | Voir ici | - |
GETCONTENTSUMMARY | Voir ici | Les paramètres de réponse suivants ne sont pas pris en charge : - quota : Data Lake Store ne retourne pas de quota. - spaceQuota - Data Lake Store ne retourne pas spaceQuota. |
SETPERMISSION | Voir ici | - |
SETOWNER | Voir ici | - |
MODIFYACLENTRIES | Voir ici | - |
REMOVEACLENTRIES | Voir ici | - |
SETACL | Voir ici | - |
GETACLSTATUS | Voir ici | - |
CHECKACCESS | Voir ici | - |