De HDFS CLI gebruiken met Data Lake Storage Gen2
U kunt de gegevens in uw opslagaccount openen en beheren met behulp van een opdrachtregelinterface, net zoals bij een Hadoop Distributed File System (HDFS). In dit artikel vindt u enkele voorbeelden waarmee u aan de slag kunt gaan.
HDInsight biedt toegang tot de gedistribueerde container die lokaal is gekoppeld aan de rekenknooppunten. U kunt toegang krijgen tot deze container met behulp van de shell die rechtstreeks communiceert met de HDFS en de andere bestandssystemen die door Hadoop worden ondersteund.
Zie de officiƫle documentatie en de HANDLEIDING voor HDFS-machtigingen voor meer informatie over HDFS CLI
Notitie
Als u Azure Databricks gebruikt in plaats van HDInsight en u wilt communiceren met uw gegevens via een opdrachtregelinterface, kunt u de Databricks CLI gebruiken om te communiceren met het Databricks-bestandssysteem. Zie Databricks CLI.
De HDFS CLI gebruiken met een HDInsight Hadoop-cluster in Linux
Stel eerst externe toegang tot services in. Als u SSH kiest, ziet de PowerShell-voorbeeldcode er als volgt uit:
#Connect to the cluster via SSH.
ssh sshuser@clustername-ssh.azurehdinsight.net
#Execute basic HDFS commands. Display the hierarchy.
hdfs dfs -ls /
#Create a sample directory.
hdfs dfs -mkdir /samplefolder
De connection string vindt u in de sectie 'SSH + clusteraanmelding' van de HDInsight-clusterblade in Azure Portal. Er zijn SSH-referenties opgegeven op het moment dat het cluster werd gemaakt.
Belangrijk
Facturering van HDInsight-clusters begint nadat een cluster is gemaakt en stopt wanneer het cluster wordt verwijderd. De facturering wordt pro-rato per minuut berekend, dus u moet altijd uw cluster verwijderen wanneer het niet meer wordt gebruikt. Zie ons artikel over het onderwerp voor meer informatie over het verwijderen van een cluster. Gegevens die zijn opgeslagen in een opslagaccount met Data Lake Storage Gen2 ingeschakeld, blijven echter behouden, zelfs nadat een HDInsight-cluster is verwijderd.
Een container maken
hdfs dfs -D "fs.azure.createRemoteFileSystemDuringInitialization=true" -ls abfs://<container-name>@<storage-account-name>.dfs.core.windows.net/
Vervang de tijdelijke aanduiding
<container-name>
door de naam die u aan uw container wilt geven.Vervang de tijdelijke plaatsaanduiding
<storage-account-name>
door de naam van uw opslagaccount.
Een lijst met bestanden of mappen ophalen
hdfs dfs -ls <path>
Vervang de <path>
tijdelijke aanduiding door de URI van de container of containermap.
Bijvoorbeeld: hdfs dfs -ls abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name
Een map maken
hdfs dfs -mkdir [-p] <path>
Vervang de <path>
tijdelijke aanduiding door de naam van de hoofdcontainer of een map in uw container.
Bijvoorbeeld: hdfs dfs -mkdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/
Een bestand of map verwijderen
hdfs dfs -rm <path>
Vervang de <path>
tijdelijke aanduiding door de URI van het bestand of de map die u wilt verwijderen.
Bijvoorbeeld: hdfs dfs -rmdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name/my-file-name
De Access Control lijsten (ACL's) van bestanden en mappen weergeven
hdfs dfs -getfacl [-R] <path>
Voorbeeld:
hdfs dfs -getfacl -R /dir
Zie getfacl
ACL's van bestanden en mappen instellen
hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]
Voorbeeld:
hdfs dfs -setfacl -m user:hadoop:rw- /file
Zie setfacl
De eigenaar van bestanden wijzigen
hdfs dfs -chown [-R] <new_owner>:<users_group> <URI>
Zie chown
Groepskoppeling van bestanden wijzigen
hdfs dfs -chgrp [-R] <group> <URI>
Zie chgrp
De machtigingen van bestanden wijzigen
hdfs dfs -chmod [-R] <mode> <URI>
Zie chmod
U kunt de volledige lijst met opdrachten bekijken op de apache Hadoop 2.4.1 File System Shell Guide-website .