Share via

De HDFS CLI gebruiken met Data Lake Storage Gen2

  • Artikel

U kunt de gegevens in uw opslagaccount openen en beheren met behulp van een opdrachtregelinterface, net zoals bij een Hadoop Distributed File System (HDFS). In dit artikel vindt u enkele voorbeelden waarmee u aan de slag kunt gaan.

HDInsight biedt toegang tot de gedistribueerde container die lokaal is gekoppeld aan de rekenknooppunten. U kunt toegang krijgen tot deze container met behulp van de shell die rechtstreeks communiceert met de HDFS en de andere bestandssystemen die door Hadoop worden ondersteund.

Zie de officiële documentatie en de HANDLEIDING voor HDFS-machtigingen voor meer informatie over HDFS CLI

Notitie

Als u Azure Databricks gebruikt in plaats van HDInsight en u wilt communiceren met uw gegevens via een opdrachtregelinterface, kunt u de Databricks CLI gebruiken om te communiceren met het Databricks-bestandssysteem. Zie Databricks CLI.

De HDFS CLI gebruiken met een HDInsight Hadoop-cluster in Linux

Stel eerst externe toegang tot services in. Als u SSH kiest, ziet de PowerShell-voorbeeldcode er als volgt uit:

#Connect to the cluster via SSH.
ssh sshuser@clustername-ssh.azurehdinsight.net
#Execute basic HDFS commands. Display the hierarchy.
hdfs dfs -ls /
#Create a sample directory.
hdfs dfs -mkdir /samplefolder

De connection string vindt u in de sectie 'SSH + clusteraanmelding' van de HDInsight-clusterblade in Azure Portal. Er zijn SSH-referenties opgegeven op het moment dat het cluster werd gemaakt.

Belangrijk

Facturering van HDInsight-clusters begint nadat een cluster is gemaakt en stopt wanneer het cluster wordt verwijderd. De facturering wordt pro-rato per minuut berekend, dus u moet altijd uw cluster verwijderen wanneer het niet meer wordt gebruikt. Zie ons artikel over het onderwerp voor meer informatie over het verwijderen van een cluster. Gegevens die zijn opgeslagen in een opslagaccount met Data Lake Storage Gen2 ingeschakeld, blijven echter behouden, zelfs nadat een HDInsight-cluster is verwijderd.

Een container maken

hdfs dfs -D "fs.azure.createRemoteFileSystemDuringInitialization=true" -ls abfs://<container-name>@<storage-account-name>.dfs.core.windows.net/

  • Vervang de tijdelijke aanduiding <container-name> door de naam die u aan uw container wilt geven.

  • Vervang de tijdelijke plaatsaanduiding <storage-account-name> door de naam van uw opslagaccount.

Een lijst met bestanden of mappen ophalen

hdfs dfs -ls <path>

Vervang de <path> tijdelijke aanduiding door de URI van de container of containermap.

Bijvoorbeeld: hdfs dfs -ls abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name

Een map maken

hdfs dfs -mkdir [-p] <path>

Vervang de <path> tijdelijke aanduiding door de naam van de hoofdcontainer of een map in uw container.

Bijvoorbeeld: hdfs dfs -mkdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/

Een bestand of map verwijderen

hdfs dfs -rm <path>

Vervang de <path> tijdelijke aanduiding door de URI van het bestand of de map die u wilt verwijderen.

Bijvoorbeeld: hdfs dfs -rmdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name/my-file-name

De Access Control lijsten (ACL's) van bestanden en mappen weergeven

hdfs dfs -getfacl [-R] <path>

Voorbeeld:

hdfs dfs -getfacl -R /dir

Zie getfacl

ACL's van bestanden en mappen instellen

hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]

Voorbeeld:

hdfs dfs -setfacl -m user:hadoop:rw- /file

Zie setfacl

De eigenaar van bestanden wijzigen

hdfs dfs -chown [-R] <new_owner>:<users_group> <URI>

Zie chown

Groepskoppeling van bestanden wijzigen

hdfs dfs -chgrp [-R] <group> <URI>

Zie chgrp

De machtigingen van bestanden wijzigen

hdfs dfs -chmod [-R] <mode> <URI>

Zie chmod

U kunt de volledige lijst met opdrachten bekijken op de apache Hadoop 2.4.1 File System Shell Guide-website .

Volgende stappen