Uso dell'interfaccia della riga di comando di Hadoop Distributed File System con Anteprima di Azure Data Lake Storage Gen2

Articolo
06/01/2023

È possibile accedere e gestire i dati nell'account di archiviazione usando un'interfaccia della riga di comando esattamente come si farebbe con hadoop Distributed File System (HDFS).You can access and manage the data in your storage account by using a command line interface just as you would with a Hadoop Distributed File System (HDFS). Questo articolo fornisce alcuni esempi utili per iniziare.

HDInsight consente l'accesso al contenitore distribuito collegato localmente ai nodi di calcolo. È possibile accedere a questo contenitore usando la shell che interagisce direttamente con HDFS e gli altri file system supportati da Hadoop.

Per altre informazioni sull'interfaccia della riga di comando di HDFS, vedere la documentazione ufficiale e la Guida alle autorizzazioni di HDFS

Nota

Se si usa Azure Databricks invece di HDInsight e si vuole interagire con i dati usando un'interfaccia della riga di comando, è possibile usare l'interfaccia della riga di comando di Databricks per interagire con il file system di Databricks. Vedere l'interfaccia della riga di comando di Databricks.

Usare l’infrastruttura CLI di HDFS con un cluster Hadoop di HDInsight in Linux

Stabilire prima di tutto l'accesso remoto ai servizi. Selezionando SSH, il codice di PowerShell di esempio si presenta come segue:

#Connect to the cluster via SSH.
ssh sshuser@clustername-ssh.azurehdinsight.net
#Execute basic HDFS commands. Display the hierarchy.
hdfs dfs -ls /
#Create a sample directory.
hdfs dfs -mkdir /samplefolder

La stringa di connessione è reperibile nella sezione "SSH + Cluster login" del pannello del cluster HDInsight nel portale di Azure. Al momento della creazione del cluster sono state specificate le credenziali SSH.

Importante

La fatturazione del cluster HDInsight inizia dopo la creazione del cluster e si interrompe solo quando questo viene eliminato. La fatturazione avviene con tariffa oraria, perciò si deve sempre eliminare il cluster in uso quando non lo si usa più. Per informazioni su come eliminare un cluster, vedere l'articolo relativo all'argomento. I dati archiviati in un account di archiviazione nel quale è abilitato Data Lake Storage Gen2 persistono anche dopo l'eliminazione di un cluster HDInsight.

Creare un contenitore

hdfs dfs -D "fs.azure.createRemoteFileSystemDuringInitialization=true" -ls abfs://<container-name>@<storage-account-name>.dfs.core.windows.net/

Sostituire il segnaposto <container-name> con il nome che si vuole assegnare al contenitore.
Sostituire il segnaposto <storage-account-name> con il nome del proprio account di archiviazione.

Ottenere un elenco di file o directory

hdfs dfs -ls <path>

Sostituire il <path> segnaposto con l'URI del contenitore o della cartella del contenitore.

ad esempio hdfs dfs -ls abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name

Creare una directory

hdfs dfs -mkdir [-p] <path>

Sostituire il <path> segnaposto con il nome del contenitore radice o una cartella all'interno del contenitore.

ad esempio hdfs dfs -mkdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/

Eliminare un file o una directory

hdfs dfs -rm <path>

Sostituire il segnaposto <path> con l'URI del file o della cartella che si vuole eliminare.

ad esempio hdfs dfs -rmdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name/my-file-name

Visualizzare gli elenchi di controllo di accesso (ACL) di file e directory

hdfs dfs -getfacl [-R] <path>

Esempio:

hdfs dfs -getfacl -R /dir

Vedere getfacl

Impostare gli ACL su file e directory

hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]

Esempio:

hdfs dfs -setfacl -m user:hadoop:rw- /file

Vedere setfacl

Modificare il proprietario dei file

hdfs dfs -chown [-R] <new_owner>:<users_group> <URI>

Vedere chown

Modificare l'associazione del gruppo di file

hdfs dfs -chgrp [-R] <group> <URI>

Vedere chgrp

Modificare le autorizzazioni dei file

hdfs dfs -chmod [-R] <mode> <URI>

Vedere chmod

È possibile visualizzare l'elenco completo dei comandi nel sito Web della Guida alla Shell del filesystem Apache Hadoop 2.4.1.

Condividi tramite