Korzystanie z interfejsu wiersza polecenia systemu plików HDFS z Data Lake Storage Gen2
Dostęp do danych na koncie magazynu i zarządzanie nimi można uzyskać przy użyciu interfejsu wiersza polecenia tak samo jak w przypadku rozproszonego systemu plików Hadoop (HDFS). Ten artykuł zawiera kilka przykładów, które pomogą Ci rozpocząć pracę.
Usługa HDInsight zapewnia dostęp do rozproszonego kontenera, który jest lokalnie dołączony do węzłów obliczeniowych. Dostęp do tego kontenera można uzyskać za pomocą powłoki, która bezpośrednio współdziała z systemem plików HDFS i innymi systemami plików, które obsługuje usługa Hadoop.
Aby uzyskać więcej informacji na temat interfejsu wiersza polecenia systemu plików HDFS, zobacz oficjalną dokumentację i przewodnik po uprawnieniach systemu plików HDFS
Uwaga
Jeśli używasz usługi Azure Databricks zamiast usługi HDInsight i chcesz korzystać z danych przy użyciu interfejsu wiersza polecenia, możesz użyć interfejsu wiersza polecenia usługi Databricks do interakcji z systemem plików usługi Databricks. Zobacz Interfejs wiersza polecenia usługi Databricks.
Używanie interfejsu wiersza polecenia systemu plików HDFS z klastrem hadoop usługi HDInsight w systemie Linux
Najpierw ustanów zdalny dostęp do usług. Jeśli wybierzesz protokół SSH , przykładowy kod programu PowerShell będzie wyglądać następująco:
#Connect to the cluster via SSH.
ssh sshuser@clustername-ssh.azurehdinsight.net
#Execute basic HDFS commands. Display the hierarchy.
hdfs dfs -ls /
#Create a sample directory.
hdfs dfs -mkdir /samplefolder
Parametry połączenia można znaleźć w sekcji "Logowanie do protokołu SSH i klastra" bloku klastra usługi HDInsight w Azure Portal. Poświadczenia SSH zostały określone podczas tworzenia klastra.
Ważne
Rozliczenia klastra usługi HDInsight są uruchamiane po utworzeniu klastra i zatrzymuje się po usunięciu klastra. Opłaty są naliczane za minutę, więc jeśli klaster nie jest używany, należy go usunąć. Aby dowiedzieć się, jak usunąć klaster, zobacz nasz artykuł na ten temat. Jednak dane przechowywane na koncie magazynu z włączoną Data Lake Storage Gen2 są utrwalane nawet po usunięciu klastra usługi HDInsight.
Tworzenie kontenera
hdfs dfs -D "fs.azure.createRemoteFileSystemDuringInitialization=true" -ls abfs://<container-name>@<storage-account-name>.dfs.core.windows.net/
<container-name>Zastąp symbol zastępczy nazwą, którą chcesz nadać kontenerowi.Zastąp symbol zastępczy
<storage-account-name>nazwą konta magazynu.
Pobieranie listy plików lub katalogów
hdfs dfs -ls <path>
<path> Zastąp symbol zastępczy identyfikatorem URI kontenera lub folderu kontenera.
Na przykład: hdfs dfs -ls abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name
Tworzenie katalogu
hdfs dfs -mkdir [-p] <path>
<path> Zastąp symbol zastępczy nazwą głównego kontenera lub folderem w kontenerze.
Na przykład: hdfs dfs -mkdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/
Usuwanie pliku lub katalogu
hdfs dfs -rm <path>
<path> Zastąp symbol zastępczy identyfikatorem URI pliku lub folderu, który chcesz usunąć.
Na przykład: hdfs dfs -rmdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name/my-file-name
Wyświetlanie list Access Control (ACL) plików i katalogów
hdfs dfs -getfacl [-R] <path>
Przykład:
hdfs dfs -getfacl -R /dir
Zobacz getfacl
Ustawianie list ACL plików i katalogów
hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]
Przykład:
hdfs dfs -setfacl -m user:hadoop:rw- /file
Zobacz setfacl
Zmienianie właściciela plików
hdfs dfs -chown [-R] <new_owner>:<users_group> <URI>
Zobacz chown
Zmienianie skojarzenia grup plików
hdfs dfs -chgrp [-R] <group> <URI>
Zobacz chgrp
Zmienianie uprawnień plików
hdfs dfs -chmod [-R] <mode> <URI>
Zobacz chmod
Pełną listę poleceń można wyświetlić w witrynie internetowej przewodnika powłoki systemu plików Apache Hadoop 2.4.1 .