A HDFS parancssori felület használata a Data Lake Storage használatával

2024-11-18

A tárfiókban lévő adatokat úgy érheti el és kezelheti, hogy parancssori felületet használ, ugyanúgy, mint a Hadoop Elosztott fájlrendszer (HDFS) esetében. Ez a cikk néhány példát tartalmaz, amelyek segítenek az első lépésekben.

A HDInsight hozzáférést biztosít a számítási csomópontokhoz helyileg csatlakoztatott elosztott tárolóhoz. Ezt a tárolót a HDFS-sel és a Hadoop által támogatott többi fájlrendszerrel közvetlenül kommunikáló rendszerhéj használatával érheti el.

A HDFS parancssori felületével kapcsolatos további információkért tekintse meg a hivatalos dokumentációt és a HDFS-engedélyek útmutatóját

Feljegyzés

Ha a HDInsight helyett az Azure Databrickset használja, és parancssori felülettel szeretné kezelni az adatokat, a Databricks parancssori felületével kezelheti a Databricks fájlrendszerét. Lásd a Databricks parancssori felületét.

A HDFS parancssori felület használata HDInsight Hadoop-fürttel Linuxon

Először hozzon létre távelérést a szolgáltatásokhoz. Ha SSH-t választ, a PowerShell-mintakód a következőképpen nézne ki:

#Connect to the cluster via SSH.
ssh sshuser@clustername-ssh.azurehdinsight.net
#Execute basic HDFS commands. Display the hierarchy.
hdfs dfs -ls /
#Create a sample directory.
hdfs dfs -mkdir /samplefolder

A kapcsolati sztring az Azure Portal HDInsight-fürt paneljének "SSH + Fürt bejelentkezés" szakaszában található. Az SSH hitelesítő adatai a fürt létrehozásakor lettek megadva.

Fontos

A HDInsight-fürt számlázása a fürt létrehozása után kezdődik, és a fürt törlésekor leáll. A számlázás percalapú, ezért mindig érdemes törölni a fürtöt, ha az már nincs használatban. A fürtök törlésének módjáról a témakörről szóló cikkünkben olvashat. A Data Lake Storage-kompatibilis tárfiókban tárolt adatok azonban a HDInsight-fürt törlése után is megmaradnak.

Tároló létrehozása

hdfs dfs -D "fs.azure.createRemoteFileSystemDuringInitialization=true" -ls abfs://<container-name>@<storage-account-name>.dfs.core.windows.net/

Cserélje le a <container-name> helyőrzőt a tárolónak adni kívánt névre.
Cserélje le a <storage-account-name> helyőrzőt a tárfiók nevére.

Fájlok vagy könyvtárak listájának lekérése

hdfs dfs -ls <path>

Cserélje le a <path> helyőrzőt a tároló vagy tárolómappa URI-jára.

Például: hdfs dfs -ls abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name

Címtár létrehozása

hdfs dfs -mkdir [-p] <path>

Cserélje le a <path> helyőrzőt a gyökértároló nevére vagy a tárolón belüli mappára.

Például: hdfs dfs -mkdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/

Fájl vagy könyvtár törlése

hdfs dfs -rm <path>

Cserélje le a <path> helyőrzőt a törölni kívánt fájl vagy mappa URI-jára.

Például: hdfs dfs -rmdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name/my-file-name

Fájlok és könyvtárak hozzáférés-vezérlési listáinak (ACL-einek) megjelenítése

hdfs dfs -getfacl [-R] <path>

Példa:

hdfs dfs -getfacl -R /dir

Lásd: getfacl

Fájlok és könyvtárak ACL-einek beállítása

hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]

Példa:

hdfs dfs -setfacl -m user:hadoop:rw- /file

Lásd: setfacl

Fájlok tulajdonosának módosítása

hdfs dfs -chown [-R] <new_owner>:<users_group> <URI>

Lásd: chown

Fájlok csoporttársításának módosítása

hdfs dfs -chgrp [-R] <group> <URI>

Lásd: chgrp

Fájlok engedélyeinek módosítása

hdfs dfs -chmod [-R] <mode> <URI>

Lásd: chmod

A parancsok teljes listáját az Apache Hadoop 2.4.1 fájlrendszerhéj-útmutatójának webhelyén tekintheti meg.

Megosztás a következőn keresztül: