Aracılığıyla paylaş

HDFS CLI'yi Data Lake Storage ile kullanma

Hadoop Dağıtılmış Dosya Sistemi (HDFS) ile yaptığınız gibi bir komut satırı arabirimi kullanarak depolama hesabınızdaki verilere erişebilir ve verileri yönetebilirsiniz. Bu makalede, başlamanıza yardımcı olacak bazı örnekler verilmektedir.

HDInsight, işlem düğümlerine yerel olarak bağlı olan dağıtılmış kapsayıcıya erişim sağlar. HdFS ve Hadoop'un desteklediği diğer dosya sistemleriyle doğrudan etkileşim kuran kabuğu kullanarak bu kapsayıcıya erişebilirsiniz.

HDFS CLI hakkında daha fazla bilgi için resmi belgelere ve HDFS İzinleri Kılavuzu'na bakın

Not

HDInsight yerine Azure Databricks kullanıyorsanız ve verilerinizle komut satırı arabirimi kullanarak etkileşime geçmek istiyorsanız Databricks CLI'sini kullanarak Databricks dosya sistemiyle etkileşim kurabilirsiniz. Bkz. Databricks CLI.

Linux'ta HDInsight Hadoop kümesiyle HDFS CLI kullanma

İlk olarak, hizmetlere uzaktan erişim oluşturun. SSH'yi seçerseniz örnek PowerShell kodu aşağıdaki gibi görünür:

#Connect to the cluster via SSH.
ssh sshuser@clustername-ssh.azurehdinsight.net
#Execute basic HDFS commands. Display the hierarchy.
hdfs dfs -ls /
#Create a sample directory.
hdfs dfs -mkdir /samplefolder

bağlantı dizesi, Azure portalındaki HDInsight kümesi dikey penceresinin "SSH + Küme oturum açma" bölümünde bulunabilir. Küme oluşturma sırasında SSH kimlik bilgileri belirtildi.

Önemli

HDInsight kümesi faturalaması, bir küme oluşturulduktan sonra başlar ve küme silindiğinde durur. Fatura dakikalara eşit olarak dağıtıldığından, kullanılmayan kümelerinizi mutlaka silmelisiniz. Küme silmeyi öğrenmek için konu başlığındaki makalemize bakın. Ancak, Data Lake Storage'ın etkinleştirildiği bir depolama hesabında depolanan veriler, HDInsight kümesi silindikten sonra bile devam eder.

Kapsayıcı oluşturma

hdfs dfs -D "fs.azure.createRemoteFileSystemDuringInitialization=true" -ls abfs://<container-name>@<storage-account-name>.dfs.core.windows.net/

  • Yer tutucuyu <container-name> kapsayıcınıza vermek istediğiniz adla değiştirin.

  • Yer tutucuyu <storage-account-name> depolama hesabınızın adıyla değiştirin.

Dosya veya dizin listesini alma

hdfs dfs -ls <path>

Yer tutucuyu <path> kapsayıcının veya kapsayıcı klasörünün URI'siyle değiştirin.

Örneğin: hdfs dfs -ls abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name

Dizin oluşturma

hdfs dfs -mkdir [-p] <path>

Yer tutucuyu <path> kök kapsayıcı adıyla veya kapsayıcınızdaki bir klasörle değiştirin.

Örneğin: hdfs dfs -mkdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/

Dosya veya dizin silme

hdfs dfs -rm <path>

Yer tutucuyu <path> silmek istediğiniz dosya veya klasörün URI'siyle değiştirin.

Örneğin: hdfs dfs -rmdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name/my-file-name

Dosya ve dizinlerin Erişim Denetim Listelerini (ACL' ler) görüntüleme

hdfs dfs -getfacl [-R] <path>

Örnek:

hdfs dfs -getfacl -R /dir

Bkz. getfacl

Dosya ve dizin ACL'lerini ayarlama

hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]

Örnek:

hdfs dfs -setfacl -m user:hadoop:rw- /file

Bkz. setfacl

Dosyaların sahibini değiştirme

hdfs dfs -chown [-R] <new_owner>:<users_group> <URI>

Bkz. chown

Dosyaların grup ilişkilendirmesini değiştirme

hdfs dfs -chgrp [-R] <group> <URI>

Bkz. chgrp

Dosyaların izinlerini değiştirme

hdfs dfs -chmod [-R] <mode> <URI>

Bkz. chmod

Apache Hadoop 2.4.1 Dosya Sistemi Kabuğu Kılavuzu Web Sitesinde komutların tam listesini görüntüleyebilirsiniz.

Sonraki adımlar

  • Last updated on