مشاركة عبر


استخدام HDFS CLI مع Data Lake Storage

يمكنك الوصول إلى البيانات الموجودة في حساب التخزين الخاص بك وإدارتها باستخدام واجهة سطر الأوامر على غرار نظام الملفات الموزعة الخاص بـ Hadoop‏(HDFS). توفر هذه المقالة بعض الأمثلة التي ستساعدك على البدء.

يوفر HDInsight الوصول إلى الحاوية الموزعة المرتبطة محلياً بعُقد الحساب. يمكنك الوصول إلى هذه الحاوية باستخدام shell الذي يتفاعل مباشرة مع HDFS وأنظمة الملفات الأخرى التي يدعمها Hadoop.

لمزيد من المعلومات حول واجهة مستوى استدعاء HDFS، راجع الوثائق الرسميةودليل أذونات HDFS

إشعار

إذا كنت تستخدم Azure Databricks بدلا من HDInsight، وتريد التفاعل مع بياناتك باستخدام واجهة سطر أوامر، فيمكنك استخدام Databricks CLI للتفاعل مع نظام ملفات Databricks. راجع Databricks CLI.

استخدام HDFS CLI مع نظام مجموعة HDInsight Hadoop على Linux

أولاً، إنشاءإمكانية الوصول عن بعد إلى الخدمات. إذا اخترت SSH، فستبدو عينة تعليمة PowerShell البرمجية كما يلي:

#Connect to the cluster via SSH.
ssh sshuser@clustername-ssh.azurehdinsight.net
#Execute basic HDFS commands. Display the hierarchy.
hdfs dfs -ls /
#Create a sample directory.
hdfs dfs -mkdir /samplefolder

يمكن العثور على سلسلة الاتصال في قسم "SSH + تسجيل الدخول إلى نظام المجموعة" في شفرة نظام مجموعة HDInsight في مدخل Microsoft Azure. تم تحديد بيانات اعتماد SSH في وقت إنشاء نظام المجموعة.

هام

تبدأ فوترة نظام مجموعة HDInsight بمجرد إنشاء نظام مجموعة، وتتوقف عند حذفه. يتم احتساب الفوترة بالتناسب لكل دقيقة؛ لذلك يجب عليك دائمًا حذف مجموعتك عندما لا تكون قيد الاستخدام. لمعرفة كيفية حذف نظام مجموعة، راجع مقالتنا حول الموضوع. ومع ذلك، تستمر البيانات المخزنة في حساب تخزين مع تمكين Data Lake Storage حتى بعد حذف مجموعة HDInsight.

إنشاء حاوية

hdfs dfs -D "fs.azure.createRemoteFileSystemDuringInitialization=true" -ls abfs://<container-name>@<storage-account-name>.dfs.core.windows.net/

  • استبدال <container-name> العنصر النائب بالاسم الذي تود إطلاقه على الحاوية.

  • استبدال <storage-account-name> العنصر النائب باسم حساب التخزين.

الحصول على قائمة بالملفات أو الدلائل

hdfs dfs -ls <path>

استبدال <path> العنصر النائب بعنوان URI الخاص بالحاوية أو مجلد الحاوية.

على سبيل المثال: hdfs dfs -ls abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name

إنشاء دليل

hdfs dfs -mkdir [-p] <path>

استبدال <path> العنصر النائب باسم حاوية الجذر أو مجلد داخل الحاوية.

على سبيل المثال: hdfs dfs -mkdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/

حذف ملف أو دليل

hdfs dfs -rm <path>

استبدال <path>العنصر النائب بعنوان URI للملف أو المجلد الذي تريد حذفه.

على سبيل المثال: hdfs dfs -rmdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name/my-file-name

عرض قوائم التحكم بالوصول (ACLs) للملفات والدلائل

hdfs dfs -getfacl [-R] <path>

مثال:

hdfs dfs -getfacl -R /dir

راجع getfacl

تعيين قوائم التحكم بالوصول (ACLs) للملفات والدلائل

hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]

مثال:

hdfs dfs -setfacl -m user:hadoop:rw- /file

راجع setfacl

تغيير مالك الملفات

hdfs dfs -chown [-R] <new_owner>:<users_group> <URI>

راجع chown

تغيير اقتران مجموعة الملفات

hdfs dfs -chgrp [-R] <group> <URI>

راجع chgrp

تغيير أذونات الملفات

hdfs dfs -chmod [-R] <mode> <URI>

راجع chmod

يمكنك عرض القائمة الكاملة للأوامر على موقع Apache Hadoop 2.4.1 File System Shell Guide.

الخطوات التالية