ما هو نظام ملفات Databricks (DBFS)؟

  • مقالة

نظام ملفات Databricks (DBFS) هو نظام ملفات موزع مثبت في مساحة عمل Azure Databricks ومتاح على مجموعات Azure Databricks. DBFS هو تجريد فوق تخزين كائن قابل للتطوير يقوم بتعيين استدعاءات نظام الملفات الشبيهة ب Unix لاستدعاءات واجهة برمجة تطبيقات التخزين السحابي الأصلية.

إشعار

يتم نشر مساحات عمل Azure Databricks مع وحدة تخزين جذر DBFS، يمكن الوصول إليها لجميع المستخدمين بشكل افتراضي. توصي Databricks بعدم تخزين بيانات الإنتاج في هذا الموقع.

ماذا يمكنك أن تفعل مع DBFS؟

يوفر DBFS الراحة من خلال تعيين معرفات URI لتخزين الكائنات السحابية إلى مسارات نسبية.

  • يسمح لك بالتفاعل مع تخزين الكائنات باستخدام دلالات الدليل والملفات بدلا من أوامر واجهة برمجة التطبيقات الخاصة بالسحابة.
  • يسمح لك بتحميل مواقع تخزين الكائنات السحابية بحيث يمكنك تعيين بيانات اعتماد التخزين إلى مسارات في مساحة عمل Azure Databricks.
  • يبسط عملية استمرار الملفات إلى تخزين الكائن، مما يسمح للأجهزة الظاهرية وتخزين وحدة التخزين المرفقة بحذفها بأمان عند إنهاء نظام المجموعة.
  • يوفر موقعا مناسبا لتخزين البرامج النصية للتهيئة وJARs والمكتبات والتكوينات لتهيئة نظام المجموعة.
  • يوفر موقعا مناسبا لملفات نقاط التحقق التي تم إنشاؤها أثناء تدريب النموذج باستخدام مكتبات التعلم العميق OSS.

إشعار

DBFS هو تنفيذ Azure Databricks ل FUSE. راجع العمل مع الملفات على Azure Databricks.

التفاعل مع الملفات في تخزين الكائنات المستندة إلى السحابة

يوفر DBFS العديد من الخيارات للتفاعل مع الملفات في تخزين الكائنات السحابية:

تحميل تخزين الكائن

يسمح لك تحميل تخزين الكائنات إلى DBFS بالوصول إلى الكائنات في تخزين الكائن كما لو كانت على نظام الملفات المحلي. يخزن Mounts تكوينات Hadoop الضرورية للوصول إلى التخزين، لذلك لا تحتاج إلى تحديد هذه الإعدادات في التعليمات البرمجية أو أثناء تكوين نظام المجموعة.

لمزيد من المعلومات، راجع تحميل تخزين كائن السحابة على Azure Databricks.

ما هو جذر DBFS؟

جذر DBFS هو موقع التخزين الافتراضي لمساحة عمل Azure Databricks، التي تم توفيرها كجزء من إنشاء مساحة العمل في حساب السحابة الذي يحتوي على مساحة عمل Azure Databricks. للحصول على تفاصيل حول تكوين جذر DBFS ونشره، راجع التشغيل السريع ل Azure Databricks.

قد يشير بعض مستخدمي Azure Databricks إلى جذر DBFS على أنه "DBFS" أو "DBFS"؛ من المهم التمييز بين أن DBFS هو نظام ملفات يستخدم للتفاعل مع البيانات في تخزين الكائنات السحابية، وجذر DBFS هو موقع تخزين كائن سحابي. يمكنك استخدام DBFS للتفاعل مع جذر DBFS، ولكنها مفاهيم مميزة، وDBFS لديها العديد من التطبيقات خارج جذر DBFS.

يحتوي جذر DBFS على عدد من المواقع الخاصة التي تعمل كإعدادات افتراضية للإجراءات المختلفة التي ينفذها المستخدمون في مساحة العمل. للحصول على التفاصيل، راجع ما هي الدلائل الموجودة في جذر DBFS بشكل افتراضي؟.

كيف يعمل DBFS مع كتالوج Unity؟

يضيف كتالوج Unity مفاهيم المواقع الخارجية وبيانات اعتماد التخزين المدارة لمساعدة المؤسسات على توفير أقل الامتيازات للوصول إلى البيانات في تخزين الكائنات السحابية. يوفر كتالوج Unity أيضا موقع تخزين افتراضي جديد للجداول المدارة. توفر بعض تكوينات الأمان وصولا مباشرا إلى كل من الموارد المدارة بواسطة كتالوج Unity وDBFS. قامت Databricks بتجميع توصيات لاستخدام DBFS وUnity Catalog.