Поделиться через

Что такое DBFS?

  • Статья

Термин DBFS используется для описания двух частей платформы:

  • корня DBFS.
  • Подключения DBFS

Хранение и доступ к данным с помощью корневых подключений DBFS или DBFS является устаревшим шаблоном, а не рекомендуется Databricks. Рекомендации по работе с файлами см. в статье "Работа с файлами в Azure Databricks".

Что такое файловая система Databricks?

Термин DBFS поступает из файловой системы Databricks, которая описывает распределенную файловую систему, используемую Azure Databricks для взаимодействия с облачным хранилищем.

Базовая технология, связанная с DBFS, по-прежнему является частью платформы Azure Databricks. Например, dbfs:/ это необязательная схема при взаимодействии с томами каталога Unity.

Последние и текущие предупреждения и предостережения о DBFS применяются только к корневому или DBFS подключениям DBFS.

Как DBFS работает с Unity Catalog?

Databricks рекомендует использовать каталог Unity для управления доступом ко всем данным.

Каталог Unity добавляет понятия внешних расположений, учетных данных хранения и томов, которые помогают организациям предоставлять минимальный привилегированный доступ к данным в облачном хранилище объектов.

Некоторые конфигурации безопасности предоставляют прямой доступ к ресурсам, управляемым каталогом Unity, и DBFS, в основном для организаций, которые завершили миграцию или частично перенесены в каталог Unity. Ознакомьтесь с рекомендациями по каталогу DBFS и Unity.

Что такое корневой каталог DBFS?

Корневой каталог DBFS — это место хранения, подготовленное во время создания рабочей области в облачной учетной записи, содержащей рабочую область Azure Databricks. Дополнительные сведения о настройке и развертывании корневого каталога DBFS см. в кратком руководстве по Azure Databricks.

Databricks не рекомендует хранить рабочие данные, библиотеки или сценарии в корневом каталоге DBFS. Рекомендации по работе с корнем DBFS.

Сведения о настройке ключей, управляемых клиентом, для учетной записи хранения, включающей корневой каталог DBFS, см. в разделе "Управляемые клиентом ключи" для корневого каталога DBFS.

Чтобы ограничить сетевой доступ к учетной записи хранения, включающей корневой каталог DBFS, см. раздел "Включить поддержку брандмауэра для учетной записи хранения рабочей области".

Подключение хранилища объектов

Примечание.

Подключения DBFS устарели. Databricks рекомендует использовать тома каталога Unity. См. раздел "Что такое тома каталога Unity?".

Подключение хранилища объектов к DBFS позволяет получать доступ к объектам в хранилище объектов, как если бы они находились в локальной файловой системе. Подключает конфигурации Hadoop, необходимые для доступа к хранилищу. Дополнительные сведения см. в статье Подключение облачного хранилища объектов в Azure Databricks.