Что такое DBFS?

Это важно

И корень DBFS, и монтирования DBFS устарели и их использование не рекомендуется компанией Databricks. Новые учетные записи подготавливаются без доступа к этим функциям. Databricks рекомендует использовать тома каталога Unity, внешние расположения или файлы рабочей области .

Термин DBFS используется для описания двух частей платформы:

• корня DBFS.
• Подключения DBFS

Что такое файловая система Databricks?

Термин DBFS поступает из файловой системы Databricks, которая описывает распределенную файловую систему, используемую Azure Databricks для взаимодействия с облачным хранилищем.

Базовая технология, связанная с DBFS, по-прежнему является частью платформы Azure Databricks. Например, dbfs:/ это необязательная схема при взаимодействии с томами каталога Unity.

Последние и текущие предупреждения и предостережения о DBFS применяются только к корневому или DBFS подключениям DBFS.

Как DBFS работает с Unity Catalog?

Databricks рекомендует использовать каталог Unity для управления доступом ко всем данным.

Каталог Unity добавляет понятия внешних расположений, учетных данных хранения и томов, которые помогают организациям предоставлять минимальный привилегированный доступ к данным в облачном хранилище объектов.

Некоторые конфигурации безопасности предоставляют прямой доступ к ресурсам, управляемым каталогом Unity, и DBFS, в основном для организаций, которые завершили миграцию или частично перенесены в каталог Unity. Ознакомьтесь с рекомендациями по каталогу DBFS и Unity.

Что такое корневой каталог DBFS?

Корневой каталог DBFS — это место хранения, подготовленное во время создания рабочей области в облачной учетной записи, содержащей рабочую область Azure Databricks. Дополнительные сведения о корневой конфигурации и развертывании файловой системы Databricks см. в разделе "Хранилище рабочей области".

Databricks не рекомендует хранить рабочие данные, библиотеки или сценарии в корневом каталоге DBFS. Рекомендации по работе с корнем DBFS.

Сведения о настройке ключей, управляемых клиентом, для учетной записи хранения, включающей корневой каталог DBFS, см. в разделе "Управляемые клиентом ключи" для корневого каталога DBFS.

Чтобы ограничить сетевой доступ к учетной записи хранения, включающей корневой каталог DBFS, см. раздел "Включить поддержку брандмауэра для учетной записи хранения рабочей области".

Подключение хранилища объектов

Примечание.

Подключения DBFS устарели. Databricks рекомендует использовать тома каталога Unity. См. раздел "Что такое тома каталога Unity?".

Подключение хранилища объектов к DBFS позволяет получать доступ к объектам в хранилище объектов, как если бы они находились в локальной файловой системе. Подключает конфигурации Hadoop, необходимые для доступа к хранилищу. Дополнительные сведения см. в статье Подключение облачного хранилища объектов в Azure Databricks.