Что такое DBFS?

Термин DBFS используется для описания двух частей платформы:

• корня DBFS.
• Подключения DBFS

Хранение и доступ к данным с помощью корневых подключений DBFS или DBFS является устаревшим шаблоном, а не рекомендуется Databricks.

Что такое файловая система Databricks?

Термин DBFS поступает из файловой системы Databricks, которая описывает распределенную файловую систему, используемую Azure Databricks для взаимодействия с облачным хранилищем.

Базовая технология, связанная с DBFS, по-прежнему является частью платформы Azure Databricks. Например, dbfs:/ это необязательная схема при взаимодействии с томами каталога Unity.

Последние и текущие предупреждения и предостережения о DBFS применяются только к корневому или DBFS подключениям DBFS.

Как DBFS работает с Unity Catalog?

Databricks рекомендует использовать каталог Unity для управления доступом ко всем данным.

Каталог Unity добавляет основные понятия внешних расположений, учетных данных хранения и томов, которые помогают организациям предоставлять минимальные привилегии доступа к данным в облачном хранилище объектов.

Некоторые конфигурации безопасности предоставляют прямой доступ к ресурсам, управляемым каталогом Unity, и DBFS, в основном для организаций, которые завершены миграции или частично перенесены в каталог Unity. Ознакомьтесь с рекомендациями по каталогу DBFS и Unity.

Что такое корневой каталог DBFS?

Корневой каталог DBFS — это расположение хранилища, подготовленное в рамках создания рабочей области в облачной учетной записи, содержащей рабочую область Azure Databricks. Дополнительные сведения о настройке и развертывании корневого каталога DBFS см. в кратком руководстве по Azure Databricks.

Databricks не рекомендует хранить рабочие данные, библиотеки или сципты в корневом каталоге DBFS. Рекомендации по работе с корнем DBFS.

Сведения о настройке ключей, управляемых клиентом, для учетной записи хранения, включающей корневой каталог DBFS, см. в разделе "Управляемые клиентом ключи" для корневого каталога DBFS.

Чтобы ограничить сетевой доступ к учетной записи хранения, включающей корневой каталог DBFS, см. раздел "Включить поддержку брандмауэра для учетной записи хранения рабочей области".

Подключение хранилища объектов

Примечание.

Подключения DBFS устарели. Databricks рекомендует использовать тома каталога Unity. См. раздел "Что такое тома каталога Unity?".

Подключение хранилища объектов к DBFS позволяет получать доступ к объектам в хранилище объектов, как если бы они находились в локальной файловой системе. Подключает конфигурации Hadoop, необходимые для доступа к хранилищу. Дополнительные сведения см. в статье Подключение облачного хранилища объектов в Azure Databricks.