Поделиться через

Рекомендации по работе с корнем DBFS

  • Статья

Azure Databricks использует корневой каталог DBFS в качестве расположения по умолчанию для некоторых действий рабочей области. Databricks не рекомендует хранить в корневом каталоге DBFS какие-либо рабочие данные или конфиденциальную информацию. В этой статье рассматриваются рекомендации по предотвращению случайного раскрытия конфиденциальных данных в корневом каталоге DBFS.

Примечание.

Azure Databricks настраивает отдельное частное хранилище для хранения данных и конфигураций в принадлежащем клиенту облачном хранилище, которое называется внутренней файловой системой DBFS. Это расположение не предоставляется пользователям.

Внимание

Начиная с 6 марта 2023 г. новые рабочие области Azure Databricks используют Azure Data Lake Storage 2-го поколения учетные записи хранения для корневого каталога DBFS. Ранее подготовленные рабочие области используют хранилище BLOB-объектов.

Проинструктируйте пользователей не хранить данные в корневом каталоге DBFS

Так как корневой каталог DBFS доступен всем пользователям в рабочей области, все пользователи могут получить доступ к любым данным, хранящимся здесь. Важно указать пользователям избегать использования этого расположения для хранения конфиденциальных данных. Расположение по умолчанию для управляемых таблиц в хранилище метаданных Hive в Azure Databricks является корневым каталогом DBFS; чтобы запретить конечным пользователям, создающим управляемые таблицы, записывать данные в корневой каталог DBFS, объявите расположение во внешнем хранилище при создании баз данных в хранилище метаданных Hive.

Управляемые таблицы каталога Unity по умолчанию используют безопасное расположение хранилища. Databricks рекомендует использовать каталог Unity для управляемых таблиц.

Использование ведения журнала аудита для мониторинга действий

Примечание.

Дополнительные сведения о событиях аудита DBFS см. в разделе "События DBFS".

Шифрование корневых данных DBFS с помощью ключа, управляемого клиентом

Вы можете шифровать данные в корне DBFS с помощью ключа, управляемого клиентом. См. ключи, управляемые клиентом, для корневого каталога DBFS

Внимание

Не отключайте Storage account key access учетную запись хранения, резервную копию корневого каталога DBFS. Отключение этого параметра приводит к непредвиденным поведению и ошибкам.