Поделиться через

Управляемые и внешние тома

  • Статья

В этой статье рассматриваются различия между управляемыми томами и внешними томами и причинами, по которым можно использовать внешние тома. Databricks рекомендует управляемые тома в качестве простого решения для хранения и управления доступом к не табличным данным.

Дополнительные сведения об использовании каталога Unity для настройки доступа к облачному хранилищу объектов см. в статье "Подключение к облачному хранилищу объектов" с помощью каталога Unity.

Различия между управляемыми и внешними томами

Управляемые и внешние тома обеспечивают практически идентичные возможности при использовании средств Azure Databricks, интерфейсов UIs и API. Ниже приведены различия между этими типами томов.

Управляемые тома обеспечивают полностью управляемое хранилище. Это означает следующее:

  • Все взаимодействия с файлами в управляемых томах должны проходить через каталог Unity.
  • Именование каталогов и макет данных управляются каталогом Unity. Имена каталогов включают хэши, чтобы избежать конфликтов в базовых учетных записях хранения объектов облака.
  • При удалении управляемого тома Azure Databricks удаляет базовые данные в течение 30 дней.

Внешние тома позволяют управлять данными в облачное хранилище объектов. Это означает следующее:

  • Облачные URI можно использовать в Azure Databricks или внешних системах для взаимодействия с файлами во внешних томах.
  • Все каталоги, созданные во внешнем томе или отправленных файлах, относятся к указанному LOCATION при создании.
  • При удалении внешнего тома удалите том из каталога Unity, но базовые данные остаются неизменными во внешнем расположении.

Зачем использовать внешние тома?

Внешние тома позволяют добавлять управление данными каталога Unity в существующие каталоги облачного хранилища объектов. Ниже приведены некоторые варианты использования внешних томов:

  • Добавление управления в файлы данных без миграции.
  • Управление файлами, созданными другими системами, которые должны быть приняты или доступны Azure Databricks.
  • Управление данными, созданными Azure Databricks, которые должны быть доступны непосредственно из облачного хранилища объектов другими системами.

Databricks рекомендует использовать внешние тома для хранения не табличных файлов данных, которые считываются или записываются внешними системами в дополнение к Azure Databricks. Каталог Unity не управляет чтением и записью непосредственно в облачном хранилище объектов из внешних систем, поэтому необходимо настроить дополнительные политики и учетные данные в облачной учетной записи, чтобы обеспечить соблюдение политик управления данными за пределами Azure Databricks.