Указание расположения управляемого хранилища в каталоге Unity
Расположение управляемого хранилища указывает расположение в облачном хранилище объектов для хранения данных для управляемых таблиц и управляемых томов.
Можно связать управляемое хранилище с хранилищем метаданных, каталогом или схемой. Управляемые расположения хранилища на более низких уровнях иерархии переопределяют расположения хранилища, определенные на более высоких уровнях при создании управляемых таблиц или управляемых томов.
Когда администратор учетной записи создает хранилище метаданных, он может связать расположение хранилища в контейнере Azure Data Lake Storage 2-го поколения или контейнере Cloudflare R2 в учетной записи поставщика облачных служб для использования в качестве управляемого расположения хранилища. Управляемые расположения хранилища на уровне каталога и схемы являются необязательными, но Databricks рекомендует назначать управляемые расположения хранилища на уровне каталога для изоляции логических данных. См . стандартные блоки управления данными и изоляции данных.
Внимание
Если рабочая область была включена для каталога Unity автоматически, хранилище метаданных каталога Unity было создано без управляемого хранилища на уровне метаданных. Необходимо назначить управляемое расположение хранилища на уровне каталога или схемы. См . статью "Автоматическое включение каталога Unity" и "Управление данными" и стандартные блоки изоляции данных.
Что такое управляемое расположение хранилища?
Управляемые расположения хранилища имеют следующие свойства:
- Управляемые таблицы и управляемые тома хранят файлы данных и метаданных в управляемых расположениях хранилища.
- Управляемые расположения хранилища не могут перекрываться с внешними таблицами или внешними томами.
В следующей таблице описывается объявление и связь управляемого расположения хранилища с объектами каталога Unity:
| Связанный объект каталога Unity | Метод настройки | Отношение к внешним расположениям |
|---|---|---|
| Хранилище мета-данных | Настраивается администратором учетной записи во время создания хранилища метаданных. | Не удается перекрывать внешнее расположение. |
| Каталог | Указан во время создания каталога с помощью MANAGED LOCATION ключевое слово. |
Должен содержаться в внешнем расположении. |
| Схема | Указан во время создания схемы с помощью MANAGED LOCATION ключевое слово. |
Должен содержаться в внешнем расположении. |
Расположение управляемого хранилища, которое хранит данные и метаданные для управляемых таблиц и управляемых томов, использует следующие правила:
- Если содержащая схема имеет управляемое расположение, данные хранятся в управляемом расположении схемы.
- Если содержащая схема не имеет управляемого расположения, но каталог имеет управляемое расположение, данные хранятся в управляемом расположении каталога.
- Если ни содержащая схема, ни содержащий каталог не имеют управляемого расположения, данные хранятся в управляемом расположении хранилища метаданных.
Каталог Unity предотвращает перекрытие управления расположениями. Узнайте, как путь работает для данных, управляемых каталогом Unity?.
Расположение управляемого хранилища, корневой каталог хранилища и расположение хранилища
При указании MANAGED LOCATION каталога или схемы указанное расположение отслеживается как корневой служба хранилища в каталоге Unity. Чтобы все управляемые сущности имели уникальное расположение, каталог Unity добавляет хэшированные подкаталоги в указанное расположение, используя следующий формат:
| Object | Путь |
|---|---|
| Схема | <storage-root>/__unitystorage/schemas/00000000-0000-0000-0000-000000000000 |
| Каталог | <storage-root>/__unitystorage/catalogs/00000000-0000-0000-0000-000000000000 |
Полный путь для управляемого расположения хранилища отслеживается как расположение служба хранилища в каталоге Unity.
Можно указать одно и то же управляемое расположение хранилища для нескольких схем и каталогов.
Необходимые привилегии
Пользователи, имеющие привилегии CREATE MANAGED STORAGE во внешнем расположении, могут настраивать управляемые расположения хранилища во время создания каталога или схемы.
Управляемые расположения хранилища, заданные на уровне хранилища метаданных, должны быть настроены администраторами учетных записей во время создания хранилища метаданных.
Настройка расположения управляемого хранилища для каталога
Задайте управляемое расположение хранилища для каталога с помощью MANAGED LOCATION ключевое слово во время создания каталога, как показано в следующем примере:
CREATE CATALOG <catalog-name>
MANAGED LOCATION 'abfss://<container-name>@<storage-account>.dfs.core.windows.net/<path>/<directory>';
Настройка расположения управляемого хранилища для схемы
Задайте управляемое расположение хранилища для схемы с помощью MANAGED LOCATION ключевое слово во время создания схемы, как показано в следующем примере:
CREATE CATALOG <catalog>.<schema-name>
MANAGED LOCATION 'abfss://<container-name>@<storage-account>.dfs.core.windows.net/<path>/<directory>';
Следующие шаги
Управление расположениями хранилища используется для создания управляемых таблиц и управляемых томов. См. статью "Создание таблиц в каталоге Unity" и "Создание и работа с томами".