Поделиться через

Внешние расположения

  • Статья

Область применения:флажок только каталог Unity среды выполненияфлажок Databricks SQL флажок Databricks

Каталог Unity и встроенное хранилище метаданных Azure Databricks Hive используют расположения по умолчанию для управляемых таблиц. Каталог Unity представляет несколько новых защищаемых объектов для предоставления разрешений на доступ к данным в облачном хранилище объектов.

Внешнее расположение

Внешнее расположение — это защищаемый объект, который объединяет путь к хранилищу с учетными данными хранилища для авторизации доступа к этому пути.

Автор внешнего расположения является его первоначальным владельцем. Владелец внешнего расположения может изменить имя, URI и учетные данные хранения внешнего расположения.

После создания внешнего расположения доступ к нему можно предоставить субъектам уровня учетной записи (пользователям и группам).

Пользователь или группа с разрешением на использование внешнего расположения могут обращаться к любому пути в хранилище в пределах пути этого расположения без прямого доступа к учетным данным хранилища.

Для более детального управления доступом можно использовать оператор GRANT для внешних таблиц, чтобы инкапсулировать доступ к отдельным файлам во внешнем расположении.

Имена внешних расположений являются неполными и должны быть уникальными в пределах хранилища метаданных.

Путь к хранилищу любого внешнего расположения не может содержаться в пути к хранилищу другого внешнего расположения или в пути к хранилищу внешней таблицы с помощью явных учетных данных хранения.

Предупреждение

Если схема (база данных) зарегистрирована в хранилище метаданных Hive на уровне рабочей области, удаление схемы с помощью CASCADE параметра приводит к удалению всех файлов в этом расположении схемы рекурсивно независимо от типа таблицы (управляемого или внешнего).

Если схема зарегистрирована в хранилище метаданных каталога Unity, файлы управляемых таблиц каталога Unity удаляются рекурсивно. Однако файлы для внешних таблиц не удаляются. Эти файлы необходимо управлять напрямую с помощью поставщика облачных хранилищ.

Таким образом, чтобы избежать случайной потери данных, никогда не следует регистрировать схему в хранилище метаданных Hive в расположении с существующими данными. Не следует создавать внешние таблицы в расположении, управляемом схемами хранилища метаданных Hive или содержащими управляемые таблицы каталога Unity.

Графическое представление связей

На схеме ниже показана связь между следующими элементами:

  • учетные данные хранилища;
  • внешние расположения;
  • внешних таблиц
  • пути к хранилищу;
  • сущности IAM;
  • учетные записи службы Azure.

Схема внешнего расположения ER

Примеры

-- Grant `finance` user permission to create external location on `my_azure_storage_cred` storage credential, and then create an external location on the specific path to which `my_azure_storage_cred` has access
> GRANT CREATE EXTERNAL LOCATION ON STORAGE CREDENTIAL `my_azure_storage_cred` TO `finance`
> CREATE EXTERNAL LOCATION `finance_loc` URL 'abfss://container@storageaccount.dfs.core.windows.net/depts/finance'
    WITH (CREDENTIAL `my_azure_storage_cred`)
    COMMENT 'finance';

-- Grant read, write, and create table access to the finance location to `finance` user
> GRANT READ FILES, WRITE FILES, CREATE EXTERNAL TABLE ON EXTERNAL LOCATION `finance_loc` TO `finance`;

-- `finance` can read from any storage path under abfss://depts/finance but nowhere else
> SELECT count(1) FROM `delta`.`abfss://container@storageaccount.dfs.core.windows.net/depts/finance` WITH (CREDENTIAL my_azure_storage_cred);
  100
> SELECT count(1) FROM `delta`.`abfss://container@storageaccount.dfs.core.windows.net/depts/hr/employees` WITH (CREDENTIAL my_azure_storage_cred);
  Error

-- `finance` can create an external table over specific object within the `finance_loc` location
> CREATE TABLE main.default.sec_filings LOCATION 'abfss://container@storageaccount.dfs.core.windows.net/depts/finance/sec_filings';

-- Cannot list files under an external table with a user that doesn't have SELECT permission on it
> LIST 'abfss://container@storageaccount.dfs.core.windows.net/depts/finance/sec_filings'
  Error
> LIST 'abfss://container@storageaccount.dfs.core.windows.net/depts/finance/sec_filings/_delta_log'
  Error