Share via

Создание учетных данных хранилища для подключения к Azure Data Lake Storage 2-го поколения

  • Статья

В этой статье описывается, как создать учетные данные хранения в каталоге Unity для подключения к Azure Data Lake Storage 2-го поколения.

Для управления доступом к базовому облачному хранилищу, в котором хранятся таблицы и тома, каталог Unity использует следующие типы объектов:

  • Учетные данные хранилища заключают в себе долгосрочные облачные учетные данные, которые обеспечивают доступ к облачному хранилищу.
  • Внешние расположения содержат ссылку на учетные данные хранилища и путь к облачному хранилищу.

Дополнительные сведения см. в разделе Подключение в облачное хранилище объектов с помощью каталога Unity.

Каталог Unity поддерживает два варианта облачного хранилища для Контейнеров Azure Databricks: Azure Data Lake Storage 2-го поколения контейнеров и контейнеров Cloudflare R2. Cloudflare R2 предназначен в первую очередь для вариантов использования Delta Sharing, в которых вы хотите избежать исходящего трафика данных. Azure Data Lake Storage 2-го поколения подходит для большинства других вариантов использования. В этой статье рассматривается создание учетных данных хранения для контейнеров Azure Data Lake Storage 2-го поколения. Сведения о Cloudflare R2 см. в статье "Создание учетных данных хранилища для подключения к Cloudflare R2".

Чтобы создать учетные данные хранения для доступа к контейнеру Azure Data Lake Storage 2-го поколения, создайте соединитель доступа Azure Databricks, который ссылается на управляемое удостоверение Azure, назначив его разрешения в контейнере хранилища. Затем вы ссылаетесь на соединитель доступа в определении учетных данных хранилища.

Требования

В Azure Databricks:

  • Рабочая область Azure Databricks включена для каталога Unity.

  • CREATE STORAGE CREDENTIAL привилегии в хранилище метаданных каталога Unity, подключенном к рабочей области. Администраторы учетных записей и администраторы хранилища метаданных имеют эту привилегию по умолчанию.

    Примечание.

    Субъекты-службы должны иметь роль администратора учетной записи, чтобы создать учетные данные хранения, использующие управляемое удостоверение. Вы не можете делегировать CREATE STORAGE CREDENTIAL субъекту-службе. Это относится как к субъектам-службам Azure Databricks, так и к субъектам-службам Microsoft Entra ID (ранее — Azure Active Directory).

В клиенте Azure:

  • Контейнер хранилища Azure Data Lake Storage 2-го поколения в том же регионе, что и рабочая область, из которой вы хотите получить доступ к данным.

    У учетной записи хранения Azure Data Lake Storage 2-го поколения должно быть иерархическое пространство имен.

  • Участник или владелец группы ресурсов Azure.

  • Владелец или пользователь с ролью Администратор istrator Azure RBAC в учетной записи хранения.

Создание учетных данных хранилища с помощью управляемого удостоверения

Вы можете использовать управляемое удостоверение Azure или субъект-службу в качестве удостоверения, которое авторизует доступ к контейнеру хранилища. Настоятельно рекомендуется использовать управляемые удостоверения. Они дают возможность Unity Catalog получать доступ к учетным записям хранения, защищенным сетевыми правилами (что невозможно с помощью субъектов-служб), и устраняет необходимость в администрировании и смене секретов. Если вы хотите использовать субъект-службу, см. статью "Создание управляемого хранилища каталога Unity" с помощью субъекта-службы (устаревшая версия).

  1. В портал Azure создайте соединитель доступа Azure Databricks и назначьте ему разрешения для контейнера хранилища, к которому вы хотите получить доступ, с помощью инструкций в статье "Настройка управляемого удостоверения для каталога Unity".

    Соединитель доступа Azure Databricks — это ресурс Azure от Майкрософт, который позволяет подключать управляемые удостоверения к учетной записи Azure Databricks. Чтобы добавить учетные данные хранения, необходимо иметь роль участника или выше в ресурсе соединителя доступа в Azure.

    Запишите идентификатор ресурса соединителя доступа.

  2. Войдите в рабочую область Azure Databricks с поддержкой каталога Unity в качестве пользователя, имеющего привилегию CREATE STORAGE CREDENTIAL .

    Роли администратора хранилища метаданных и администратора учетной записи включают эту привилегию. Если вы вошли в систему в качестве субъекта-службы (будь то идентификатор Microsoft Entra или собственный субъект-служба Azure Databricks), необходимо иметь роль администратора учетной записи для создания учетных данных хранения, использующих управляемое удостоверение.

  3. Щелкните Значок каталогакаталог.

  4. Нажмите кнопку +Добавить и выберите "Добавить учетные данные хранилища" в меню.

    Этот параметр не отображается, если у вас нет привилегий CREATE STORAGE CREDENTIAL .

  5. Выберите тип учетных данных управляемого удостоверения Azure.

  6. Введите имя учетных данных и введите идентификатор ресурса соединителя доступа в формате:

    /subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>

  7. (Необязательно) Если вы создали соединитель доступа с помощью управляемого удостоверения, назначаемого пользователем, введите идентификатор ресурса управляемого удостоверения в поле идентификатора управляемого удостоверения , назначаемого пользователем, в формате:

    /subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>

  8. (Необязательно) Если у пользователей есть доступ только для чтения к внешним расположениям, которые используют эти учетные данные хранения, выберите только чтение. Дополнительные сведения см. в разделе "Пометить учетные данные хранилища как доступные только для чтения".

  9. Нажмите кнопку Сохранить.

  10. Создайте внешнее расположение, которое ссылается на эти учетные данные хранилища.

Следующие шаги

Вы можете просматривать, обновлять, удалять и предоставлять другим пользователям разрешение на использование учетных данных хранения. См. раздел "Управление учетными данными хранилища".

Можно определить внешние расположения с помощью учетных данных хранилища. См. статью "Создание внешнего расположения для подключения облачного хранилища к Azure Databricks".