Создание учетных данных хранилища для подключения к Cloudflare R2

Внимание

Эта функция предоставляется в режиме общедоступной предварительной версии.

В этой статье описывается, как создать учетные данные хранения в каталоге Unity для подключения к Cloudflare R2. Хранилище объектов Cloudflare R2 не несет платы за исходящий трафик. Репликация или перенос данных, которыми вы предоставляете общий доступ к R2, позволяет предоставлять общий доступ к данным в облаках и регионах без уплаты платы за исходящий трафик.

Примечание.

Каталог Unity поддерживает два варианта облачного хранилища для Контейнеров Azure Databricks: Azure Data Lake Storage 2-го поколения контейнеров и контейнеров Cloudflare R2. Cloudflare R2 предназначен в первую очередь для вариантов использования Delta Sharing, в которых вы хотите избежать исходящего трафика данных поставщика облачных служб. Azure Data Lake Storage 2-го поколения подходит для большинства других вариантов использования. Ознакомьтесь с разделом "Мониторинг и управление исходящими затратами на разностный общий доступ" (для поставщиков) и создание учетных данных хранилища для подключения к Azure Data Lake Storage 2-го поколения.

Чтобы использовать контейнер R2 в качестве расположения хранилища для данных, управляемых каталогом Unity, необходимо создать учетные данные хранения, которые разрешают доступ к контейнеру R2 и создать внешнее расположение, которое ссылается на учетные данные хранения и путь к контейнеру:

• Учетные данные хранилища заключают в себе долгосрочные облачные учетные данные, которые обеспечивают доступ к облачному хранилищу.
• Внешние расположения содержат ссылку на учетные данные хранилища и путь к облачному хранилищу.

В этой статье рассматривается создание учетных данных хранилища.

Дополнительные сведения см. в разделе Подключение в облачное хранилище объектов с помощью каталога Unity.

Требования

• Рабочая область Databricks включена для каталога Unity.

• Databricks Runtime 14.3 или более поздней версии или хранилище SQL 2024.15 или более поздней версии.

  Если вы столкнулись с сообщением No FileSystem for scheme "r2”об ошибке, вычисление, вероятно, находится в неподдерживаемой версии.

• Учетная запись Cloudflare. См. раздел https://dash.cloudflare.com/sign-up.

• Роль cloudflare R2 Администратор. См. документацию по ролям Cloudflare.

• CREATE STORAGE CREDENTIAL привилегии в хранилище метаданных каталога Unity, подключенном к рабочей области. Администраторы учетных записей и администраторы хранилища метаданных имеют эту привилегию по умолчанию.

Настройка контейнера R2

1. Создайте контейнер Cloudflare R2.

   Панель мониторинга Cloudflare или средство Cloudflare Wrangler можно использовать.

   См. документацию по Cloudflare R2 "Начало работы" или документацию по Wrangler.

2. Создайте маркер API R2 и примените его к контейнеру.

   См. документацию по проверке подлинности API Cloudflare R2.

   Задайте следующие свойства токена:

   • Разрешения: чтение объектов и запись.

     Это разрешение предоставляет доступ для чтения и записи, который требуется при использовании хранилища R2 в качестве целевого объекта реплика tion, как описано в разделе Use Cloudflare R2 реплика s или миграции хранилища в R2.

     Если вы хотите применить доступ только для чтения из Azure Databricks в контейнер R2, можно создать маркер, предоставляющий доступ только для чтения. Однако это может быть ненужным, так как учетные данные хранения можно пометить как доступные только для чтения, и любой доступ на запись, предоставленный этим разрешением, будет игнорироваться.

   • (Необязательно) TTL: длительность времени, в течение которого требуется предоставить общий доступ к данным контейнера получателям данных.

   • (Необязательно) Фильтрация IP-адресов клиента. Выберите, нужно ли ограничить доступ к указанным IP-адресам получателя. Если этот параметр включен, необходимо указать IP-адреса получателей и разрешить список IP-адресов уровня управления Databricks для региона рабочей области.

   См . адреса плоскости управления Azure Databricks.

3. Скопируйте значения токена API R2:

   • Идентификатор ключа доступа
   • Секретный ключ доступа

   Внимание

   Значения маркера отображаются только один раз.

4. На домашней странице R2 перейдите к сведениям об учетной записи и скопируйте идентификатор учетной записи R2.

Создание учетных данных хранилища

1. В Azure Databricks войдите в рабочую область.

2. Щелкните каталог.

3. Нажмите кнопку +Добавить и выберите "Добавить учетные данные хранилища" в меню.

   Этот параметр не отображается, если у вас нет привилегий CREATE STORAGE CREDENTIAL .

4. Выберите тип учетных данных маркера API Cloudflare.

5. Введите имя учетных данных и следующие значения, скопированные при настройке контейнера R2:

   • идентификатор учетной записи;
   • Идентификатор ключа доступа
   • Секретный ключ доступа

6. (Необязательно) Если вы хотите, чтобы пользователи имели доступ только для чтения к внешним расположениям, которые используют эти учетные данные хранения, в дополнительных параметрах выберите только чтение.

   Не выбирайте этот параметр, если вы хотите использовать учетные данные хранения для доступа к хранилищу R2, которое вы используете в качестве целевого объекта реплика tion, как описано в статье Use Cloudflare R2 реплика или перенести хранилище в R2.

   Дополнительные сведения см. в разделе "Пометить учетные данные хранилища как доступные только для чтения".

7. Нажмите кнопку Создать.

8. В диалоговом окне создания учетных данных служба хранилища скопируйте внешний идентификатор.

Следующий шаг. Создание внешнего расположения

См. статью "Создание внешнего расположения для подключения облачного хранилища к Azure Databricks".