Поделиться через

Совместное использование данных и их получение из Хранилища BLOB-объектов Azure и Azure Data Lake Storage

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: Хранилище BLOB-объектов Azure Azure Data Lake Storage 1-го поколения Azure Data Lake Storage 2-го поколения

Azure Data Share позволяет безопасно предоставлять общий доступ к моментальным снимкам данных из ресурсов хранилища Azure в другие подписки Azure. Включение подписок Azure за пределами клиента.

В этой статье описывается общий доступ к данным из Хранилище BLOB-объектов Azure, Data Lake Storage 1-го поколения Azure и Azure Data Lake Storage 2-го поколения.

В этой статье вы узнаете:

Вы можете использовать оглавление, чтобы перейти к нужному разделу или продолжить работу с этой статьей, чтобы выполнить процесс с начала до конца.

Что поддерживается

Azure Data Share поддерживает общий доступ к данным из Azure Data Lake 1-го поколения, Azure Data Lake 2-го поколения и хранилища Azure.

Тип ресурса Общий ресурс
Azure Data Lake 1-го поколения и 2-го поколения Файлы
Папки
Файловые системы
Хранилище Azure BLOB-объекты *
Папки
Контейнеры

Примечание.

*Поддерживаются все блоки, добавления и страничные BLOB-объекты. Тем не менее, когда они совместно используются, они будут получены в виде блочных BLOB-объектов.

Совместно используемые данные из этих источников могут получать Azure Data Lake 2-го поколения или Хранилище BLOB-объектов Azure.

Поведение общего доступа

Для файловых систем, контейнеров или папок можно сделать полные или добавочные моментальные снимки данных.

Полный моментальный снимок копирует все указанные файлы и папки на каждом моментальном снимке .

Добавочный моментальный снимок копирует только новые или обновленные файлы на основе последнего измененного времени файлов.

Во время создания моментального снимка существующие файлы с одинаковыми именами перезаписываются. Файл, который удаляется из источника, в целевом объекте не удаляется. Пустые вложенные папки в источнике в целевой объект не копируются.

Предварительные требования для совместного использования данных

  • Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.
  • Учетная запись Azure Data Share.
  • Адрес электронной почты для входа получателя данных в Azure (с использованием псевдонима электронной почты не будет работать).
  • Если ресурс SQL Azure находится в другой подписке Azure, отличной от учетной записи Azure Data Share, зарегистрируйте поставщика ресурсов Microsoft.DataShare в подписке, где находится исходный ресурс SQL Azure.

Предварительные требования к исходной учетной записи хранения

  • Учетная запись хранения Azure. Создайте учетную запись, если у вас ее еще нет.
  • Разрешение на запись в учетной записи хранения. Разрешение на запись находится по адресу Microsoft.Storage/storageAccounts/write. Оно является частью роли участника.
  • Разрешение на добавление назначения роли учетной записи хранения. Это разрешение находится по адресу Microsoft.Authorization/role assignments/write. Оно является частью роли владельца.

Создание общей папки

  1. Войдите на портал Azure.

  2. Перейдите на страницу Обзор Data Share.

    Снимок экрана: обзор общего ресурса данных.

  3. Выберите команду Начать совместное использование данных.

  4. Нажмите кнопку создания.

  5. Укажите сведения о совместном использовании. Укажите имя, тип совместного использования, описание содержимого и условия использования (необязательно).

    Снимок экрана: страница создания общей папки в Azure Data Share, показывающая имя общего ресурса, тип, описание и условия использования, заполненные.

  6. Выберите Продолжить.

  7. Чтобы добавить наборы данных в общую папку, выберите Добавить наборы данных.

    Снимок экрана: страница

  8. Выберите тип набора данных для добавления. Список типов наборов данных зависит от того, выбрано ли на предыдущем шаге совместное использование на основе моментальных снимков или совместное использование на месте.

    Снимок экрана: доступные типы наборов данных.

  9. Перейдите к объекту для совместного использования. Затем выберите Добавить наборы данных.

    Снимок экрана: страница выбора наборов данных, на которой показана выбранная папка.

  10. На вкладке Получатели введите адрес электронной почты получателя данных, выбрав команду Добавить получателя.

    Снимок экрана: страница получателей с добавленным получателем.

  11. Выберите Продолжить.

  12. Если выбран тип совместного использования на основе моментальных снимков, можно настроить расписание моментальных снимков, чтобы обновлять данные для потребителя данных.

    Снимок экрана: страница параметров с включенным переключателем моментального снимка.

  13. Выберите время начала и интервал повторения.

  14. Выберите Продолжить.

  15. На вкладке Просмотр и создание просмотрите содержимое пакета, параметры, получателей и параметры синхронизации. Затем выберите Создать.

Вы создали общий ресурс данных Azure. Получатель вашего общего ресурса данных может принять ваше приглашение.

Предварительные требования для получения данных

Прежде чем принять приглашение на совместное использование данных, убедитесь, что у вас есть следующие необходимые компоненты.

  • Подписка Azure. Если у вас нет подписки, создайте бесплатную учетную запись.
  • Приглашение из Azure. Тема сообщения электронной почты должна выглядеть следующим образом: "Приглашение в Azure Data Share от <yourdataprovider@domain.com>".
  • Зарегистрированный поставщик ресурсов Microsoft.DataShare в:
    • подписке Azure, в которой будет создан ресурс Data Share;
    • подписке Azure, в которой находятся целевые хранилища данных Azure.

Предварительные требования к целевой учетной записи хранения

  • Учетная запись хранения Azure. Создайте учетную запись, если у вас ее еще нет.
  • Разрешение на запись в учетной записи хранения. Это разрешение находится по адресу Microsoft.Storage/storageAccounts/write. Оно является частью роли участника.
  • Разрешение на добавление назначения роли учетной записи хранения. Это назначение находится по адресу Microsoft.Authorization/role assignments/write. Оно является частью роли владельца.

Получение общих данных

Открытие приглашения

Вы можете открыть приглашение из электронной почты или непосредственно из портал Azure.

  1. Чтобы открыть приглашение из электронной почты, проверьте папку "Входящие" на наличие приглашения от поставщика данных. Приглашение от Microsoft Azure имеет заголовок "Приглашение Azure Data Share от <yourdataprovider@domain.com>". Выберите Просмотреть приглашение, чтобы увидеть ваше приглашение в Azure.

    Чтобы открыть приглашение непосредственно из портала Azure, найдите параметр Приглашения Data Share. Появится список приглашений Data Share.

    Если вы являетесь гостевым пользователем клиента, вам будет предложено проверить свой адрес электронной почты для клиента, прежде чем просматривать приглашение к общей папке данных в первый раз. После проверки он действителен в течение 12 месяцев.

    Снимок экрана: страница приглашений с ожидающей приглашением.

  2. Выберите общую папку, данные которой необходимо просмотреть.

Принятие приглашения

  1. Просмотрите все поля, включая поле Условия использования. Если вы согласны с данными условиями, щелкните флажок.

    Снимок экрана: страница принятия приглашения с выделенными условиями использования и выбранным соглашением.

  2. В разделе Целевая учетная запись Data Share выберите подписку и группу ресурсов, куда будете развертывать общий ресурс данных. Затем заполните следующие поля:

    • В поле учетной записи Data Share выберите Создать, если у вас нет учетной записи Data Share. В противном случае выберите учетную запись Data Share, где бы вы хотели принимать данные.

    • В поле Имя полученного общего ресурса можно оставить значение по умолчанию, заданное поставщиком данных, или указать для полученного общего ресурса новое имя.

  3. Выберите Принять и настроить. Подписка на общий ресурс создана.

    Снимок экрана: страница принятия, показывающая сведения о целевой учетной записи общего доступа к данным.

    Полученный общий ресурс отображается в учетной записи Data Share.

    Если вы не хотите принимать приглашение, выберите Отклонить.

Настройка полученного общего ресурса

  1. На вкладке Наборы данных установите флажок рядом с набором данным, куда необходимо присвоить назначение. Нажмите Сопоставить с целевым объектом, чтобы выбрать целевое хранилище данных.

    Снимок экрана: страница полученных общих папок с выделенной кнопкой сопоставления с целевой кнопкой.

  2. Выберите целевое хранилище данных. Файлы в целевом хранилище данных, имеющие тот же путь и имя, что и файлы в полученных данных, будут перезаписаны.

    Снимок экрана: наборы данных карты с целевым окном с указанным именем файловой системы.

  3. Для совместного использования на основе моментальных снимков расписание можно также включить на вкладке Расписание моментальных снимков при условии, что поставщик данных использует такое расписание для регулярного обновления данных. Установите флажок рядом с расписанием моментальных снимков. Нажмите кнопку Включить. Первый запланированный моментальный снимок начнется в течение одной минуты времени расписания, а последующие моментальные снимки будут начинаться в течение нескольких секунд запланированного времени.

    Снимок экрана: вкладка расписания моментальных снимков с выбранной кнопкой включения.

Активация создания моментальных снимков

Действия, описанные в этом разделе, применимы только к совместному использованию на основе моментальных снимков.

  1. Моментальный снимок можно активировать на вкладке Сведения. На вкладке выберите Активировать моментальный снимок. Можно активировать полный моментальный снимок или добавочный моментальный снимок данных. Если вы осуществляете прием данных от поставщика в первый раз, выберите Полное копирование. При выполнении моментального снимка последующие моментальные снимки не будут запускаться до завершения предыдущей.

    Снимок экрана: страница полученных общих папок с выбранным раскрывающимся списком моментальных снимков триггера и выделенным параметром полного копирования.

  2. Если состояние последнего запуска является успешным, перейдите к целевому хранилищу данных для просмотра полученных данных. Выберите Наборы данных, а затем перейдите по ссылке целевого пути.

    Снимок экрана: вкладка наборов данных с выбранным успешным набором данных.

Просмотр журнала

Журнал моментальных снимков можно просмотреть только при совместном использовании на основе моментальных снимков. Чтобы просмотреть журнал, откройте вкладку Журнал. Здесь отображается журнал всех моментальных снимков, созданных за последние 30 дней.

Производительность моментальных снимков хранилища

Производительность моментальных снимков хранилища влияет на многие факторы в дополнение к количеству файлов и размеру общих данных. Всегда рекомендуется проводить собственное тестирование производительности. Ниже приведены некоторые примеры факторов, влияющих на производительность.

  • Одновременный доступ к исходному и целевому хранилищам данных.
  • Расположение исходного и целевого хранилищ данных.
  • Для добавочного моментального снимка количество файлов в общем наборе данных может повлиять на время поиска списка файлов с последним измененным временем после последнего успешного моментального снимка.

Следующие шаги

Вы научились совместно использовать и принимать данные из учетной записи хранения с помощью службы Azure Data Share. Дополнительные сведения о совместном использовании из других источников данных см. в поддерживаемых хранилищах данных.