Создание Azure Synapse Link for Dataverse с помощью Azure Data Lake

Статья
04/20/2024

Вы можете использовать Azure Synapse Link, чтобы подключить свои данные Microsoft Dataverse к Azure Data Lake Storage Gen2 для различных сценариев аналитики. В этой статье показано, как выполнить следующие задачи:

Подключите свои данные Dataverse к вашей учетной записи Azure Data Lake Storage Gen2 с помощью службы Azure Synapse Link.
Управляйте таблицами Dataverse, включенным в Azure Synapse Link.
Следите за своим Azure Synapse Link.
Отмените связь своего Azure Synapse Link.
Свяжите заново ваш Azure Synapse Link.
Просматривайте свои данные в Azure Data Lake и поймите файловую структуру.

Примечание

Azure Synapse Link for Dataverse ранее называлось "Экспорт в озеро данных". Служба была переименована в мае 2021 года и будет продолжать экспортировать данные в Azure Data Lake, а также в Azure Synapse Analytics.

Предварительные условия

Azure Data Lake Storage Gen2: у вас должна быть учетная запись Azure Data Lake Storage Gen2 и доступ с ролью Владелец и Участник данных хранилища BLOB-объектов. В вашей учетной записи хранения должно быть включено Иерархическое пространство имен как для первоначальной настройки, так и для дельта-синхронизации. Разрешить доступ к ключу учетной записи хранения требуется только для первоначальной настройки. Рекомендуется установить для параметра репликации значение геоизбыточного хранилища с доступом на чтение (RA-GRS).

Примечание

Учетная запись хранения необходимо создавать в том же клиенте Microsoft Entra, что и ваш клиент Power Apps.
Учетная запись хранения должна быть создана в том же регионе, что и среда Power Apps, в которой вы планируете использовать эту функцию.
По умолчанию необходимо включить доступ к общедоступной сети для ресурсов Azure как для первоначальной настройки, так и для дельта-синхронизации. Чтобы установить Включено из выбранных виртуальных сетей и IP-адресов для связанной учетной записи хранения, чтобы предоставлять доступ только из выбранных виртуальных сетей и IP-адресов или использовать частные конечные точки, необходимо создать Synapse Link с управляемыми удостоверениями. Использование управляемых удостоверений для Azure с Azure Data Lake Storage
Вы должны иметь доступ роли Читатель к группе ресурсов с учетной записью хранения.
Чтобы связать среду с Azure Data Lake Storage 2-го поколения, у вас должен быть система роль безопасности системного администратора Dataverse.
Только таблицы, для которых включено отслеживание изменений, можно экспортировать.

Подключите Dataverse к Azure Data Lake Storage Gen2

Войдите в Power Apps и выберите предпочитаемую среду.
В левой области навигации выберите Azure Synapse Link. Если этого пункта нет на боковой панели, выберите …Еще, а затем выберите нужный пункт.
Выберите Создать связь с озером данных на панели команд.
Выберите Подписка, Группа ресурсов и Учетная запись хранения. Убедитесь, что учетная запись хранения соответствует требованиям, указанным в разделе Предварительные условия. Выберите Далее.

Примечание

В рамках связывания среды с озером данных вы предоставляете доступ службы Azure Synapse Link к вашей учетной записи хранения. Убедитесь, что вы следовали необходимых условиям создания и настройки учетной записи Azure Data Lake Storage и предоставления вам роли владельца в учетной записи хранения. Кроме того, вы предоставляете службе потоков данных Power Platform доступ к вашей учетной записи хранения. Дополнительные сведения: Самостоятельная подготовка данных с потоками данных.
Добавьте таблицы, которые хотите экспортировать, а затем выберите Сохранить. Только таблицы с включенным отслеживанием изменений можно экспортировать. Дополнительные сведения: Включение отслеживания изменений.

Вы можете выполнить описанные в этой статье шаги, чтобы создать ссылку из одной среды в несколько озер Azure Data Lake в вашей подписке Azure. Аналогично вы можете создать ссылку из нескольких сред в одно и то же Azure Data Lake, все в одном клиенте.

Примечание

Служба Azure Synapse Link for Dataverse легко интегрируется в Power Platform в виде стандартной функции. Оно соответствует стандартам безопасности и управления, установленным для хранения данных и управления в Power Platform. Дополнительная информация: Хранение данных и управление

Данные, экспортируемые службой Azure Synapse Link, шифруются при передаче с использованием протокола безопасности транспортного уровня (TLS) 1.2 или выше и шифруются при хранении в Azure Data Lake Storage Gen2. Кроме того, временные данные в хранилище BLOB-объектов также зашифрованы в неактивном состоянии. Шифрование в Azure Data Lake Storage 2-го поколения помогает защитить ваши данные, внедрить корпоративные политики безопасности и соответствовать нормативным требованиям. Дополнительные сведения: Шифрование данных Azure в неактивном состоянии

Управление данными таблицы в Data Lake

После того, как вы настроили Azure Synapse Link, вы можете управлять экспортируемыми таблицами одним из двух способов:

На портале создателя Power Apps в области Azure Synapse Link выберите Управление таблицами на панели команд, чтобы добавить или удалить одну или несколько связанных таблиц.
На портале создателя Power Apps области Таблицы выберите … рядом с таблицей, затем выберите связанное Data Lake, в которое вы хотите экспортировать данные таблицы.

Следите за своим Azure Synapse Link

После того, как вы настроили Azure Synapse Link, вы можете контролировать Azure Synapse Link на вкладке Таблицы.

Мониторинг Azure Synapse Link

Появится список таблиц, которые являются частью выбранных Azure Synapse Link.
Статус синхронизации проходит на разных этапах. NotStarted указывает, что таблица ожидает синхронизации. После того, как начальная синхронизация таблицы Завершена, начинается этап последующей обработки, на котором добавочные обновления не выполняются. В зависимости от размера ваших данных это может занять несколько часов. По мере начала добавочных обновлений дата последней синхронизации будет регулярно обновляться.
Столбец Подсчет показывает количество записанных строк. Когда для Только добавление задано Нет, это общее количество записей. Когда для Только добавление задано Да, это общее количество изменений.
В столбцах Только добавление и Стратегия секционирования показано использование различных дополнительных конфигураций.

Отмена связи Azure Synapse Link

Выберите желаемый Azure Synapse Link, чтобы разорвать связь.
Выберите Отменить связь озера данных на панели команд.
Чтобы удалить как файловую систему озера данных, выберите Удалить файловую систему озера данных.
Выберите Да и подождите несколько минут, чтобы все было отключено и удалено.

Повторное связывание Azure Synapse Link

Если вы удалили файловую систему при отмене связи, выполните описанные выше действия, чтобы повторно связать то же озеро данных. Если вы не удалили файловую систему при отмене связи, необходимо очистить данные для повторного связывания:

Перейдите к Azure Data Lake.
Удалите контейнер Dataverse.
Перейдите к Power Apps и снова свяжите озеро данных.

Просмотр ваших данных в Azure Data Lake Storage 2-го поколения

Выберите желаемый Azure Synapse Link и выберите Перейти к озеру данных Azure на верхней панели.
Разверните Файловые системы, а затем выберите dataverse-environmentName-organizationUniqueName.

Файл model.json вместе с его именем и версией содержит список таблиц, которые были экспортированы в Data Lake. Файл model.json также содержит начальный статус синхронизации и время завершения синхронизации.

Папка, содержащая файлы моментальных снимков с разделителями-запятыми (формат CSV), отображается для каждой таблицы, экспортируемой в Data Lake. Данные таблицы в озере данных.

Установление связи между рабочей областью Synapse и существующим профилем Azure Synapse Link только с озером данных

В адресной строке веб-браузера добавьте ?athena.updateLake=true к веб-адресу, который заканчивается на exporttodatalake.
Выберите существующий профиль в области Azure Synapse Link, а затем выберите расширенный вариант.
Выберите Связать с рабочей областью Azure Synapse Analytics и подождите несколько минут, чтобы все связалось.

Постоянные обновления снимков

Данные Microsoft Dataverse могут непрерывно изменяться посредством транзакций создания, обновления и удаления. Снимки предоставляют доступную только для чтения копию данных, которая обновляется через регулярные интервалы, в данном случае каждый час. Это гарантирует, что в любой данный момент потребитель данных аналитики может надежно использовать данные в озере.

Постоянные обновления снимков.

Когда таблицы добавляются как часть первоначального экспорта, данные таблицы записываются в файлы table.csv в соответствующих папках в Data Lake. Это интервал T1, в котором файл моментального снимка только для чтения с именем таблица-T1.csv — например, Account-T1.csv или Contacts-T1.csv. — создан. Кроме того, файл model.json обновляется, чтобы указывать на эти файлы снимков. Открыв файл model.json, вы можете просмотреть детали снимка.

Вот пример разделенного файла Account.csv и папки снимков в Data Lake.

Моментальный снимок таблицы организаций.

Изменения в Dataverse непрерывно передаются в соответствующие файлы CSV с помощью механизма струйной подачи. Это интервал T2, где делается еще один снимок. таблица-T2.csv — например, Accounts-T2.csv или Contacts-T2.csv (при условии, что в таблице есть изменения) — и model.json обновляются до новых файлов моментальных снимков. Любой новый человек, который просматривает данные снимка с T2 и далее, направляется на новые файлы снимков. Таким образом, исходный пользователь, просматривающий снимок, может продолжать работать с более старыми файлами снимков T1, в то время как новый просматривающий пользователь может читать последние обновления. Это полезно в сценариях с более длительными процессами в нисходящем направлении.

Примечание

Новый файл моментального снимка создается только при наличии обновления данных. Будут сохранены только последние пять файлов моментальных снимков. Застойные данные будут автоматически удалены из вашей учетной записи Azure Data Lake Storage 2-го поколения.

Вот пример файла model.json, который всегда указывает на файл снимка организации с новейшей отметкой времени.

Пример файла снимка model.json.

Дальнейшие действия

После успешного использования службы Azure Synapse Link for Dataverse, узнайте, как анализировать и использовать свои данные в Центре обнаружения. Чтобы получить доступ к Центр обнаружения, перейдите к Power Apps > Azure Synapse Link. Выберите связанный сервис, затем выберите вкладку Центр обнаружения. Здесь вы можете найти рекомендуемые инструменты и тщательно подобранную документацию, которые помогут вам извлечь максимальную пользу из ваших данных. Центр обнаружения.