Создание Azure Synapse Link for Dataverse со своей Azure Synapse Workspace

Статья
10/28/2024

Вы можете использовать Azure Synapse Link, чтобы подключить свои данные Microsoft Dataverse к Azure Synapse Analytics для изучения ваших данных и сокращения времени получения аналитической информации. В этой статье показано, как выполнить следующие задачи:

Подключи свои данные Dataverse к вашей рабочей области Azure Synapse Analytics со службой Azure Synapse Link.
Управляйте таблицами Dataverse, включенным в Azure Synapse Link.
Следите за своим Azure Synapse Link.
Отмените связь своего Azure Synapse Link.
Свяжите заново ваш Azure Synapse Link.
Просмотр ваших данных в Azure Synapse Analytics.

Заметка

Azure Synapse Link for Microsoft Dataverse ранее называлось "Экспорт в Data Lake". Служба была переименована в мае 2021 года и будет продолжать экспортировать данные в Azure Data Lake, а также в Azure Synapse Analytics.

Предварительные условия

Dataverse. У вас должна быть роль безопасности Системный администратор в Dataverse. Кроме того, в таблицах, которые вы хотите экспортировать через Azure Synapse Link, должно быть включено свойство Отслеживать изменения. Больше информации: Дополнительные параметры
Azure Data Lake Storage Gen2: у вас должна быть учетная запись Azure Data Lake Storage Gen2 и доступ с ролью Владелец и Участник данных хранилища BLOB-объектов. В вашей учетной записи хранения должно быть включено Иерархическое пространство имен как для первоначальной настройки, так и для дельта-синхронизации. Разрешить доступ к ключу учетной записи хранения требуется только для первоначальной настройки.
Рабочее пространство Synapse: у вас должно быть рабочее пространство Synapse и роль Администратор Synapse в Synapse Studio. Рабочая область Synapse должна находиться в том же регионе, что и ваша учетная запись Azure Data Lake Storage Gen2. Учетная запись хранения должна быть добавлена в качестве связанной службы в Synapse Studio. Чтобы создать рабочую область Synapse, перейдите в Создание рабочей области Synapse.

Заметка

Учетная запись хранения и рабочая область Synapse должны быть созданы в том же клиенте Microsoft Entra, что и ваш клиент Power Apps.
Чтобы установить параметр Включено из выбранных виртуальных сетей и IP-адресов для связанной учетной записи хранения и рабочей области, необходимо создать Azure Synapse Link с управляемыми удостоверениями. Дополнительная информация: Использование управляемых удостоверений для Azure Data Lake Storage (без настройки управляемых удостоверений необходимо включить доступ к общедоступной сети для ресурсов Azure как для начальной настройки, так и для дельта-синхронизации.)
Рабочие области Synapse с управляемыми частными конечными точками, защитой от кражи данных или управляемыми виртуальными сетями не поддерживаются.
У вас должен быть доступ роли Читатель для группы ресурсов с учетной записью хранения и рабочей областью Synapse.
Когда вы добавляете несколько пользователей в рабочую область Synapse, у них должен быть доступ с ролью Администратор Synapse в Synapse Studio и роль Участник данных хранилища BLOB-объектов в учетной запись Azure Data Lake Storage Gen2.
Создание профилей Synapse Link в одной среде DV ограничено: можно создавать не более 10.

Подключение Dataverse к рабочей области Synapse

Войдите в Power Apps и выберите предпочитаемую среду.
В левой области навигации выберите Azure Synapse Link. Если Azure Synapse Link не отображается на боковой панели, выберите …Еще, а затем Открыть все. Выберите Azure Synapse Link в разделе Управление данными.
На панели команд выберите Создать связь.
Выберите Подключитесь к вашей Azure Synapse Workspace.
Выберите Подписка, Группа ресурсов, Имя рабочей области и Учетная запись хранения. Убедитесь, что рабочая область Synapse и учетная запись хранения соответствуют требованиям, указанным в разделе Предварительные условия. Выберите Далее.

Заметка

В рамках связывания среды с озером данных вы предоставляете доступ службы Azure Synapse Link к вашей учетной записи хранения. Убедитесь, что вы следовали необходимых условиям создания и настройки учетной записи Azure Data Lake Storage и предоставления вам роли владельца в учетной записи хранения. Кроме того, вы предоставляете службе потоков данных Power Platform доступ к вашей учетной записи хранения. Дополнительные сведения: Самостоятельная подготовка данных с потоками данных.
Добавьте таблицы, которые хотите экспортировать, а затем выберите Сохранить. Только таблицы с включенным отслеживанием изменений можно экспортировать. Дополнительные сведения: Включение отслеживания изменений.

Вы можете выполнить шаги, описанные выше, чтобы создать ссылку из одной среды в несколько рабочих областей Azure Synapse Analytics и озер данных Azure Data Lake в подписке Azure, добавив озеро данных Azure Data Lake в качестве связанной службы в рабочей области Synapse. Точно так же вы можете создать ссылку из нескольких сред в одну и ту же рабочую область Azure Synapse Analytics и озеро данных Azure Data Lake, все в одном арендаторе.

Заметка

Служба Azure Synapse Link for Dataverse легко интегрируется в Power Platform в виде стандартной функции. Оно соответствует стандартам безопасности и управления, установленным для хранения данных и управления в Power Platform. Дополнительная информация: Хранение данных и управление

Данные, экспортируемые службой Azure Synapse Link, шифруются при передаче с использованием протокола безопасности транспортного уровня (TLS) 1.2 или выше и шифруются при хранении в Azure Data Lake Storage Gen2. Кроме того, временные данные в хранилище BLOB-объектов также зашифрованы в неактивном состоянии. Шифрование в Azure Data Lake Storage 2-го поколения помогает защитить ваши данные, внедрить корпоративные политики безопасности и соответствовать нормативным требованиям. Дополнительная информация: Шифрование данных Azure в неактивном состоянии Дополнительная информация: Настройка брандмауэров и виртуальных сетей службы хранилища Azure

Управление данными таблицы в рабочей области Synapse

После того, как вы настроили Azure Synapse Link, вы можете управлять экспортируемыми таблицами одним из двух способов:

В области Azure Synapse Link в Power Apps (make.powerapps.com) выберите Управление таблицами на панели команд, чтобы добавить или удалить одну или несколько связанных таблиц.
В области Таблицы портала создателей Power Apps Maker Portal выберите ... рядом с таблицей, затем выберите связанное озеро данных, в которое требуется экспортировать данные таблицы.

Следите за своим Azure Synapse Link

После того, как вы настроили Azure Synapse Link, вы можете контролировать Azure Synapse Link на вкладке Таблицы.

Отслеживание Azure Synapse Link

Появится список таблиц, которые являются частью выбранных Azure Synapse Link.
Статус синхронизации проходит на разных этапах. NotStarted указывает, что таблица ожидает синхронизации. После того, как начальная синхронизация таблицы Завершена, начинается этап последующей обработки, на котором добавочные обновления не выполняются. В зависимости от размера ваших данных это может занять несколько часов. По мере начала добавочных обновлений дата последней синхронизации будет регулярно обновляться.
Столбец Подсчет показывает количество записанных строк. Когда для Только добавление задано Нет, это общее количество записей. Когда для Только добавление задано Да, это общее количество изменений.
В столбцах Только добавление и Стратегия секционирования показано использование различных дополнительных конфигураций.

Отмена связи Azure Synapse Link

Выберите желаемый Azure Synapse Link, чтобы разорвать связь.
Выберите Отменить связь на панели команд.
Чтобы удалить как файловую систему озера данных, так и базу данных Synapse, введите имя ссылки для подтверждения.
Выберите Да и подождите несколько минут, чтобы все было отключено и удалено.

Важно

Пользовательские объекты базы данных, созданные клиентом в базе данных Azure Synapse Link, удаляются после завершения отмены связи.

Клиентам необходимо реализовать собственную систему управления версиями пользовательских сценариев объектов базы данных, чтобы обеспечить наличие резервной копии.

Повторное связывание Azure Synapse Link

Если вы удалили файловую систему при отмене связи, выполните описанные выше действия, чтобы повторно связать ту же рабочую область Synapse и озеро данных. Если вы не удалили файловую систему при отмене связи, необходимо очистить данные для повторного связывания:

Перейдите к Azure Synapse Analytics.
Выберите ... для несвязанной базы данных и выберите Создать блокнот>Пустой блокнот.
Присоедините записную книжку к пулу Apache Spark, выбрав пул в раскрывающемся меню. Если у вас нет пула Apache Spark, выберите Управление пулами, чтобы создать его.
Введите следующий скрипт, замените <DATABASE_NAME> именем базы данных, которую нужно отсоединить, и запустите блокнот.

    %%sql
    DROP DATABASE <DATABASE_NAME> CASCADE

После запуска блокнота обновите список баз данных на левой панели. Если база данных все еще существует, попробуйте щелкнуть правой кнопкой мыши базу данных и выбрать Удалить.
Перейдите к Power Apps и повторно свяжите рабочую область Synapse и Data Lake.

Доступ к данным практически в реальном времени и данным моментальных снимков только для чтения

После создания Azure Synapse Link две версии данных таблицы будут синхронизированы в Azure Synapse Analytics и/или Azure Data Lake Storage Gen2 в вашей стандартной подписке Azure, чтобы гарантировать, что вы можете надежно использовать обновленные данные в озере в любой момент времени:

Данные почти в реальном времени: предоставляет копию данных, синхронизированных с Dataverse через Azure Synapse Link, обнаруживая, какие данные изменились с момента их первоначального извлечения или последней синхронизации.
Данные моментального снимка: предоставляет доступную только для чтения копию данных почти в реальном времени, которые обновляются через регулярные промежутки времени (в данном случае каждый час).

Заметка

Для создания доступных только для чтения данных моментального снимка убедитесь, что параметр Разрешенная область для операций копирования установлен в значение Из любой учетной записи хранения. Дополнительная информация: Настройка разрешенной области для операций копирования

Выберите желаемый Azure Synapse Link, затем выберите Перейти к рабочей области Azure Synapse Analytics на верхней панели.
Разверните Базы данных озер в левой панели, выберите dataverse-environmentName-organizationUniqueName, а затем разверните Таблицы.

Все Таблицы данных почти в реальном времени перечислены и доступны для анализа в соответствии с соглашением об именовании DataverseTableName. Все Таблицы данных моментальных снимков перечислены и доступны для анализа в соответствии с соглашением об именовании DataverseTableName_partitioned.

Таблицы данных почти в реальном времени и моментальных снимков

Дальнейшие действия

После успешного использования службы Azure Synapse Link for Dataverse, узнайте, как анализировать и использовать свои данные в Центре обнаружения. Чтобы получить доступ к Центр обнаружения, перейдите к Power Apps>Azure Synapse Link. Выберите связанный сервис, затем выберите вкладку Центр обнаружения. Здесь вы можете найти рекомендуемые инструменты и тщательно подобранную документацию, которые помогут вам извлечь максимальную пользу из ваших данных. Центр обнаружения.