Запрос и анализ добавочных обновлений
Данные Microsoft Dataverse (в том числе данные из приложений Dynamics 365, а также из приложений для управления финансами и операциями) могут постоянно изменяться в процессе создания, обновления и удаления транзакций. С помощью параметра добавочного обновления можно создавать конвейеры добавочных данных, которые применяют эти изменения к нижестоящим системам и базам данных. Synapse Link for Dataverse экспортирует добавочные данные в папки с метками времени, которые содержат изменения данных в пределах заданных пользователем интервалов времени.
Функцию добавочного обновления можно использовать в нескольких сценариях:
Обновление нижестоящего хранилища данных или репозитория хранилища данных. Может потребоваться применить изменения из ваших данных Power Apps и Dynamics 365 в нижестоящем хранилище данных. Добавочное обновление является стандартной возможностью в большинстве инструментов преобразования данных, таких как фабрика данных Azure. Однако для работы функции добавочного обновления необходимо определить записи, которые были изменены в исходных таблицах. Функция добавочного обновления предоставляет измененные данные в виде набора файлов, поэтому вам не нужно обнаруживать изменения путем сравнения образов таблиц до и после.
Анализ изменений в больших наборах данных. Если вам нужно проанализировать изменения в больших наборах данных, функция добавочного обновления обеспечивает непрерывный поток данных небольшими пакетами, так что вам не нужно хранить все данные. С помощью этой опции вы можете отбрасывать устаревшие и застойные данные, чтобы сэкономить затраты на хранение данных, а также отслеживать изменения данных, актуальные для заданного пользователем периода времени.
Azure Synapse Link for Dataverse также предоставляет возможность экспортировать и поддерживать реплику таблиц в хранилище Azure Data Lake (2-го поколения). Можно настроить Azure Synapse Link для экспорта добавочных данных в дополнение к экспорту реплики таблиц. Каждая конфигурация (известная как «профиль Synapse Link») может экспортировать либо таблицы, либо добавочные данные. Хотя можно создать несколько профилей, вы не можете настроить одновременно таблицы и добавочные обновления в одном профиле.
Важно
Начальная папка с отметкой времени создается при включении этой функции с копией данных. Последующие папки с метками времени и таблицами создаются только при обновлении данных в течение указанного пользователем интервала времени.
После создания профиля Synapse Link с функцией добавочного обновления конфигурация применяется ко всем выбранным таблицам в профиле Synapse Link.
Эта функция не может быть включена с параметром: Подключение к вашей Azure Synapse Workspace. Для клиентов, которым требуется доступ к Azure Synapse Analytics, следуйте этим инструкциям, чтобы настроить ссылку: Создание Azure Synapse Link for Dataverse со своей Azure Synapse Workspace
Эта функция эквивалентна функции Каналы изменений в экспорте в озеро данных, встроенной в приложения Dynamics 365 для управления финансами и операциями. Клиенты, использующие функцию Каналы изменений, могут включить профиль Synapse Link с данными об изменениях без необходимости экспортировать данные таблицы.
Предварительные условия
В этом руководстве предполагается, что вы уже выполнили предварительные условия для создания Azure Synapse Link. Дополнительные сведения: Создание Azure Synapse Link for Dataverse с помощью Azure Data Lake
Создание профиля Synapse Link для экспорта добавочных данных
Войдите в Power Apps и выберите свою среду.
В левой области навигации выберите Azure Synapse Link. Если этого пункта нет на боковой панели, выберите …Еще, а затем выберите нужный пункт.
На панели команд выберите Создать связь.
Выберите Подписка, Группа ресурсов и Учетная запись хранения. Выберите Далее.
Не выбирайте параметр Подключение к вашей рабочей области Azure Synapse workspace. Если вы выберете этот параметр, функция добавочного обновления будет отключена.
Добавьте таблицы, которые нужно экспортировать. Если ваша среда Dataverse связана с приложениями для управления финансами и операциями, вы также можете выбирать таблицы из приложений для управления финансами и операциями.
Выберите Дополнительно.
Включите параметры Показать дополнительные параметры конфигурации и Включить структуру папок добавочного обновления.
Введите временной интервал (в минутах) для определения того, как часто должны собираться добавочные обновления, а затем выберите Сохранять.
Заметка
Минимальный временной интервал равен 5 минутам. Это означает, что папка добавочного обновления создается каждые пять минут и содержит изменения, произошедшие за указанный интервал времени. Этот параметр также можно настроить после создания ссылки с помощью Управление таблицами. Максимальный временной интервал составляет 1140 минут (или 24 часа).
Убедитесь, что на первой странице настройки не установлен флажок Подключение к вашей Azure Synapse Workspace Azure Synapse Workspace.
Добавочные данные в папках с отметками времени хранятся в виде текстовых файлов с разделителями-запятыми (CSV-файлы). Вы не можете использовать функцию Delta-преобразования для добавочных данных и получать добавочные файлы в формате Delta Parquet.
Посмотреть добавочную папку в службе хранилища Microsoft Azure
При создании профиля Synapse Link с инкрементными данными система создает начальную копию всех таблиц и сохраняет ее в первой папке добавочного обновления. После создания первоначальной копии система создает последующие папки обновлений с измененными данными. Если ни в одной из выбранных таблиц нет изменений, инкрементные папки данных не отображаются.
Чтобы просмотреть папки с добавочными данными в учетной записи хранения, выполните следующие действия:
Выберите необходимый Azure Synapse Link, а затем выберите Перейти к озеру данных Azure в командной строке.
Выберите Контейнеры в разделе Хранилище данных.
Выберите dataverse-environmentName-organizationUniqueName. Папки добавочных обновлений именуются по метке времени создания ("гггг-ММ-дд'Т'ЧЧ:мм:сс.СССz") в формате UTC. Обратите внимание, что разница во времени между папками с отметками времени — это интервал времени, указанный вами в дополнительных настройках.
В каждой папке с отметкой времени есть папки для каждой таблицы. Не все выбранные таблицы могли измениться в течение этого интервала времени, и вы увидите только папки, соответствующие таблицам, данные которых изменились.
Заметка
Из-за особенностей механизма повтора в течение указанного пользователем интервала времени может быть создана дополнительная пустая папка с меткой времени.
Использование добавочных данных
Вы можете скопировать добавочные данные в базу данных Azure SQL или хранилище данных с помощью средств интеграции данных, таких как фабрика данных Azure или конвейеры Azure Synapse Analytics. Мы предоставляем пример конвейера данных, который можно использовать для этой цели. Дополнительные сведения: Копирование данных Dataverse в Azure SQL.
Если вы являетесь клиентом приложений Dynamics 365 для управления финансами и операциями, который переходит с функции каналов изменений, вы можете использовать примеры средств интеграции данных, предоставляемые в GitHub, для обновления существующих конвейеров данных, используемых с функцией каналов изменений.
Вы также можете создать собственный конвейер данных для использования добавочных данных. Однако при разработке собственного конвейера необходимо учитывать следующие рекомендации:
- Используйте данные только из предыдущих папок с метками времени: таким образом можно избежать конфликтов чтения и записи со службой Synapse Link, которая может постоянно обновлять данные в текущей папке. Вы можете найти текущую папку, просмотрев файл Changelog/changelog.info. Этот файл доступен только для чтения и содержит одну строку с именем папки, которая в данный момент обновляется. Не следует обновлять этот файл, так как это может привести к нестабильности системы.
- Вы можете просмотреть файл model.json, расположенный в каждой папке с отметкой времени, чтобы прочитать метаданные, такие как имена столбцов для данных, содержащихся в папках таблиц. Обратите внимание, что каждый файл model.json в папке, расположенной в папках с метками времени, содержит метаданные для всех таблиц, а не только для таблиц, содержащихся в папке с меткой времени.
- Избегайте использования других файлов журнала, таких как файл Synapse.log. Этот файл используется для внутренних целей и может не отражать точные данные.
- Рассмотрите возможность удаления устаревших добавочных папок из озера данных Azure Data Lake после завершения обработки. В настоящее время Synapse Link поддерживает аренду этих файлов в службе хранилища Azure для восстановления после любых сбоев. Система может освободить аренду через некоторое время.
