Примітка
Доступ до цієї сторінки потребує авторизації. Можна спробувати ввійти або змінити каталоги.
Доступ до цієї сторінки потребує авторизації. Можна спробувати змінити каталоги.
Microsoft Dataverse дані (включно з даними з програм Dynamics 365, а також фінансів і операцій) можуть постійно змінюватися шляхом створення, оновлення та видалення транзакцій. За допомогою опції поступового оновлення ви можете створювати інкрементні конвеєри даних, які застосовують ці зміни до нижчих систем і баз даних. Azure Synapse Посилання для Dataverse експорту інкрементних даних у папки з часовими мітками, які містять зміни даних протягом заданих користувачем інтервалів часу.
Ви можете використовувати функцію поступового оновлення для кількох сценаріїв:
Оновіть сховище даних або сховище даних. Можливо, вам доведеться застосувати зміни зі своїх Power Apps даних і даних Dynamics 365 у подальше сховище даних. Поступове оновлення є стандартною можливістю більшості інструментів перетворення даних, таких як Azure Data Factory. Однак, щоб функція поступового оновлення працювала, потрібно визначити записи, які змінилися в таблицях джерел. Функція поступового оновлення надає змінені дані у вигляді набору файлів, тому вам не потрібно виявляти зміни, порівнюючи зображення таблиць до та після.
Аналізуйте зміни у великих наборах даних. Якщо вам потрібно проаналізувати зміни у великих наборах даних, функція поступового оновлення забезпечує безперервний потік даних невеликими пакетами, тому вам не потрібно зберігати всі дані. За допомогою цієї опції ви можете видаляти застарілі та застійні дані, щоб заощадити витрати на зберігання даних, а також відстежувати зміни даних, актуальні для зазначеного користувачем періоду часу.
Azure Synapse Link for Dataverse також надає можливість експортувати та підтримувати копію таблиць у вашому сховищі Azure Data Lake (Gen 2). Ви можете налаштувати Azure Synapse функцію «Зв’язок» для експорту інкрементних даних на додаток до експорту репліки таблиць. Кожна конфігурація (відома як «профіль Synapse Link») може експортувати або таблиці, або інкрементні дані. Хоча можна створити кілька профілів, не можна настроїти обидві таблиці та поступові оновлення в одному профілі.
Важливо
Початкова папка з позначкою часу створюється, коли ви вмикаєте цю функцію з копією ваших даних. Подальші часові позначки та папки таблиць створюються лише в разі оновлення даних протягом зазначеного користувачем інтервалу часу.
Після створення профілю Synapse Link з функцією поступового оновлення конфігурація застосовується до всіх вибраних таблиць у профілі Synapse Link.
Цю функцію не можна ввімкнути за допомогою опції: Підключитися до вашого Azure Synapse робочого простору. Для клієнтів, яким потрібен Azure Synapse доступ до аналітики, дотримуйтесь цієї інструкції, щоб налаштувати посилання: Створити Azure Synapse посилання для Dataverse вашої Azure Synapse робочої області
Ця функція еквівалентна функції «Змінити канали » під час експорту в озеро даних, вбудовану в програми «Фінанси та операції» Dynamics 365. Клієнти, які використовують функцію «Змінити фіди», мають можливість увімкнути профіль Synapse Link із даними про зміни без необхідності експортувати дані таблиці.
вимоги
Цей посібник передбачає, що ви вже виконали передумови для створення Azure Synapse Посилання. Додаткові відомості: Створення Azure Synapse посилання для Dataverse використання Azure Data Lake
Створіть профіль Synapse Link для експорту інкрементних даних
Увійдіть у Power Apps систему та виберіть своє оточення.
На панелі навігації ліворуч виберіть Azure Synapse Зв’язати. Якщо елемента немає на бічній панелі, виберіть ... Більше , а потім виберіть потрібний елемент.
На панелі команд виберіть + Нове посилання.
Виберіть Підписка, Група ресурсів і Обліковий запис Сховище. Виберіть Далі.
Не вибирайте опцію Підключитися до Azure Synapse робочої області. Якщо ви виберете цю опцію, функцію поступового оновлення буде вимкнено.
Додайте таблиці, які потрібно експортувати. Якщо ваше Dataverse середовище пов’язане з програмами для фінансів і операцій, ви також можете вибирати таблиці з програм для фінансів і операцій.
Виберіть Додатково.
Увімкніть опції Показувати додаткові параметри конфігурації та Увімкнути структуру папок поступового оновлення.
Введіть інтервал часу (у хвилинах), за який потрібно фіксувати поступові оновлення, а потім натисніть кнопку Зберегти.
Нотатка
Мінімальний часовий інтервал – 5 хвилин. Це означає, що папка з поступовим оновленням створюється кожні п’ять хвилин і містить зміни, що відбулися протягом проміжку часу. Цей параметр також налаштовується після створення посилання через Керування таблицями. Максимальний часовий інтервал становить 1 140 хвилин (або 24 години).
Переконайтеся, що параметр Підключатися до робочої області не встановлено прапорець Підключатися до робочої Azure Synapse області Azure Synapse на першій сторінці налаштування.
Інкрементні дані в папках із позначкою часу зберігаються у вигляді текстових файлів зі значеннями, розділених комами (CSV-файли). Ви не можете використовувати функцію перетворення Delta для інкрементних даних і отримувати інкрементні файли у форматі паркету Delta.
Перегляд інкрементної папки в сховищі Microsoft Azure
Коли ви створюєте профіль Synapse Link з інкрементними даними, система робить початкову копію всіх таблиць і зберігає її в першій папці поступового оновлення. Після створення початкової копії система створює наступні папки оновлень зі зміненими даними. Якщо в жодній із вибраних таблиць немає змін, папки з інкрементними даними не відображатимуться.
Щоб переглянути папки з інкрементними даними в обліковому записі сховища:
Виберіть потрібне Azure Synapse посилання, а потім натисніть Перейти до озера даних Azure на панелі команд.
Виберіть контейнери в розділі Сховище даних.
Виберіть dataverse-environmentName-organizationUniqueName. Папки інкрементних оновлень мають назву мітки часу створення ("yyyy-MM-dd'T'HH:mm:ss.SSSz") у UTC. Зверніть увагу, що різниця в часі між папками з позначкою часу – це інтервал часу, вказаний вами в додаткових налаштуваннях.
У кожній папці з часовими мітками є папки для кожної таблиці. Не всі вибрані таблиці могли змінитися протягом інтервалу часу, і ви бачите лише папки, що відповідають таблицям, дані яких були змінені.
Нотатка
У зв’язку з можливостями механізму повторних спроб додаткова порожня папка часових позначок може бути створена протягом вказаного користувачем інтервалу часу.
Споживайте інкрементні дані
Ви можете копіювати інкрементні дані в базу даних Azure SQL або сховище даних за допомогою інструментів інтеграції даних, таких як Azure Data Factory або Azure Synapse Analytics pipelines. Ми надаємо зразок конвеєра даних, який можна використовувати з цією метою. Для отримання додаткової інформації:Скопіюйте Dataverse дані в Azure SQL.
Якщо ви є клієнтом фінансових та операційних програм Dynamics 365 і переходите з функції каналів змін, ви можете використовувати зразки інтеграції даних, що надаються на GitHub , щоб оновити наявні конвеєри даних, які використовуються з функцією змін.
Ви також можете створити власний конвеєр даних для споживання інкрементних даних. Однак при проектуванні власної воронки продажів необхідно враховувати наступні найкращі практики:
- Споживати дані лише з попередніх папок із часовими мітками: таким чином ви можете уникнути конфліктів читання та запису зі службою Synapse Link, яка може постійно оновлювати дані в поточній папці. Ви можете знайти поточну папку, переглянувши файл Changelog/changelog.info . Цей файл призначений лише для читання, який містить один рядок з іменем папки, яке наразі оновлено. Не слід оновлювати цей файл, оскільки це може спричинити нестабільність системи.
- Файл model.json можна переглянути в кожній папці з часовою позначкою, щоб прочитати метадані, такі як імена стовпців для даних, що містяться в папках таблиць. Зверніть увагу, що кожен model.json файл у папці, розташованій у папках із позначкою часу, містить метадані всіх таблиць, а не лише таблиць, що містяться в папці з позначкою часу.
- Уникайте використання інших файлів журналу, таких як файл Synapse.log. Цей файл використовується для внутрішніх цілей і може не відображати точні дані.
- Розгляньте можливість видалення застарілих інкрементних папок з озера даних Azure після завершення обробки. Наразі Synapse Link зберігає оренду цих файлів у сховищі Azure для відновлення після будь-яких збоїв. Система може розірвати договір оренди через деякий час. Видаляти слід лише інкрементні папки, вік яких старший за 24 години , щоб уникнути будь-яких конфліктів із роботою системи.
- Ви не повинні змінювати або видаляти "поточну папку", тобто папку, що міститься у файлі Changelog/changelog.info . Якщо ви зміните цей файл, система призупинить обробку даних.
