Интеграция данных в Microsoft Dataverse
Интегратор данных (для администраторов) — это сервис интеграции точка-точка, используемый для интеграции данных в Dataverse. Он поддерживает интеграцию данных между приложениями для управления финансами и операциями и Dataverse. Он также поддерживает интеграцию данных в приложения для управления финансами и операциями и Dynamics 365 Sales. Эта служба общедоступна с июля 2017 года.
Заметка
Мы настоятельно рекомендуем клиентам начать использовать двойную запись, которая обеспечивает тесно связанную двунаправленную интеграцию между приложениями для управления финансами и операциями и Dataverse. Любые изменения данных в приложениях для управления финансами и операциями вызывают запись в Dataverse, а любые изменения данных в Dataverse вызывают запись в приложения для управления финансами и операциями. Этот автоматизированный поток данных обеспечивает интегрированный пользовательский интерфейс во всех приложениях.
Совет
Как вы можете использовать интегратор данных для своего бизнеса?
Интегратор данных (для администраторов) также поддерживает сценарии интеграции на основе процесса, такие как "от потенциального клиента до получения прибыли", которые предоставляют прямую синхронизацию между приложениями для управления финансами и операциями и Dynamics 365 Sales. Шаблоны Prospect to Cash, которые доступны с функцией интеграции данных, обеспечивают поток данных для учетных записей, контактов, продуктов, предложений по продажам, заказов на продажу и счетов-фактур для продаж между приложениями для управления финансами и операциями и Sales. Пока данные передаются между приложениями для управления финансами и операциями и Sales, вы можете выполнять действия по продажам и маркетингу в Sales, а также управлять обработкой заказов, используя управление запасами в приложениях для управления финансами и операциями.
Интеграция Prospect to Cash позволяет продавцам обрабатывать и контролировать свои процессы продаж, пользуясь преимуществами Dynamics 365 Sales, в то время как все аспекты выполнения и выставления счетов-фактур происходят с использованием богатой функциональности в приложениях для управления финансами и операциями. Благодаря интеграции Microsoft Dynamics 365 Prospect to Cash вы получите объединение мощности обеих систем.
Для получения дополнительной информации об интеграции Prospect to Cash см. документацию по Решение Prospect to Cash.
Кроме того, поддерживаются интеграция с Field Service и интеграция с PSA (Project Service Automation) для приложений для управления финансами и операциями.
Платформа интеграции данных
Интегратор данных (для администраторов) состоит из платформы интеграции данных, готовых шаблонов, предоставленных нашими командами разработчиков приложений (например, приложения для управления финансами и операциями и Dynamics 365 Sales) и пользовательских шаблонов, созданных нашими клиентами и партнерами. Мы создали платформу, независимую от приложений, которая может масштабироваться для различных источников. По сути, вы создаете подключения (с конечными точками интеграции), выбираете один из настраиваемых шаблонов с предопределенными сопоставлениями (которые можно дополнительно настраивать), а также создаете и выполняете проект интеграции данных.
Шаблоны интеграции служат схемой с предварительно определенными объектами и сопоставлениями полей, чтобы обеспечить поток данных из источника в место назначения. Он также предоставляет возможность преобразовывать данные перед их импортом. Часто схема между исходными и целевыми приложениями может сильно отличаться, и шаблон с предопределенными объектами и сопоставлениями полей служит отличной отправной точкой для проекта интеграции.
Как настроить проект интеграции данных
Есть три основных шага:
Создайте подключение (укажите учетные данные для источников данных).
Создайте набор подключений (определите среды для подключений, которые вы создали на предыдущем шаге).
Создайте проект интеграции данных с использованием шаблона (создайте или используйте предварительно определенные сопоставления для одной или нескольких сущностей).
Создав проект интеграции, вы получаете возможность запустить проект вручную, а также настроить обновление на основе расписания на будущее. В остальной части этой статьи представлены подробные сведения по этим трем шагам.
Заметка
Пользовательский интерфейс для управления проектами Интегратора данных размещен по адресу https://dataintegrator.trafficmanager.net. Политики вашей организации могут потребовать добавления этого сайта в список разрешений для доступа к интерфейсу.
Инструкции по созданию подключения
Прежде чем вы сможете создать проект интеграции данных, вы должны обеспечить подключение для каждой системы, с которой вы собираетесь работать на портале Microsoft Power Apps. Думайте об этих подключениях как о своих точках интеграции.
Создание подключения
Переход к Power Apps.
В разделе "Данные" выберите Подключения, а затем выберите Новое подключение.
Вы можете выбрать подключение из списка подключений или выполнить поиск вашего подключения.
Как только вы выберете подключение, выберите Создать. Затем вам будет предложено ввести учетные данные.
После того как вы предоставите свои учетные данные, подключение будет отображаться в списке ваших подключений.
Заметка
Убедитесь, что учетная запись, которую вы указываете для каждого подключения, имеет доступ к сущностям для соответствующих приложений. Кроме того, учетная запись для каждого подключения может принадлежать другому клиенту.
Инструкции по созданию набора подключений
Наборы подключений — это коллекция, которая содержит два подключения, среды для подключения, сведения о сопоставлении организации и ключи интеграции, которые можно многократно использовать в проектах. Вы можете начать использовать набор подключений для разработки, а затем переключиться на другой набор для работы. Одним из ключевых элементов информации, хранящихся в наборе подключений, являются сопоставления организационных единиц, например сопоставления между юридическим лицом (или компанией) приложений для управления финансами и операциями и организацией или подразделениями Dynamics 365 Sales. Вы можете хранить несколько сопоставлений организаций в наборе подключений.
Создание набора подключений
Перейдите в центр администрирования Power Apps.
Выберите вкладку Интеграция данных на левой панели навигации.
Выберите вкладку Наборы подключений, а затем выберите Создать набор подключений.
Задайте имя для набора подключений.
Выберите подключения, которые вы создали ранее, и выберите подходящую среду.
Повторите шаги, выбрав ваше следующее подключение (считайте это источником и местом назначения без определенного порядка).
Укажите сопоставление организации с подразделением (если вы интегрируете приложения для управления финансами и операциями и системы Sales).
Заметка
Вы можете указать несколько сопоставлений для каждого набора подключений.
Заполнив все поля, выберите Создать.
Вы увидите новый набор подключений, который вы только что создали, на странице списка "Наборы подключений".
Ваш набор подключений готов к использованию в различных проектах интеграции.
Как создать проект интеграции данных
Проекты обеспечивают поток данных между системами. Проект содержит сопоставления для одной или нескольких сущностей. Сопоставления указывают, какие поля соответствуют другим полям.
Создание проекта интеграции данных
Перейдите в центр администрирования Power Apps.
Выберите вкладку Интеграция данных на левой панели навигации.
На вкладке Проекты выберите Создать проект в правом верхнем углу.
Задайте имя для проекта интеграции.
Выберите один из доступных шаблонов (или создайте свой собственный шаблон). В этом случае мы перемещаем сущность "Продукты" из приложений для управления финансами и операциями в Sales.
Выберите Далее и выберите набор подключений, который вы создали ранее (или создайте новый набор подключений).
Убедитесь, что вы выбрали правильный набор, проверив имена подключения и среды.
Выберите Далее, а затем выберите юридическое лицо для сопоставления подразделения.
Просмотрите и примите уведомление о конфиденциальности и согласие на следующем экране.
Перейдите к созданию проекта, а затем запустите проект, который, в свою очередь, выполняет проект.
На этом экране вы увидите несколько вкладок: Планирование и История выполнения, а также несколько кнопок Добавить задачу, Обновить сущности и Расширенный запрос — это будет описано позже в этой статье.
История выполнения
История выполнения показывает историю всех выполнений проекта с именем проекта, отметкой времени, когда проект был выполнен, и состоянием выполнения, а также количеством добавлений и/или ошибок.
Пример истории выполнения проекта.
Пример успешного выполнения с состоянием "завершен" с добавлениями #. (Добавление Upsert, то есть "обновление или вставка", для обновления записи, если она уже существует, или вставки новой записи.)
В случае сбоев выполнения можно детализировать ситуацию для поиска основной причины.
Вот пример сбоя с ошибками проверки проекта. В этом случае ошибка проверки проекта связана с отсутствием исходных полей в сопоставлениях сущностей.
Если выполнение проекта находится в состоянии "ОШИБКА", повторится выполнение при следующем запланированном запуске.
Если выполнение проекта находится в состоянии "ПРЕДУПРЕЖДЕНИЕ", вам нужно будет решить проблемы с источником. Выполнение будет повторяться при следующем запланированном запуске.
В любом случае, вы также можете вручную "Повторить выполнение".
Заметка
Каждый раз, когда вы выполняете проект вручную или по расписанию, создается подробный журнал с именем проекта, последней обновленной меткой времени вместе с состоянием. Вы можете просмотреть это в истории выполнения каждого проекта. История выполнения проекта сохраняется в течение 45 дней, после чего она автоматически удаляется.
Как настроить обновление по расписанию
Сейчас мы поддерживаем два типа выполнения или записи:
Ручная запись (выполнить и обновить проект вручную)
Записи по расписанию (автообновление)
После создания проекта интеграции вы получаете возможность запустить его вручную или настроить записи по расписанию, что позволяет настроить автоматическое обновление для ваших проектов.
Чтобы настроить записи по расписанию
Перейдите в центр администрирования Power Apps.
Запланировать проекты можно двумя способами.
Либо выберите проект и выберите вкладку Планирование, либо запустите планировщик со страницы списка проектов, щелкнув многоточие рядом с именем проекта.
Выберите Повторять каждые и после заполнения всех полей выберите Сохранить расписание.
Вы можете установить периодичность в 1 минуту или повтор через определенное количество часов, дней, недель или месяцев. Обратите внимание, что следующее обновление не начнется, пока предыдущая задача проекта не завершит свое выполнение.
Также обратите внимание, что в разделе "Уведомления" вы можете выбрать уведомления по электронной почте, которые будут оповещать вас о выполнении заданий, которые либо завершились с предупреждениями и/или не состоялись из-за ошибок. Вы можете указать несколько получателей, включая группы, разделенные запятыми.
Заметка
- В настоящее время мы поддерживаем планирование 50 проектов интеграции в любое время для каждого платного клиента. Однако вы можете создать больше проектов и запускать их в интерактивном режиме. Для пробных клиентов у нас есть дополнительное ограничение, чтобы запланированный проект выполнялся только первые 50 раз.
- Несмотря на то что мы поддерживаем планирование проектов, запускаемых каждую минуту, имейте в виду, что это может создать большую нагрузку на ваши приложения и, в свою очередь, повлиять на общую производительность. Мы настоятельно рекомендуем пользователям тестировать выполнение проектов в реальных условиях нагрузки и оптимизировать производительность с менее частыми обновлениями. В рабочих средах мы не рекомендуем запускать более 5 проектов в минуту на одного клиента.
- Чтобы оптимизировать производительность и не перегружать приложения, мы в настоящее время ограничиваем количество выполнений проекта до 500 тыс. строк на исполнение для каждого проекта.
- Каждый раз, когда вы выполняете проект вручную или по расписанию, создается подробный журнал с именем проекта, последней обновленной меткой времени вместе с состоянием. Вы можете просмотреть это в истории выполнения каждого проекта. История выполнения проекта сохраняется в течение 45 дней, после чего она автоматически удаляется.
Настройка проектов, шаблонов и сопоставлений
Вы используете шаблон для создания проекта интеграции данных. Шаблон оптимизирует перемещение данных, что, в свою очередь, помогает бизнес-пользователям или администраторам ускорить интеграцию данных из источников в места назначения и снижает общую нагрузку и затраты. Бизнес-пользователь или администратор может начать с готового шаблона, опубликованного корпорации Майкрософт или ее партнером, а затем дополнительно настроить его перед созданием проекта. Затем вы можете сохранить проект в качестве шаблона и поделиться с вашей организацией и/или создать новый проект.
Шаблон предоставляет вам источник, назначение и направление потока данных. Вы должны помнить об этом при настройке и/или создании собственного шаблона.
Вы можете настроить проекты и шаблоны следующими способами:
Настройте сопоставления полей.
Настройте шаблон, добавив сущность по своему выбору.
Как настроить сопоставления полей
Создание набора подключений
Перейдите в центр администрирования Power Apps.
Выберите проект, для которого вы хотите настроить сопоставления полей, а затем выберите стрелку между полями источника и назначения.
Вы попадете на экран сопоставления, где вы можете добавить новое сопоставление, выбрав Добавить сопоставление в правом верхнем углу или Настроить существующие сопоставления в выпадающем списке.
После того, как вы настроили свои сопоставления полей, выберите Сохранить.
Как создать свой собственный шаблон
Создание своего собственного шаблона путем изменения существующих шаблонов
Перейдите в центр администрирования Power Apps.
Определите источник, назначение и направление потока для своего нового шаблона.
Создайте проект, выбрав существующий шаблон, который соответствует вашему выбору источника, назначения и направления потока.
Создайте проект после выбора подходящего подключения.
Прежде чем сохранить и/или запустить проект, в правом верхнем углу выберите Добавить задачу.
Откроется диалоговое окно Добавить задачу.
Укажите понятное имя задачи и добавьте выбранные исходные и конечные сущности.
В раскрывающемся списке отображаются все ваши исходные и конечные сущности.
В этом случае была создана новая задача для синхронизации сущности "Пользователь" из SalesForce с сущностью "Пользователь" в Dataverse.
Как только вы создадите задачу, вы увидите свою новую задачу в списке и сможете удалить исходную задачу.
Вы только что создали новый шаблон — в данном случае шаблон для извлечения данных сущности "Пользователь" из SalesForce в Dataverse. Выберите Сохранить, чтобы сохранить настройку.
Следуйте инструкциям, чтобы настроить сопоставления полей для этого нового шаблона. Вы можете запустить этот проект и/или сохранить проект как шаблон на странице Список проектов.
Укажите имя и описание и/или поделитесь с другими в вашей организации.
Создание своего собственного шаблона из пустых шаблонов
Перейдите в Центр администрирования Power Apps.
Создайте проект интеграции данных. Выберите вкладку Интеграция данных на левой панели навигации.
Выберите Создать проект и укажите название для вашего проекта. Например, "Проект Demo_CreateYourOwnTemplate".
На странице списка Выбрать шаблон выберите общий пустой шаблон. В этом примере выберите шаблон Из Sales в Fin and Ops, так как нам нужно перенести данные из приложений для управления финансами и операциями в Dynamics 365 Sales.
Выполните шаги с 6 по 9 здесь, чтобы завершить создание проекта интеграции данных. Нажмите кнопку Сохранить.
Вы увидите страницу "Задачи", которая пуста, так как это пустой шаблон, без каких-либо задач. Выберите Добавить задачу, чтобы выбрать сущность из выпадающего списка и добавить новую задачу. В этом случае в качестве примера создадим задачу Действия Sales в Fin and Ops, выбрав сущность Действия в приложениях для управления финансами и операциями и Dynamics 365 Sales. Выберите Создать.
Вы увидите, что была добавлена новая задача Действия Sales в Fin and Ops. Выберите Сохранить, чтобы сохранить изменения.
Проект создан. Выберите Сохранить как шаблон на странице списка Проекты.
Укажите и название и описание, затем выберите Сохранить. Дополнительно выберите Предоставить доступ всем пользователям в организации, чтобы поделиться этим шаблоном.
Вы увидите недавно созданный шаблон, указанный на странице списка Шаблоны.
Кроме того, после создания нового проекта интеграции при выборе Выберите шаблон вы увидите свой недавно созданный шаблон в списке Выберите шаблон.
Расширенное преобразование данных и фильтрация
Благодаря поддержке Power Query мы предлагаем расширенную фильтрацию и преобразование исходных данных. Power Query позволяет пользователям изменять данные в соответствии с их потребностями с помощью простого в использовании, привлекательного интерфейса пользователя. Вы можете включить это для каждого проекта.
Как включить расширенный запрос и фильтрацию
Настройка расширенной фильтрации и преобразования
Перейдите в центр администрирования Power Apps.
Выберите проект, в котором вы хотите включить расширенный запрос, а затем выберите Расширенный запрос.
Вы получите предупреждение о том, что включение расширенного запроса является односторонней операцией и не может быть отменено. Выберите ОК для продолжения, а затем выберите стрелку сопоставления источника и назначения.
Теперь появится знакомая страница сопоставления сущностей со ссылкой для запуска расширенного запроса и фильтрации.
Выберите связь, чтобы запустить пользовательский интерфейс расширенного запроса и фильтрации с данными исходного поля в столбцах типа Microsoft Excel.
В верхнем меню есть несколько вариантов для преобразования данных, таких как Добавить условный столбец, Дублировать столбец и Извлечь.
Вы также можете щелкнуть правой кнопкой мыши по любому столбцу, чтобы получить дополнительные параметры, например Удалить столбцы, Удалить дубликаты и Разделить столбец.
Вы также можете отфильтровать, щелкая каждый столбец и используя фильтры типа Excel.
Преобразования значений по умолчанию можно осуществить с помощью условного столбца. Для этого в раскрывающемся списке Добавить столбец выберите Добавить условный столбец и введите имя нового столбца. Заполните поля Then и Else значениями по умолчанию, используя любое поле и значение для If и equal to.
Обратите внимание на каждое предложение в редакторе fx вверху.
Исправьте каждое предложение в редакторе fx и выберите ОК.
При каждом внесении изменений вы применяете шаг. Вы можете увидеть примененные шаги на правой панели (прокрутите вниз, чтобы увидеть последний шаг). Вы можете отменить шаг, если требуется редактирование. Кроме того, вы можете перейти в расширенный редактор, щелкнув правой кнопкой мыши QrySourceData на левой панели, вверху, для просмотра языка М, который выполняется на фоне, с теми же шагами.
Выберите ОК, чтобы закрыть интерфейс расширенных запросов и фильтрации, а затем на странице задачи сопоставления выберите вновь созданный столбец в качестве источника, чтобы создать сопоставление соответствующим образом.
Дополнительные сведения по Power Query см. в документации по Power Query.
Заметка
После того как Расширенный запрос и фильтрация включены, преобразования через Fn не поддерживаются, и вместо этого должны быть определены с помощью расширенных запросов и фильтрации.
В настоящее время мы не поддерживаем объединение нескольких источников данных (либо через Получить данные кнопка или M запрос) в расширенный запрос и фильтрация.
Если вы столкнетесь пределами оценки Power Query с ошибкой:
Задание PowerQuery не выполнено из-за ошибки: Exception ExceptionType:MashupEvaluationException, ExceptionMessage:EvaluationQuotaReached, EvaluationResponse:{"ResultType":"ErrorCode","Code":"EvaluationQuotaReached"
Ознакомьтесь с руководством по ограничениям Power Query Online.
Изменение URL-адреса непосредственно в редакторе гибридных веб-приложений не поддерживается. Будет использоваться только фильтр, примененный с помощью пользовательского интерфейса редактора гибридных веб-приложений или указанный в поле редактирования исходного фильтра на странице сопоставления.
Настройка производительности
Есть несколько факторов, которые влияют на производительность сценария интеграции. Производительность сильно зависит от:
Какие приложения вы интегрируете: приложения для управления финансами и операциями и Dataverse
Какие сущности используются: форма сущностей, проверка и бизнес-логика (стандарт и настройки)
Интегратор данных берет данные из исходного приложения и помещает их в целевое приложение. Основные соображения по производительности касаются того, как исходные и целевые приложения масштабируются относительно имеющихся сущностей. Здесь используются лучшие из доступных технологий для извлечения и передачи данных эффективным способом.
Приложения для управления финансами и операциями используют инфраструктуру управления данными, которая обеспечивает наиболее эффективный способ извлечения/передачи данных. Платформа управления данными используется для управления сущностями данных и пакетами объектов данных в приложениях для управления финансами и операциями.
Dynamics 365 для Dataverse использует API OData наряду с параллелизмом для максимизации производительности.
Вы можете использовать следующие параметры для настройки производительности приложений для управления финансами и операциями в зависимости от нагрузки, сущности и ресурсов.
Экспорт данных из приложений для управления финансами и операциями:
Прямой экспорт (пропуск промежуточного этапа). Убедитесь, что сущности, используемые для интеграции, поддерживают прямой экспорт (пропуск промежуточного этапа). Это позволяет выполнять массовый экспорт с обходом промежуточной таблицы. Если вы используете пропуск промежуточного этапа, выполняются строковые вызовы и данные вставляются в промежуточную таблицу.
Включение отслеживания изменений для сущностей "Отслеживание изменений@ включает добавочный экспорт данных из приложений для управления финансами и операциями с помощью управления данными. В пошаговом экспорте экспортируются только измененные записи. Чтобы включить пошаговый экспорт, необходимо включить отслеживание изменений для сущностей. Без отслеживания изменений вы выполните полный экспорт, что может повлиять на производительность. Для сложных сценариев используйте пользовательский запрос для отслеживания изменений.
Импорт данных в приложения для управления финансами и операциями:
Убедитесь, что сама сущность является производительной. Если возможно, создайте основанные на наборе сущности.
Если число импортируемых строк велико и сущность не поддерживает операции для наборов: управление данными можно настроить для импорта сущности с параллельными задачами. Это можно настроить в управлении данными (параметрах), настроив параметры выполнения сущности. Это позволит использовать пакетную платформу для создания параллельных задач, которая основана на доступности ресурсов для параллельного выполнения.
Отключение проверок (необязательно): хотя интегратор данных не обходит никакую бизнес-логику и проверки, при желании вы можете отключить те, которые не требуются, для повышения производительности.
Примите во внимание следующие советы, чтобы обеспечить производительность при импорте или экспорте данных из сред.
Импорт/ экспорт данных в/из приложений Customer Engagement
- Убедитесь, что индексы определены для ключей интеграции.