Импорт и экспорт данных в Dataverse

Microsoft Dataverse — это платформа данных SaaS, которая позволяет легко создавать данные, события и логику, а также создавать аналитику и аналитические сведения для поддержки взаимосвязанных приложений, созданных на платформе Dataverse. К приложениям относятся Microsoft приложения, такие как Dynamics 365 Sales, служба, маркетинг, Аналитика клиентов, Оркестрация взаимодействия клиентов, а также клиентские приложения и процессы от других поставщиков программного обеспечения, все из которых работают в безопасном и совместимом режиме. Dataverse представляет собой гипермасштабируемое многоязычное хранилище, которое может использоваться для хранения данных любого типа (реляционных, файловых, данных наблюдений и т. д.) для всех ваших транзакционных и аналитических приложений. Соответственно, это платформа данных для всех продуктов Power Platform и приложений Dynamics 365. Dataverse — это критический элемент Microsoft Power Platform, который поддерживает все данные, события, аналитику и связанную обработку, а также генерирует для разработчиков-любителей и профессиональных разработчиков аналитику, помогающую создавать, хранить и администрировать данные для разрабатываемых ими приложений.

Данные, необходимые приложениям и процессам, часто не поступают из и не находятся в Dataverse. Объединение внешних данных с помощью Dataverse — важнейшая составляющая разработки приложений, позволяющая добавлять данные в существующие приложения и извлекать ценную информацию. В условиях распространения больших данных и постоянно растущего количества типов источников данных, таких как ИИ, ML, IoT, веб-коммерция, веб-API, службы, ERP и линейка бизнес-приложений, пользователям Dataverse необходимо гибко подходить к использованию такого разнообразия данных.

Существует несколько способов импорта и экспорта данных в Microsoft Dataverse. Вы можете использовать потоки данных, Power Query, Azure Synapse Link, фабрику данных Azure, Azure Logic Apps и Power Automate.

С чего начать?

Первый вариант — это начать с внешних данных, которые уже существуют за пределами Dataverse и которые необходимы для создания приложения, формы или другого компонента. Нет необходимости сохранять эти данные в Dataverse, чтобы начать их использовать. Во многих случаях лучше продолжить управлять данными с помощью другой системы, используя данные по мере необходимости в Dataverse. Функция виртуальных таблиц в Dataverse предоставляет такую возможность. Дополнительная информация: Создание виртуальных таблиц с помощью виртуальных соединителей.

С помощью виртуальных таблиц можно создать приложение, использующее внешние данные, как если бы это была таблица Dataverse. Чтобы создать виртуальные таблицы, при создании виртуальной таблицы используйте один из предоставленных поставщиков соединителей виртуальных таблиц.

Импорт внешних данных в Dataverse

Желаемые результаты могут повлиять на решение о сохранении данных в Dataverse по сравнению с использованием виртуальных таблиц для отображения внешних данных в Dataverse. Если вы хотите, чтобы управление вашими данными производилось в соответствии с концепциями безопасности в Dataverse и с использованием функций управления жизненным циклом приложений или если вы хотите объединять внешние данные с собственными данными Dataverse, имеет смысл переместить данные в Dataverse. Кроме того, если вас интересует использование рабочего процесса и бизнес-правил Dataverse, вы можете рассмотреть возможность переноса этих данных в Dataverse. Кроме того, следует учитывать экономические последствия загрузки данных в Dataverse, которые могут увеличить затраты на хранение. Если управлением данными по-прежнему должно осуществляться внешней системой, возможно, имеет смысл оставить их там и взаимодействовать с ними в Dataverse с помощью виртуальных таблиц.

Потоки данных, Power Query и файлы Excel

Потоки данных позволяют вам соединяться с бизнес-данными из различных источников, очищать данные, преобразовывать их, а затем загружать в Dataverse. Потоки данных поддерживают десятки популярных локальных, облачных и SaaS-источников данных.

Power Query — это технология подключения к данным, которую вы можете использовать для обнаружения, подключения, объединения и уточнения источников данных в соответствии с вашими потребностями в анализе. Функции в Power Query доступны в Excel и Power BI Desktop.

На этапе планирования проекта вы должны взвесить все варианты и решить, требуется ли, чтобы внешние данные быть частью ваших транзакционных данных. После того как вы окончательно определитесь с подходом, смена его в ходе внедрения и после ввода в эксплуатацию может привести к нарушению работы конечных пользователей. Если вы приняли решение загружать внешние данные в Dataverse, прекрасным инструментом будут потоки данных. Потоки данных — отличный выбор, если вам нужно преобразовывать и подготавливать данные во время их перемещения. Среда разработки потоков данных — Power Query — обладает продуманной готовой функциональностью для интуитивно понятного преобразования и подготовки данных.

Дополнительная информация: Создание и использование потоков данных в Power Apps и Добавление данных в таблицу в Dataverse с помощью Power Query

Обратите внимание, что на загрузку данных через потоки данных распространяются ограничения для защиты служб Dataverse. Подробнее

Power Query поддерживает множество доступных соединителей: Список всех соединителей Power Query

Если ваши данные хранятся в Excel, как и данные многих клиентов Dataverse, используйте существующий коннектор Excel, например, наряду с множеством других доступных коннекторов, чтобы построить конвейер передачи данных в Dataverse. Помимо разовой загрузки данных, синхронизируйте свой источник данных Excel с Dataverse, используя поток данных. Учитывайте ограничения размера файла Excel, как описано в этой статье: Уменьшение размера книги Excel для ее просмотра в Power BI

Кроме того, если у вас несколько Excel файлов в папке, которую вы хотите загрузить в Dataverse, используйте соединитель папок Power Query для объединения, преобразования и загрузки данных.

ИТ-специалисты также могут избавить бизнес-пользователей от связанных с построением конвейеров данных сложностей путем создания шаблонов потоков данных Power Platform. Постройте сложный запрос, объединив данные из нескольких источников, сохраните его и поделитесь им с бизнес-пользователями. Затем этот файл можно использовать с помощью функции Новый поток данных>Импорт шаблона в Power Apps. Все, что нужно сделать пользователю, — это проверить учетные данные для доступа к данным, чтобы начать загрузку данных в таблицы Dataverse. Подробнее: Создание потоков данных Power Platform из запросов в Microsoft Excel.

Вы также можете выполнить однократный импорт данных непосредственно из одного файла Excel в таблицу Dataverse. Дополнительные сведения: Импорт данных из Excel и экспорт данных в CSV

Фабрика данных Azure

Фабрика данных — это служба интеграции данных, которая предоставляет подход с низкоуровневым кодом или без кода для создания процессов извлечения, преобразования и загрузки (ETL) в визуальной среде или путем написания собственного кода.

В зависимости от ваших потребностей в данных на определённом этапе вам может потребоваться более сложная обработка данных для загрузки данных из внешних источников в Dataverse. Это зависит не только от объема данных, но также от количества и сложности преобразований данных, необходимых для того, чтобы исходные данные соответствовали вашим требованиям к данным в Dataverse. Дополнительным фактором является доступность ИТ-ресурсов, готовых прийти на помощь. Эти более сложные сценарии использования данных можно реализовать с помощью потоков данных Power Platform, Фабрики данных Azure и веб-API. Шаблоны интеграции Data Factory и Web API особенно хорошо подходят для построения конвейеров, требующих сложных рабочих процессов и насыщенных алгоритмами преобразований. Потоки данных, напротив, проще в использовании, и начать работу с ними можно быстрее.

С фабрикой данных вы можете визуально интегрировать Dataverse и другие источники данных, используя более 90 встроенных и необслуживаемых соединителей.

Помимо переноса данных в Dataverse, Фабрику данных также можно использовать для подготовки, преобразования и обогащения данных с помощью Azure Databricks, а также для перемещения данных в Azure Synapse Analytics.

Экспорт данных из Dataverse

Экспорт данных либо в другую технологию обработки данных, либо в другую среду, может использовать любую из технологий, упомянутых для импорта данных, таких как потоки данных, фабрика данных, Power Query и Power Automate.

Клиенты Dynamics, которые ориентированы на SQL Server или базу данных SQL Azure, могут использовать службу Azure Synapse Link. Azure Synapse Link для Dataverse подключается к Azure Synapse Analytics, чтобы вы могли получать аналитические сведения о своих данных почти в реальном времени из Microsoft Dataverse. Благодаря тесной бесшовной интеграции между Dataverse и Azure Synapse Analytics, Azure Synapse Link позволяет запускать аналитику, бизнес-аналитику и сценарии машинного обучения для ваших данных. Дополнительные сведения: Что такое Azure Synapse Link для Dataverse?

См. также

Работа с любым типом приложения