Создание и использование потоков данных в Microsoft Power Platform

  • Статья

Использование потоков данных с Microsoft Power Platform упрощает подготовку данных и позволяет повторно использовать работу по подготовке данных в последующих отчетах, приложениях и моделях.

В мире постоянно расширяющихся данных подготовка данных может быть сложной и дорогостоящей, что занимает от 60 до 80 % времени и затрат на типичный аналитический проект. Для таких проектов может потребоваться обработка фрагментированных и неполных данных, сложная интеграция системы, данные со структурной несогласованностью и высокий барьер набора навыков.

Чтобы упростить подготовку данных и повысить ценность данных, были созданы потоки данных Power Query и Power Platform.

Связанные сущности в Power BI.

С помощью потоков данных корпорация Майкрософт предоставляет возможности самостоятельной подготовки данных Power Query в веб-службы Power BI и Power Apps и расширяет существующие возможности следующими способами.

  • Самостоятельная подготовка данных для больших данных с помощью потоков данных. Потоки данных можно использовать для простого приема, очистки, преобразования, интеграции, обогащения и схемы данных из большого и постоянно растущего массива транзакционных и наблюдательных источников, охватывающих всю логику подготовки данных. Ранее логику извлечения, преобразования, загрузки (ETL) можно было включать только в наборы данных в Power BI, копировать между наборами данных и привязывать к параметрам управления наборами данных.

    При использовании потоков данных логика ETL повышается до первоклассного артефакта в службах Microsoft Power Platform и включает специальные возможности разработки и управления. Бизнес-аналитики, специалисты по бизнес-аналитике и специалисты по обработке и анализу данных могут использовать потоки данных для решения самых сложных задач подготовки данных и опираться на работу друг друга благодаря революционному механизму вычислений на основе модели, который отвечает за логику преобразования и зависимостей, сокращая время, затраты и опыт до части того, что традиционно требовалось для этих задач. Вы можете создавать потоки данных с помощью хорошо известного интерфейса самостоятельной подготовки данных Power Query. Потоки данных создаются и легко управляются в рабочих областях приложений или средах, в Power BI или Power Apps соответственно. Они пользуются всеми возможностями, которые предоставляются этими службами, такими как управление разрешениями и запланированные обновления.

  • Загрузка данных в Dataverse или Azure Data Lake Storage. В зависимости от варианта использования данные, подготовленные потоками данных Power Platform, можно хранить в Dataverse или учетной записи Azure Data Lake Storage вашей организации:

    • Dataverse позволяет безопасно хранить данные, используемые бизнес-приложениями, и управлять ими. Данные в Dataverse хранятся в наборе таблиц. Таблица — это набор строк (прежнее название — записи) и столбцов (ранее — поля или атрибуты). Каждый столбец в таблице предназначен для хранения определенных типов данных, например имени, возраста, заработной платы и т. д. Dataverse включает базовый набор стандартных таблиц, охватывающих типичные сценарии, но вы также можете создавать настраиваемые таблицы, относящиеся к вашей организации, и заполнять их данными с помощью потоков данных. Затем разработчики приложений могут использовать Power Apps и Power Automate для создания многофункциональных приложений, использующих эти данные.

    • Azure Data Lake Storage позволяет совместно работать с сотрудниками вашей организации, используя Power BI, службы данных Azure и ИИ или настраиваемые бизнес-приложения, которые считывают данные из озера. Потоки данных, загружающие данные в учетную запись Azure Data Lake Storage, хранят данные в папках Common Data Model. Общие папки модели данных содержат схематизированные данные и метаданные в стандартизированном формате для упрощения обмена данными и обеспечения полного взаимодействия между службами, которые создают или используют данные, хранящиеся в учетной записи Azure Data Lake Storage организации в качестве общего уровня хранилища.

  • Расширенная аналитика и искусственный интеллект в Azure. Потоки данных Power Platform хранят данные в Dataverse или Azure Data Lake Storage. Это означает, что данные, полученные через потоки данных, теперь доступны инженерам и специалистам по обработке и анализу данных для использования всех возможностей Служб данных Azure, таких как Машинное обучение Azure, Azure Databricks и Azure Synapse Analytics для расширенной аналитики и искусственного интеллекта. Это позволяет бизнес-аналитикам, инженерам данных и специалистам по обработке и анализу данных совместно работать над теми же данными в своей организации.

  • Поддержка модели общих данных. Модель общих данных — это набор стандартизированных схем данных и системы метаданных для обеспечения согласованности данных и их значения в приложениях и бизнес-процессах. Потоки данных поддерживают модель общих данных, предлагая простое сопоставление любых данных в любой форме со стандартными сущностями модели общих данных, такими как Учетная запись и Контакт. Потоки данных также помещает данные( как стандартные, так и пользовательские сущности) в схематизированной форме модели общих данных. Бизнес-аналитики могут воспользоваться преимуществами стандартной схемы и ее семантической согласованности или настроить свои сущности в соответствии с их уникальными потребностями. Общая модель данных продолжает развиваться в рамках инициативы по открытым данным.

Возможности потока данных в службах Microsoft Power Platform

Большинство возможностей потока данных доступны как в Power Apps, так и в Power BI. Потоки данных доступны в рамках планов этих служб. Некоторые функции потока данных относятся к конкретному продукту или доступны в разных планах продуктов. В следующей таблице описаны функции потока данных и их доступность.

Характеристики потока данных Power Apps Power BI
Запланированное обновление До 48 в день До 48 в день
Максимальное время обновления сущности До 2 часов До 2 часов
Создание потока данных с помощью Power Query Online Да Да
Управление потоками данных На портале администрирования Power Apps На портале администрирования Power BI
Новые соединители Да Да
Стандартизованная схема и встроенная поддержка модели общих данных Да Да
Соединитель данных потоков данных в Power BI Desktop Для потоков данных с Azure Data Lake Storage в качестве назначения Да
Интеграция с Azure Data Lake Storage организации Да Да
Интеграция с Dataverse Да Нет
Сущности, связанные с потоком данных Для потоков данных с Azure Data Lake Storage в качестве назначения Да
Вычисляемые сущности (преобразования в хранилище с использованием M) Для потоков данных с Azure Data Lake Storage в качестве назначения Только Power BI Premium
Добавочное обновление потока данных Для потоков данных с Azure Data Lake Storage в качестве назначения требуется План 2 Power Apps Только Power BI Premium
Выполнение в Power BI Premium емкости / параллельное выполнение преобразований Нет Да

Известные ограничения

Дальнейшие действия

Дополнительные сведения о потоках данных в Power Apps:

Дополнительные сведения о потоках данных в Power BI:

В следующих статьях содержатся более подробные сведения о типичных сценариях применения потоков данных.

Дополнительные сведения о модели Common Data Model и стандарте папок Common Data Model см. в следующих статьях: