Создание и использование потоков данных в Microsoft Power Platform

Tip

Power BI Dataflow 1-го поколения теперь находится в устаревшем состоянии и не получит новых инвестиций в функции. Для новых проектов подготовки и интеграции данных рекомендуется создать поток данных 2-го поколения в Фабрике данных для Microsoft Fabric, который использует тот же интерфейс Power Query с добавленной поддержкой для дополнительных назначений данных, оркестрации конвейеров и встроенного ИИ. Дополнительные сведения об обновлении существующих потоков данных см. в статье Об обновлении потоков данных из потока данных 1-го поколения в поток данных 2-го поколения.

Использование потоков данных с Microsoft Power Platform упрощает подготовку данных и позволяет повторно использовать подготовку данных в последующих отчетах, приложениях и моделях.

В мире постоянно расширяющихся данных подготовка данных может быть сложной и дорогой. Он может потреблять до 60–80 процентов времени и затрат на типичный проект аналитики. Для таких проектов могут потребоваться фрагментированные и неполные данные, сложная интеграция системы, данные со структурными несоответствиями и высокий барьер набора навыков.

Чтобы упростить подготовку данных и повысить ценность данных, были созданы потоки данных Power Query и Power Platform.

Скриншот, показывающий, как выбрать соединитель Dataflows Power Platform.

С помощью dataflows корпорация Майкрософт внедряет возможности самостоятельной подготовки данных с использованием Power Query в веб-службы Power BI и Power Apps, расширяя существующие возможности следующим образом:

  • Самостоятельная подготовка данных для больших данных с потоками данных: Потоки данных можно использовать для легкого приема, очистки, преобразования, интеграции, обогащения и создания схем данных из большого и постоянно растущего массива транзакционных и наблюдательных источников, охватывающего всю логику подготовки данных. Ранее логика извлечения, преобразования, загрузки (ETL) могла быть включена только в семантические модели в Power BI, скопирована между семантических моделей и привязана к параметрам управления семантической моделью.

    При использовании потоков данных логика ETL повышается до артефакта первого класса в службах Microsoft Power Platform и включает выделенные возможности разработки и управления. Бизнес-аналитики, специалисты бизнес-аналитики и специалисты по обработке и анализу данных могут использовать потоки данных, чтобы справиться с самыми сложными проблемами подготовки данных и опираться на работу друг друга благодаря революционному механизму вычислений на основе модели. Этот механизм заботится обо всех преобразованиях и логике зависимостей, что позволяет сократить время, затраты и потребность в опыте до малой доли того, что традиционно требовалось для выполнения этих задач. Вы можете создавать потоки данных, используя хорошо известный, самостоятельный интерфейс подготовки данных в Power Query. Потоки данных создаются и легко управляются в рабочих областях приложений или средах в Power BI или Power Apps соответственно, наслаждаясь всеми возможностями этих служб, такими как управление разрешениями и запланированные обновления.

  • Загрузка данных в Dataverse или Azure Data Lake Storage. В зависимости от вашего варианта использования можно хранить данные, подготовленные потоками данных Power Platform в Dataverse или учетной записи Azure Data Lake Storage вашей организации:

    • Dataverse позволяет безопасно хранить и управлять данными, которые используются бизнес-приложениями. Данные в Dataverse хранятся в наборе таблиц. Таблица — это набор строк (прежнее название — записи) и столбцы (ранее называемые полями или атрибутами). Каждый столбец в таблице предназначен для хранения определенных типов данных, например имени, возраста, заработной платы и т. д. Dataverse включает базовый набор стандартных таблиц, охватывающих типичные сценарии, но вы также можете создавать пользовательские таблицы, относящиеся к вашей организации, и заполнять их данными с помощью потоков данных. Затем разработчики приложений могут использовать Power Apps и Power Automate для создания расширенных приложений, использующих эти данные.

    • Azure Data Lake Storage позволяет совместно работать с людьми в организации с помощью Power BI, Azure Data и служб ИИ или с помощью настраиваемых бизнес-приложений, которые считывают данные из озера. Потоки данных, загружающие данные в учетную запись Azure Data Lake Storage, сохраняют их в папках Common Data Model. Общие папки модели данных содержат схемизированные данные и метаданные в стандартизованном формате, чтобы упростить обмен данными и обеспечить полное взаимодействие между службами, которые создают или используют данные, хранящиеся в учетной записи Azure Data Lake Storage организации в качестве общего уровня хранения.

  • Расширенная аналитика и искусственный интеллект с помощью Azure: потоки данных Power Platform хранят данные в Dataverse или Azure Data Lake Storage. Это означает, что данные, полученные через потоки данных, теперь доступны инженерам данных и специалистам по обработке и анализу данных для применения полной мощности служб данных Azure, таких как Машинное обучение Azure, Azure Databricks и Azure Synapse Analytics для расширенной аналитики и искусственного интеллекта. Эта доступность позволяет бизнес-аналитикам, инженерам и специалистам по обработке и анализу данных совместно работать с теми же данными в своей организации.

  • Поддержка common Data Model: Common Data Model — это набор стандартных схем данных и системы метаданных для обеспечения согласованности данных и его значения в приложениях и бизнес-процессах. Потоки данных поддерживают общую модель данных, предлагая простое сопоставление из любых данных в любой форме в стандартных таблицах модели общих данных, таких как учетная запись и контакт. Потоки данных также помещают данные как в стандартные, так и пользовательские таблицы в схематизированной форме Common Data Model. Бизнес-аналитики могут воспользоваться стандартной схемой и ее семантической согласованности или настроить их таблицы на основе уникальных потребностей. Общая модель данных продолжает развиваться в рамках инициативы Open Data.

Возможности потока данных в службах Microsoft Power Platform

Большинство возможностей потока данных доступны как в Power Apps, так и в Power BI. Потоки данных доступны в рамках планов этих служб. Некоторые функции потока данных относятся либо к продуктам, либо доступны в различных планах продуктов. В следующей таблице описываются функции потока данных и их доступность.

Возможность потока данных Power Apps Power BI
Запланированное обновление До 48 в день До 48 в день
Максимальное время обновления таблицы До 2 часов До 2 часов
Создание потока данных с помощью Power Query Online Да Да
Управление потоками данных На портале администрирования Power Apps На портале администрирования Power BI
Новые соединители Да Да
Стандартизованная схема / встроенная поддержка общей модели данных Да Да
Соединитель потоков данных в Power BI Desktop Для потоков данных с Azure Data Lake Storage в качестве назначения Да
Интеграция с Azure Data Lake Storage организации Да Да
Интеграция с Dataverse Да нет
Связанные таблицы потока данных Для потоков данных с Azure Data Lake Storage в качестве назначения Да
Вычисляемые таблицы (преобразования в хранилище с помощью M) Для потоков данных с Azure Data Lake Storage в качестве назначения Только Power BI Premium
Инкрементное обновление потока данных Для потоков данных с Azure Data Lake Storage в качестве места назначения требуется Power Apps Plan2 Только Power BI Premium
Выполнение в мощностях Power BI Premium и/или параллельное выполнение преобразований нет Да

Известные ограничения

  • Копирование потоков данных в рамках операции резервного копирования и восстановления сред не поддерживается.
  • Копирование потоков данных как часть операции копирования сред Power Platform не сохраняет настройки уведомлений электронной почты.
  • Изменение владельца потока данных с подключением и параметром запроса также изменит значение параметра на предыдущее значение (если такое значение было задано).

Дальнейшие шаги

Дополнительные сведения о потоках данных в Power Apps:

Дополнительные сведения о потоках данных в Power BI:

Дополнительные сведения о распространенных сценариях использования потоков данных см. в следующих статьях.

Для получения дополнительной информации о Common Data Model и стандарте папки Common Data Model, см. следующие статьи:

  • Last updated on