Создание и использование потоков данных в Microsoft Power Platform
Использование потоков данных с Microsoft Power Platform упрощает подготовку данных и позволяет повторно использовать подготовку данных в последующих отчетах, приложениях и моделях.
В мире постоянно расширяющихся данных подготовка данных может быть сложной и дорогой. Он может потреблять до 60–80 процентов времени и затрат на типичный проект аналитики. Для таких проектов могут потребоваться фрагментированные и неполные данные, сложная интеграция системы, данные со структурными несоответствиями и высокий барьер набора навыков.
Чтобы упростить подготовку данных и повысить ценность данных, были созданы потоки данных Power Query и Power Platform.
Благодаря потокам данных корпорация Майкрософт предоставляет возможности самостоятельной подготовки данных в Power BI и Power Apps веб-службы и расширяет существующие возможности следующим образом:
Самостоятельная подготовка данных для больших данных с потоками данных: потоки данных можно использовать для легкого приема, очистки, преобразования, интеграции, обогащения и схемы данных из большого и постоянно растущего массива транзакционных и наблюдений источников, охватывающих всю логику подготовки данных. Ранее логика извлечения, преобразования, загрузки (ETL) могла быть включена только в семантические модели в Power BI, скопирована между семантических моделей и привязана к параметрам управления семантической моделью.
При использовании потоков данных логика ETL повышается до артефакта первого класса в службах Microsoft Power Platform и включает выделенные возможности разработки и управления. Бизнес-аналитики, специалисты бизнес-аналитики и специалисты по обработке и анализу данных могут использовать потоки данных, чтобы справиться с самыми сложными проблемами подготовки данных и опираться на работу друг друга благодаря революционному механизму вычислений на основе модели. Этот механизм заботится обо всех преобразованиях и логике зависимостей, сокращающих время, затраты и опыт, в доли того, что традиционно требуется для этих задач. Вы можете создавать потоки данных с помощью хорошо известного, самостоятельного подготовки данных Power Query. Потоки данных создаются и легко управляются в рабочих областях приложений или средах в Power BI или Power Apps соответственно, наслаждаясь всеми возможностями этих служб, такими как управление разрешениями и запланированные обновления.
Загрузка данных в Dataverse или Azure Data Lake служба хранилища. В зависимости от варианта использования можно хранить данные, подготовленные потоками данных Power Platform, в учетной записи Dataverse или azure Data Lake вашей организации служба хранилища:
Dataverse позволяет безопасно хранить и управлять данными, которые используются бизнес-приложениями. Данные в Dataverse хранятся в наборе таблиц. Таблица представляет собой набор строк (ранее называемых записями) и столбцов (ранее называемых полями/атрибутами). Каждый столбец в таблице предназначен для хранения определенного типа данных, например, имени, возраста, заработной платы и т. д. Dataverse включает базовый набор стандартных таблиц, охватывающих типичные сценарии, но вы также можете создавать пользовательские таблицы, относящиеся к вашей организации, и заполнять их данными с помощью потоков данных. Затем разработчики приложений могут использовать Power Apps и Power Automate для создания расширенных приложений, использующих эти данные.
Azure Data Lake служба хранилища позволяет совместно работать с людьми в организации с помощью Power BI, Azure Data и служб ИИ или с помощью настраиваемых бизнес-приложений, которые считывают данные из озера. Потоки данных, которые загружают данные в Azure Data Lake служба хранилища хранения данных в папках Common Data Model. Общие папки модели данных содержат схемизированные данные и метаданные в стандартизованном формате, чтобы упростить обмен данными и обеспечить полное взаимодействие между службами, которые создают или используют данные, хранящиеся в учетной записи Azure Data Lake служба хранилища организации в качестве общего уровня хранения.
Расширенная аналитика и искусственный интеллект с помощью Azure: потоки данных Power Platform хранят данные в Dataverse или Azure Data Lake служба хранилища. Это означает, что данные, полученные через потоки данных, теперь доступны инженерам и специалистам по обработке и анализу данных Azure для применения полной мощности служб данных Azure, таких как Машинное обучение Azure, Azure Databricks и Azure Synapse Analytics для расширенной аналитики и искусственного интеллекта. Это позволяет бизнес-аналитикам, инженерам и специалистам по обработке и анализу данных совместно работать с теми же данными в своей организации.
Поддержка common Data Model: Common Data Model — это набор стандартных схем данных и системы метаданных для обеспечения согласованности данных и его значения в приложениях и бизнес-процессах. Потоки данных поддерживают общую модель данных, предлагая простое сопоставление из любых данных в любой форме в стандартных таблицах модели общих данных, таких как учетная запись и контакт. Потоки данных также помещает данные как в стандартные, так и пользовательские таблицы в схемизированной форме Common Data Model. Бизнес-аналитики могут воспользоваться стандартной схемой и ее семантической согласованности или настроить их таблицы на основе уникальных потребностей. Общая модель данных продолжает развиваться в рамках инициативы Open Data.
Возможности потока данных в службах Microsoft Power Platform
Большинство возможностей потока данных доступны как в Power Apps, так и в Power BI. Потоки данных доступны в рамках планов этих служб. Некоторые функции потока данных относятся либо к продуктам, либо доступны в различных планах продуктов. В следующей таблице описываются функции потока данных и их доступность.
| Возможность потока данных | Power Apps | Power BI |
|---|---|---|
| Запланированное обновление | До 48 в день | До 48 в день |
| Максимальное время обновления таблицы | До 2 часов | До 2 часов |
| Создание потока данных с помощью Power Query Online | Да | Да |
| Управление потоками данных | На портале администрирования Power Apps | На портале администрирования Power BI |
| Новые соединители | Да | Да |
| Стандартизованная схема / встроенная поддержка общей модели данных | Да | Да |
| Потоки данных Подключение or в Power BI Desktop | Для потоков данных с azure Data Lake служба хранилища в качестве назначения | Да |
| Интеграция с azure Data Lake служба хранилища организации | Да | Да |
| Интеграция с Dataverse | Да | Нет |
| Связанные таблицы потока данных | Для потоков данных с azure Data Lake служба хранилища в качестве назначения | Да |
| Вычисляемые таблицы (преобразования в хранилище с помощью M) | Для потоков данных с azure Data Lake служба хранилища в качестве назначения | Только Power BI Premium |
| Добавочное обновление потока данных | Для потоков данных с azure Data Lake служба хранилища в качестве назначения требуется План Power Apps2 | Только Power BI Premium |
| Выполнение в емкости Power BI Premium или параллельное выполнение преобразований | No | Да |
Известные ограничения
- Копирование потоков данных в рамках операции копирования сред Power Platform не поддерживается.
Следующие шаги
Дополнительные сведения о потоках данных в Power Apps:
- Подготовка данных самообслуживания в Power Apps
- Создание и использование потоков данных в Power Apps
- Подключение Azure Data Lake Storage 2-го поколения для хранения потока данных
- Добавление данных в таблицу в Dataverse с помощью Power Query
- Посетите сообщество потоков данных Power Apps и поделитесь тем, что вы делаете, задаете вопросы или отправляете новые идеи
- Посетите форум сообщества потоков данных Power Apps и поделитесь тем, что вы делаете, задаете вопросы или отправляете новые идеи
Дополнительные сведения о потоках данных в Power BI:
- Подготовка данных самообслуживания в Power BI
- Создание и использование потоков данных в Power BI
- Технический документ для потоков данных
- Подробное видео пошагового руководства по потокам данных
- Посетите сообщество потоков данных Power BI и поделитесь тем, что вы делаете, задаете вопросы или отправляете новые идеи
Дополнительные сведения о распространенных сценариях использования потоков данных см. в следующих статьях.
- Использование добавочного обновления с потоками данных
- Создание вычисляемых таблиц в потоках данных
- Подключение в источники данных для потоков данных
- Связывание таблиц между потоками данных
Дополнительные сведения о стандартной папке Common Data Model и папке Common Data Model см. в следующих статьях: