Что такое потоки данных?

Совет

Попробуйте использовать поток данных 2-го поколения в Фабрике данных в Microsoft Fabric— решение для аналитики всех в одном формате для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Потоки данных — это самостоятельная облачная технология подготовки данных. Потоки данных позволяют клиентам получать, преобразовывать и загружать данные в среды Microsoft Dataverse, рабочие области Power BI или учетную запись Azure Data Lake вашей организации служба хранилища. Потоки данных создаются с помощью Power Query, унифицированного подключения к данным и подготовки, уже представленного во многих продуктах Майкрософт, включая Excel и Power BI. Клиенты могут запускать потоки данных по запросу или автоматически в расписании; данные всегда хранятся в актуальном состоянии.

Потоки данных можно создавать в нескольких продуктах Майкрософт

Потоки данных представлены в нескольких продуктах Майкрософт и не требуют создания или запуска лицензии для потока данных. Потоки данных доступны в Power Apps, Power BI и Dynamics 365 Customer Аналитика. Возможность создавать и запускать потоки данных объединяется с лицензиями этих продуктов. Функции потока данных в основном распространены во всех продуктах, в которых они представлены, но некоторые функции, относящиеся к продукту, могут существовать в потоках данных, созданных в одном продукте и другом.

Как функция потока данных?

На предыдущем рисунке показано общее представление о том, как определяется поток данных. Поток данных получает данные из разных источников данных (уже поддерживаются более 80 источников данных). Затем на основе преобразований, настроенных с помощью интерфейса разработки Power Query, поток данных преобразует данные с помощью подсистемы потока данных. Наконец, данные загружаются в выходное назначение, которое может быть средой Microsoft Power Platform, рабочей областью Power BI или учетной записью Azure Data Lake организации служба хранилища.

Потоки данных выполняются в облаке

Потоки данных основаны на облаке. При создании и сохранении потока данных его определение хранится в облаке. Поток данных также выполняется в облаке. Однако если источник данных находится в локальной среде, локальный шлюз данных можно использовать для извлечения данных в облако. При запуске потока данных преобразование и вычисление данных происходит в облаке, а назначение всегда находится в облаке.

Потоки данных используют мощный механизм преобразования

Power Query — это модуль преобразования данных, используемый в потоке данных. Этот механизм может поддерживать множество расширенных преобразований. Он также использует простой, но мощный графический пользовательский интерфейс, называемый Редактор Power Query. С помощью этого редактора можно использовать потоки данных, чтобы быстрее и проще разрабатывать решения для интеграции данных.

Интеграция потока данных с Microsoft Power Platform и Dynamics 365

Так как поток данных хранит полученные таблицы в облачном хранилище, другие службы могут взаимодействовать с данными, созданными потоками данных.

Например, приложения Power BI, Power Apps, Power Automate, Power Virtual Agent и Dynamics 365 могут получать данные, созданные потоком данных, путем подключения к Dataverse, соединителю потока данных Power Platform или непосредственно через озеро в зависимости от назначения, настроенного во время создания потока данных.

Преимущества потоков данных

В следующем списке описаны некоторые преимущества использования потоков данных.

• Поток данных отделяет уровень преобразования данных от уровня моделирования и визуализации в решении Power BI.

• Код преобразования данных может находиться в центральном расположении, а не распространяться между несколькими артефактами.

• Создатель потока данных нуждается только в навыках Power Query. В среде с несколькими создателями создатель потока данных может быть частью команды, которая вместе создает все решение бизнес-аналитики или рабочее приложение.

• Поток данных не зависит от продукта. Это не только компонент Power BI; данные можно получить в других средствах и службах.

• Потоки данных используют преимущества Power Query, мощного, графического, самостоятельного преобразования данных.

• Потоки данных выполняются полностью в облаке. Дополнительная инфраструктура не требуется.

• Вы можете начать работу с потоками данных, используя лицензии для Power Apps, Power BI и клиента Аналитика.

• Хотя потоки данных способны к расширенным преобразованиям, они предназначены для сценариев самообслуживания и не требуют ит-специалистов или разработчиков фона.

Сценарии использования для потоков данных

Потоки данных можно использовать для многих целей. В следующих сценариях приведены несколько примеров распространенных вариантов использования потоков данных.

Миграция данных из устаревших систем

В этом сценарии было принято организацией решение об использовании Power Apps для нового интерфейса пользователя, а не устаревшей локальной системы. Power Apps, Power Automate и AI Builder используют Dataverse в качестве основной системы хранения данных. Текущие данные в существующей локальной системе можно перенести в Dataverse с помощью потока данных, а затем эти продукты могут использовать эти данные.

Использование потоков данных для создания хранилища данных

Потоки данных можно использовать в качестве замены для других средств извлечения, преобразования, загрузки (ETL) для создания хранилища данных. В этом сценарии инженеры данных компании решили использовать потоки данных для создания хранилища данных, разработанного звездой, включая таблицы фактов и измерений в Data Lake служба хранилища. Затем Power BI используется для создания отчетов и панелей мониторинга путем получения данных из потоков данных.

Использование потоков данных для создания трехмерной модели

Потоки данных можно использовать в качестве замены для других средств ETL для создания трехмерной модели. Например, инженеры данных компании решили использовать потоки данных для создания модели измерений, разработанной звездой, включая таблицы фактов и измерений в Azure Data Lake Storage 2-го поколения. Затем Power BI используется для создания отчетов и панелей мониторинга путем получения данных из потоков данных.

Централизация подготовки и повторного использования семантических моделей в нескольких решениях Power BI

Если несколько решений Power BI используют одну и ту же преобразованную версию таблицы, процесс создания таблицы будет повторяться несколько раз. Это увеличивает нагрузку на исходную систему, потребляет больше ресурсов и создает повторяющиеся данные с несколькими точками сбоя. Вместо этого можно создать один поток данных для вычисления данных для всех решений. Затем Power BI может повторно использовать результат преобразования во всех решениях. Поток данных, если он используется таким образом, может быть частью надежной архитектуры реализации Power BI, которая избегает дублирования кода Power Query и снижает затраты на обслуживание уровня интеграции данных.

Следующие шаги

В следующих статьях приведены дополнительные учебные материалы для потоков данных.

• Создание и использование потоков данных в Microsoft Power Platform
• Creating and using dataflows in Power BI (Создание и использование потоков данных в Power BI)