Поделиться через

Что такое аналитика в режиме реального времени?

Аналитика в режиме реального времени — это мощная служба, которая позволяет всем пользователям организации извлекать аналитические сведения и визуализировать их данные в движении. Он предлагает комплексное решение для сценариев, в которых необходимо реагировать на события по мере их выполнения, обрабатывать непрерывные потоки данных или анализировать журналы. Будь то работа с гигабайтами или петабайтами, все данные организации в движении сходятся в Центре обработки в реальном времени. Он легко подключает данные на основе времени из различных источников с помощью соединителей без кода, позволяя немедленно анализировать визуальные данные, геопространственный анализ и реакции на основе триггеров, которые являются частью каталога данных всей организации.

После простого подключения к любому потоку данных все облачное решение становится доступным. Real-Time Intelligence обрабатывает прием данных, преобразование, хранение, моделирование, аналитику, визуализацию, отслеживание, ИИ и действия в режиме реального времени. Ваши данные остаются защищенными, управляемыми и интегрированными в вашей организации, легко соответствующие всему предложению Fabric. Аналитика в режиме реального времени преобразует данные в динамический, действенный ресурс, который приносит пользу всей организации.

Может ли аналитика в режиме реального времени помочь мне?

Real-Time интеллект можно использовать для анализа данных, непосредственного визуального инсайта, централизации активно перемещающихся данных для организации, действий с данными, эффективного запроса, преобразования, моделирования и хранения больших объемов структурированных или неструктурированных данных. Необходимо ли оценивать данные из систем Интернета вещей, системных журналов, свободного текста, полуструктурированных данных или вносить данные для использования другими пользователями в организации, аналитика в режиме реального времени предоставляет универсальное решение.

Несмотря на то, что это называется "в режиме реального времени", поток данных не обязательно должен быть с высокой скоростью и объемом. Аналитика в режиме реального времени предоставляет решения, которые реагируют на события по мере их возникновения, а не запланированные решения. Компоненты интеллектуального анализа в реальном времени основываются на основных, доверенных сервисах Microsoft, что вместе позволяет расширить общие возможности Fabric для мгновенно реагирующих на изменения данных решений.

Приложения аналитики в режиме реального времени охватывают широкий спектр бизнес-сценариев, таких как автомобили, производство, IoT, обнаружение мошенничества, управление бизнес-операциями и обнаружение аномалий. Вы также можете использовать сценарии Real-Time Intelligence для ИИ и агентических приложений, например мониторинг безопасности содержимого в режиме реального времени и телеметрию агента для создания приложений, где сигналы безопасности и события беседы передаются и анализируются для немедленного действия.

Как пользоваться интеллектуальными системами в режиме реального времени?

Аналитика в режиме реального времени в Microsoft Fabric предоставляет возможности, которые в сочетании позволяют создавать решения интеллектуального анализа в режиме реального времени для поддержки бизнес-процессов и инженерных процессов.

Диаграмма архитектуры аналитики в реальном времени в Microsoft Fabric.

  • Центр реального времени служит централизованным каталогом в вашей организации. Это упрощает поиск, добавление, изучение и совместное использование потоковых данных. Подключився к различным источникам данных, вы можете получить аналитические сведения во всей организации. Важно, что этот центр гарантирует, что данные не только доступны, но и доступны для всех, содействие быстрому принятию решений и информированным действиям. Совместное использование потоковых данных из различных источников разблокирует потенциал для создания комплексной бизнес-аналитики в вашей организации.

  • Выбрав поток из вашей организации или подключенный к внешним или внутренним источникам, вы можете использовать средства потребления данных в аналитике в режиме реального времени для изучения данных. Эти средства позволяют визуально изучить данные и получить более подробные сведения. Вы можете получить доступ к данным, новым для вас, и легко понять структуру данных, шаблоны, аномалии, прогнозируемые объемы и скорости данных. Соответственно, вы можете действовать или принимать умные решения на основе данных. Панели мониторинга в режиме реального времени оснащены предварительно настроенными взаимодействиями, которые упрощают процесс понимания данных, делая его доступным для всех, кто хочет принимать решения на основе потоковых данных с помощью визуальных инструментов, естественного языка и Copilot.

  • Эти сведения можно превратить в действия с помощью Fabric Activator, при настройке уведомлений из различных частей Fabric для реагирования на шаблоны данных и условия в режиме реального времени.

Как взаимодействовать с компонентами системы интеллектуального анализа в реальном времени?

Обнаружение потоковых данных

Центр реального времени используется для обнаружения и управления потоковыми данными. События концентратора реального времени — это каталог данных в движении и содержит:

  • Data streams: Все потоки данных, которые активно выполняются в Fabric, к которым у вас есть доступ.

  • Источники Майкрософт: Легко обнаружить источники потоковой передачи, которые у вас есть, и быстро конфигурировать интеграцию этих источников в Fabric. Источники Change Data Capture (CDC) отслеживают и передают изменения, внесенные в ваши базы данных в режиме реального времени, например: Центры событий Azure, Центр Интернета вещей Azure, Azure SQL DB CDC, Azure Cosmos DB CDC, PostgreSQL DB CDC.

  • события Fabric: возможности, основанные на событиях, поддерживают уведомления и обработку данных в режиме реального времени. Вы можете отслеживать и реагировать на события, включая события элементов рабочей области Fabric и события Хранилище BLOB-объектов Azure. Эти события можно использовать для активации других действий или рабочих процессов, таких как вызов конвейера или отправка уведомления по электронной почте. Эти события также можно отправлять в другие места назначения через потоки событий. События Fabric и события Хранилище BLOB-объектов Azure также могут запускать правила Activator для инициирования заданий Spark или Dataflows, что позволяет полностью перейти к оркестрации, управляемой событиями, без расписаний.

Эти данные представлены в легко потребляемом формате и доступны для всех рабочих нагрузок Fabric.

Подключение к потоковым данным

Потоки событий позволяют собирать, преобразовывать и отправлять большие объемы данных в режиме реального времени в разные места назначения без написания кода. Потоки событий поддерживают несколько источников данных и назначений данных, включая широкий спектр соединителей к внешним источникам, например кластеры Apache Kafka, каналы отслеживания измененных данных базы данных, источники потоковой передачи AWS (Kinesis), Google (GCP Pub/Sub), MQTT версии 3.1.1.1 и соединитель погоды Real-Time. Сигналы телеметрии приложений и безопасности содержимого из служб ИИ или LLM также могут приниматься в виде потоков (например, через соединители Kafka или Центров событий) для обеспечения управления и мониторинга взаимодействия агентов. Создание оповещений и управление правилами внедрены непосредственно в потоки событий, что позволяет пользователям задавать оповещения и действия из интерфейса eventstreams без переключения контекста.

Обработка потоков данных

С помощью возможностей обработки событий в Eventstreams можно выполнять фильтрацию, очистку данных, преобразование, агрегирование с использованием временных окон и обнаружение дубликатов, чтобы привести данные к нужной форме. Вы также можете использовать возможности маршрутизации на основе содержимого для отправки данных в разные места назначения на основе фильтров. Другая функция, производные потоки событий, позволяет создавать новые потоки в результате преобразований и (или) агрегирования, которые могут использоваться потребителями в концентраторе реального времени.

Хранение и анализ данных

Центры событий — это идеальный механизм аналитики для обработки данных в движении. Они разработаны для временных потоковых событий со структурированными, полуструктурированными и неструктурированными данными. Данные автоматически упорядочены на основе времени их поступления, поэтому вы можете выполнять быстрые подробные запросы даже на больших объемах данных. Данные, хранящиеся в хранилищах событий, могут быть доступны на платформе OneLake для использования в других компонентах Fabric.

Индексированные секционированные данные, хранящиеся в хранилищах событий, готовы к молниеносным запросам с использованием различных параметров кода, низкого кода или без кода в Fabric. Данные можно запрашивать в собственном KQL (язык запросов Kusto) или с помощью T-SQL в наборе запросов KQL. Kusto copilot вместе с безкодовым интерфейсом для изучения запросов упрощает процесс анализа данных для опытных пользователей KQL и обычных пользователей данных. KQL — это простой, но мощный язык для запроса структурированных, полуструктурированных и неструктурированных данных. Язык выразителен, прост и понятен для чтения и для понимания цели запроса, и оптимизирован для комфортного написания кода.

В сценариях искусственного интеллекта и агентических приложений запросы KQL с низкой задержкой по поводу событий безопасности и телеметрии обеспечивают практически в реальном времени панели мониторинга и обнаружение аномалий в беседах агентов. Организация временных рядов данных хранилища событий хорошо подходит для сопоставления сигналов безопасности содержимого с метаданными сеанса, поэтому можно быстро решать проблемы и выявлять тенденции в рабочих нагрузках генерируемого искусственного интеллекта.

Данные модели

Построитель цифровых двойников (предварительная версия) — это низкокодовый интерфейс для моделирования данных в виде онтологии, которая цифрово представляет вашу физическую среду. Моделирование ресурсов и процессов может помочь оптимизировать физические операции с помощью данных таким образом, чтобы они были доступны для принятия операционных решений.

С помощью построителя цифровых двойников можно сопоставить данные с онтологией из различных исходных систем, включая Fabric OneLake, и определить системные или семантические связи на уровне всей площадки для контекстуализации данных. Конструктор цифровых двойников включает готовые визуализационные функции и функции запросов для изучения смоделированных данных и использует возможности Microsoft Fabric для анализа больших наборов данных, таких как данные временных рядов и записи обслуживания, которые могут растянуться на протяжении нескольких дней, недель или месяцев.

Данные конструктора цифровых двойников также можно подключить к Power BI или панелям мониторинга в режиме реального времени для дополнительной визуализации и настройки отчетов о смоделированных данных. Правила также можно определить в онтологических бизнес-сущностях для инициирования оповещений и автоматизированных действий (предварительная версия), связывая смоделированные сущности с downstream действиями в режиме реального времени.

Визуализация аналитики данных

Аналитические сведения о данных можно визуализировать в наборах запросов KQL, панелях мониторинга в реальном времени, в отчетах Power BI и на картах, с коротким промежутком времени от приема данных до получения аналитических сведений. Параметры визуализации варьируются от полностью без кодирования до специализированных функций, предоставляя возможности как новичку, так и эксперту в анализе данных, чтобы визуализировать их данные в форме диаграмм и таблиц. Визуальные подсказки можно использовать для выполнения операций фильтрации и агрегирования результатов запроса и использования полного списка встроенных визуализаций. Эти аналитические сведения можно просмотреть в отчетах Power BI и Real-Time панелях мониторинга, оба из которых могут содержать оповещения, основанные на аналитических данных.

Карта в Microsoft Fabric — это инструмент динамической геопространственной визуализации, который позволяет анализировать как статические данные, так и данные в режиме реального времени для более глубокого интеллекта. Она поддерживает несколько настраиваемых слоев данных, таких как пузырьки, тепловая карта, многоугольники и трехмерные экструзии, что позволяет выявить пространственные шаблоны и тенденции, которые часто пропускают традиционные диаграммы. Интегрируя с платформами Lakehouses и Eventhouses и предоставляя возможность выполнения запросов KQL с интервалами обновления, Map упрощает аналитику данных в режиме реального времени, помогая командам отслеживать текущие изменения, обнаруживать аномалии и принимать своевременные решения. Благодаря встроенным стилям карт и поддержке таких форматов, как GeoJSON и PMTiles, это мощный ресурс для оперативной осведомленности и пространственной аналитики. Дополнительные сведения см. в разделе "Создание карты".

Триггерные действия

Оповещения отслеживают изменение данных и автоматически выполняют действия при обнаружении шаблонов или условий. Данные могут передаваться в Real-Time хабе или наблюдаться из запроса Kusto или из отчета Power BI. При выполнении определенных условий или логики выполняется действие, например оповещение пользователей, выполнение Fabric элементов задания, таких как конвейер, задание Spark или поток данных, выполнение пользовательских функций данных или запуск рабочих процессов Power Automate. Логика может быть просто определенным пороговым значением, шаблоном, например событиями, происходящими неоднократно за определенный период времени, или результатами сложной логики, определенной запросом KQL. Для генеративных приложений ИИ можно настроить рабочие процессы обеспечения безопасности контента с помощью оповещений, управляемых условиями KQL (например, превышение порога токсичности или повторяющиеся нарушения политики), чтобы уведомить собственников приложений, направлять события в потоки карантина или запускать конвейеры и рабочие процессы Power Automate для регулирования или блокировки. Активатор преобразует аналитические сведения на основе событий в полезные бизнес-преимущества. Активатор также интегрируется с служба Power BI для уведомления пользователей о возникновении указанных условий в опубликованных отчетах, таких как при появлении новой строки в визуальном элементе таблицы.

Интеграция с другими интерфейсами Fabric

Связанный контент

  • Last updated on