Новые и запланированные возможности аналитики в режиме реального времени в Microsoft Fabric
Внимание
Планы выпуска описывают функциональные возможности, которые могут или не были выпущены. Временная шкала доставки и проецируемые функциональные возможности могут изменяться или не могут отправляться. Дополнительные сведения см. в политике Майкрософт.
Аналитика в режиме реального времени позволяет специалистам по обработке данных, аналитикам и бизнес-пользователям принимать, обрабатывать, анализировать, преобразовывать, визуализировать и действовать на больших, чувствительных к времени и высоко детализированных данных, чтобы помочь организациям принимать более обоснованные бизнес-решения. Это комплексный интерфейс, позволяющий легко обрабатывать данные в режиме реального времени без необходимости приземлиться в первую очередь. Аналитика в режиме реального времени основана на существующих возможностях аналитики и активации данных в режиме реального времени и предлагает новые функции, упрощающие работу пользователей всех уровней навыков, чтобы получить большую часть данных в режиме реального времени. К ним относятся прием потоковых данных с высокой степенью детализации, динамическое преобразование потоковых данных, запрос данных в режиме реального времени для мгновенной аналитики и активация таких действий, как оповещение рабочего менеджера при перегреве или повторном запуске заданий при сбое конвейеров данных.
Несмотря на то, что это называется "в режиме реального времени", данные не должны передаваться с высоким уровнем и объемами, чтобы получить истинную бизнес-ценность. Аналитика в режиме реального времени предоставляет решения на основе событий, а не решения на основе расписания, обеспечивая возможность принятия оптимальных решений вовремя.
За этой мощной рабочей нагрузкой находится центр реального времени, единый место для обнаружения, управления и использования данных паровых событий из Fabric, других источников данных Майкрософт и внешних источников данных. Так же, как и концентратор данных OneLake, упрощает обнаружение, управление и использование неактивных данных, концентратор в режиме реального времени может помочь вам сделать то же самое для данных в движении. Все события, которые передаются через концентратор реального времени, можно легко преобразовать и перенаправлять в любые хранилища данных Fabric и создавать новые потоки, которые можно обнаружить и использовать.
Дополнительные сведения см. в документации по аналитике в режиме реального времени и в блоге о объявлении.
Элементы, доступные в аналитике в режиме реального времени, :
Концентратор реального времени— одно место для обнаружения, управления и использования данных о событиях с паровыми данными из Fabric, других источников данных Майкрософт и внешних источников данных.
Потоки событий для записи, преобразования и маршрутизации событий в режиме реального времени в различные места назначения без кода.
Eventhouse и база данных KQL — это идеальный механизм аналитики для обработки данных в движении. Они адаптированы к событиям потоковой передачи с структурированными, полуструктурированными и неструктурированными данными. Эти данные автоматически индексируются и секционируются на основе времени приема, что обеспечивает невероятно быстрые и сложные возможности аналитических запросов для данных высокой детализации. Данные, хранящиеся в домах событий, можно сделать доступными в OneLake для использования другими интерфейсами Fabric.
Набор запросов KQL для выполнения запросов, просмотра и настройки результатов запроса на данные. Набор запросов KQL позволяет сохранять запросы для дальнейшего использования, экспорта и совместного использования запросов с другими пользователями. Он включает параметр создания отчета Power BI.
Панели мониторинга в режиме реального времени, содержащие коллекцию плиток. Каждая плитка имеет базовый запрос и визуальное представление идеально подходит для изучения данных, мониторинга и судебной экспертизы.
Активатор данных, который интегрируется с концентратором реального времени, потоками событий, панелями мониторинга в режиме реального времени и наборами запросов KQL, что упрощает активацию любых шаблонов или изменение данных в режиме реального времени.
Инвестиционные области
Azure Synapse Link из Cosmos DB в Хранилище событий Fabric
Предполагаемая временная шкала выпуска: Q3 2024
Клиенты могут передавать все обновления из Cosmos DB в базу данных KQL, обеспечивая масштабируемую и мощную аналитику.
Новые соединители потоковой передачи для общедоступных кластеров Kafka и CDC Mongo DB
Предполагаемая временная шкала выпуска: Q3 2024
Тип выпуска: общедоступная предварительная версия
Дополнительные соединители будут доступны через интерфейс получения событий, включая общедоступные кластеры Kafka и CDC Mongo DB.
Дополнительные системные события Fabric
Предполагаемая временная шкала выпуска: Q3 2024
Тип выпуска: общедоступная предварительная версия
Помимо событий рабочей области Fabric, другие системные события Fabric, такие как события диагностики платформы, будут доступны для подписки через Центр реального времени.
Интеграция с каталогом событий
Предполагаемая временная шкала выпуска: Q3 2024
Тип выпуска: общедоступная предварительная версия
Центр реального времени расширяет возможности для поддержки управления типами событий, предоставляя каталог для управления схемами и обнаружения.
Поддержка частной конечной точки уровня клиента Eventstream
Предполагаемая временная шкала выпуска: Q3 2024
Тип выпуска: общедоступная предварительная версия
Eventstream поддерживает частные конечные точки уровня клиента, обеспечивая потоки данных через безопасные сети и из него.
Дополнительные назначения для потоков событий
Предполагаемая временная шкала выпуска: Q3 2024
Тип выпуска: общедоступная предварительная версия
Потоки событий будут поддерживать дополнительные назначения, включая Eventhouse и элементы Интеграция данных.
Потоковая передача данных из Сетка событий Azure в потоки событий
Предполагаемая временная шкала выпуска: Q3 2024
Клиенты могут подписаться на события ресурсов Azure (например, события хранилища BLOB-объектов), события партнеров (например, SAP), пользовательские события или разделы MQTT, а затем опубликовать их в потоках событий.
Поддержка CI/CD для элементов Eventstream
Предполагаемая временная шкала выпуска: Q3 2024
Тип выпуска: общедоступная предварительная версия
Клиенты могут легко версии и развертывать свои потоки событий в рабочих областях разработки, тестирования и рабочей среды с помощью интегрированной интеграции и развертывания Git на платформе Fabric.
Обогащение данных событий путем объединения ссылочных данных в потоках событий
Предполагаемая временная шкала выпуска: Q3 2024
Во время приема данных о событиях в назначениях поток событий может обогатить данные событий, присоединившись к ним с справочными данными SQL, что позволяет клиентам извлекать более ценные аналитические сведения из своих данных о событиях.
Настройка оповещений в наборах запросов KQL
Предполагаемая временная шкала выпуска: Q3 2024
Тип выпуска: общедоступная предварительная версия
Активатор данных сможет отслеживать результаты запросов, управляемых в наборе запросов KQL, выполняя запрос по регулярному расписанию и выполняя действия по результатам.
Дополнительные параметры триггера
Предполагаемая временная шкала выпуска: Q3 2024
Тип выпуска: общедоступная предварительная версия
Чтобы устранить дополнительные запросы на мониторинг различных бизнес-условий, активатор данных будет поддерживать триггеры, которые проверяют значения даты и времени, основные математические функции и т. д.
Триггеры низкой задержки
Предполагаемая временная шкала выпуска: Q3 2024
Мы слышим в отзыве клиента о том, что триггеры должны реагировать быстрее при выполнении указанного условия. Активатор данных поддерживает триггеры с низкой задержкой в сценариях с простыми условиями и меньшим объемом данных. Эта функция будет закрытой предварительной версией в этот период времени.
Схема сущностей базы данных KQL
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общедоступная предварительная версия
визуальное представление сущностей KQL DB и их связей (таких как таблицы, функции, материализованные представления и многое другое).
Поддержка параметров при активации действий Fabric и веб-перехватчиков
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общедоступная предварительная версия
Триггеры, которые выполняют действия, запуская задания Fabric или вызывая веб-перехватчики, смогут передавать значения свойств в модели рефлектора в качестве параметров заданию или веб-перехватчику.
Поддержка веб-перехватчика
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общедоступная предварительная версия
Веб-перехватчики представляют большую базу интеграции приложений, которую можно использовать в разных сценариях. Активатор данных будет поддерживать действия, которые вызывают веб-перехватчики при срабатывании триггеров.
Отправленные функции
Маршрутизация событий на основе содержимого в назначения в потоках событий
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
При переносе обработчика событий без кода на основной холст потока событий клиенты могут направлять данные о событиях в назначения на основе содержимого события с помощью логики обработки событий, определенной обработчиком событий.
Получение данных из Концентратора реального времени в активаторе данных
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Перенос новых событий в рефлекторные элементы с помощью встроенного браузера Концентратора реального времени.
Создание триггеров из Концентратора реального времени
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
В Центре реального времени вы увидите параметры создания новых триггеров и оповещений как для бизнес-событий, так и системных событий.
Выполнение действий с помощью элементов Fabric
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Рефлекторные элементы поддерживают запуск заданий элементов Fabric в качестве действия. Вы сможете запустить конвейеры данных и записные книжки.
Eventhouse
Отправлено (Q2 2024)
Тип выпуска: общая доступность
Eventhouse, высокограничная рабочая область базы данных, созданная для управления и хранения данных на основе событий, теперь официально доступна для общего использования. С помощью Eventhouse пользователи могут выполнять высокопроизводительный анализ больших данных и запросов данных в режиме реального времени, обрабатывая миллиарды событий в течение секунд. Платформа позволяет пользователям упорядочивать данные в секции (базы данных) в одном логическом элементе, упрощая эффективное управление данными. Кроме того, Eventhouse обеспечивает общий доступ к ресурсам вычислений и кэша между базами данных, максимизируя использование ресурсов.
Доступность Eventhouse OneLake
Отправлено (Q2 2024)
Тип выпуска: общая доступность
Включение доступности данных Eventhouse в OneLake означает, что клиенты могут наслаждаться лучшими в обоих мирах: они могут запрашивать данные с высокой производительностью и низкой задержкой в своем хранилище событий и запрашивать одни и те же данные в формате Delta Lake через любые другие механизмы Fabric, такие как режим Direct Lake Power BI, хранилище, Lakehouse, записные книжки и многое другое.
Создание ярлыка базы данных для другой базы данных KQL
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Ярлык базы данных в Eventhouse — это внедренная ссылка на исходную базу данных. Ярлык базы данных подключен в режиме только для чтения, что позволяет просматривать и запускать запросы к данным, которые были приема в исходную базу данных KQL без приема. Это помогает с сценариями общего доступа к данным, где можно совместно использовать данные на месте либо в командах, либо даже с внешними клиентами.
Поддержка Детектор аномалий ИИ
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Алгоритмы искусственного интеллекта Детектор аномалий поддерживаются в Microsoft Fabric, что позволяет выполнять оценку в режиме реального времени с помощью встроенного Python в аналитике в режиме реального времени.
Поддержка частной конечной точки уровня клиента Eventhouse
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Клиенты могут повысить безопасность сети, ограничив доступ к Eventhouse на уровне клиента из одной или нескольких виртуальных сетей (виртуальных сетей) через частные каналы. Это позволит предотвратить несанкционированный доступ из общедоступных сетей и разрешить только операции плоскости данных из определенных виртуальных сетей.
Новый интерфейс для изучения данных на панелях мониторинга в режиме реального времени
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Непосредственно с панели мониторинга в режиме реального времени пользователи могут уточнить свое исследование с помощью пользовательского интерфейса, подобного форме. Этот интуитивно понятный и динамический интерфейс предназначен для обозревателей аналитики, жаждующих аналитических сведений на основе данных в режиме реального времени. Добавьте фильтры, создайте агрегаты и переключите типы визуализаций без написания запросов, чтобы легко выявить аналитические сведения.
Использование концентратора реального времени для получения данных в базе данных KQL в eventhouse
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
С помощью концентратора реального времени, внедренного в базу данных KQL, каждый пользователь в клиенте может просматривать и добавлять потоки, к которым у них есть доступ, и напрямую получать их в таблицу базы данных KQL в Eventhouse.
Панель мониторинга в режиме реального времени
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Панель мониторинга — это коллекция плиток, упорядоченная при необходимости на страницах, где каждая плитка содержит базовый запрос и визуальное представление. При необходимости экспортируйте запросы язык запросов Kusto (KQL) на панель мониторинга в виде визуальных элементов, а затем измените базовые запросы и визуальное форматирование. Помимо простоты изучения данных, эта полностью интегрированная панель мониторинга обеспечивает улучшенную производительность запросов и визуализации с легким гибким моделированием при высокой детализации данных с низкой задержкой.
Создание действий и оповещений с помощью активатора данных
Отправлено (Q2 2024)
Эта функция обеспечивает низкокодовый или безкодовый интерфейс для выполнения действий и оповещений из данных базы данных KQL, представленных на панели мониторинга реального времени. Активатор данных предоставляет одно место для определения практических шаблонов в данных. Эти шаблоны могут варьироваться от простых пороговых значений (например, превышения значения) до более сложных шаблонов с течением времени (например, тенденция к уменьшению значения). При обнаружении активного шаблона активации данных он активирует действие. Это действие может быть сообщением электронной почты или оповещением Teams соответствующему лицу в вашей организации. Он также может активировать автоматический процесс с помощью потока Power Automate или действия в одном из бизнес-приложений вашей организации.
Приостановка, остановка или перезапуск потоков событий
Отправлено (Q2 2024)
Эта функция предоставляет клиентам возможность приостановить, остановить или перезапустить потоки событий в режиме реального времени, чтобы они могли выполнять итерацию по логике преобразования или потока событий на этапе разработки.
Совместный пилот для аналитики в режиме реального времени
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Совместное пилотное руководство позволяет создавать запросы на естественном языке и переводить их в язык запросов Kusto (KQL). С помощью совместного пилотного проекта можно запрашивать запросы, просматривать данные в базе данных KQL и создавать сущности Kusto, такие как таблицы, функции и материализованные представления.
Настройка оповещений на панелях мониторинга в режиме реального времени
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Помимо мониторинга данных Power BI и Eventstream, активатор данных будет поддерживать периодические запросы к запросам KQL, сохраненным на панелях мониторинга реального времени. Эти запросы можно использовать для возврата исключений или отслеживания результатов с течением времени для обнаружения изменений данных или пороговых условий.
Концентратор реального времени для всех данных в движении
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Центр реального времени — это единый объект для всех перемещаемых данных во всей организации.
Получение возможностей событий в Центре реального времени (изменение значения или удаление для 18/24)
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Независимо от того, поступает ли данные из новых или существующих источников, потоков или доступных событий, интерфейс get Events позволяет пользователям подключаться к широкому спектру источников непосредственно из концентратора реального времени, событий, событий, события и активатора данных.
Новые соединители потоковой передачи, включая Confluent Kafka, AWS Kinesis, PostgresSQL CDC и многое другое
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Помимо источников Майкрософт, пользователи теперь могут передавать данные из других платформ, таких как Google Cloud, Amazon Kinesis, потоки отслеживания измененных данных базы данных и т. д. используя наши новые соединители обмена сообщениями. Наши соединители обмена сообщениями поддерживаются подключением Kafka к соединителям Camel Kafka, которые предлагают подключаемую, декларативную платформу интеграции данных и гибкость для различных исходных подключений на популярных платформах данных, а также Debezium, которые могут подключать базы данных для получения потоков отслеживания измененных данных (CDC).
Новые источники дискретных событий из системных событий Fabric и событий хранилища Azure
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Дискретные события (например, события уведомлений) являются значительными (важными) фактами, которые произошли, и которые активируют изменения состояния или действия в подчиненных потребительских приложениях (подписчиках). Примеры включают такие события, как OrderPlaced в системе заказа, изменения в хранилище BLOB-объектов в источниках Azure или изменения элементов в системе Fabric.
Источник из Концентратора реального времени в расширенном потоке событий
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Домашняя страница Eventstream упрощает передачу данных. Щелкнув "Добавить внешний источник", вы найдете эти источники в мастере получения событий, который помогает настроить источник в нескольких шагах. После добавления источника в поток событий его можно опубликовать для потоковой передачи данных в поток событий. Использование eventstream с дискретными источниками для включения событий в потоки для более подробного анализа. Потоки можно отправлять в разные назначения данных Fabric, такие как Lakehouse и база данных KQL.
Режимы редактирования и трансляции eventstream
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Eventstream предлагает два различных режима , Edit и Live, чтобы обеспечить гибкость и контроль над процессом разработки потока событий. Если вы создаете новый поток событий с включенными расширенными возможностями, его можно изменить в режиме редактирования. Здесь можно создавать операции потоковой обработки для потоков данных с помощью редактора без кода. После завершения редактирования можно опубликовать поток событий и визуализировать процесс потоковой передачи и обработки данных в режиме реального времени.
Потоки по умолчанию и производные
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Несколько потоков перечислены в Концентраторе реального времени, включая потоки по умолчанию и производные. Поток по умолчанию создается автоматически при добавлении источника потоковой передачи в eventstream. Поток по умолчанию записывает необработанные данные событий непосредственно из источника, готовый к преобразованию или анализу. erived stream: специализированный поток, который пользователи могут создавать в качестве назначения в Eventstream. Производный поток можно создать после ряда операций, таких как фильтрация и агрегирование, а затем он готов к дальнейшему использованию или анализу другими пользователями в организации через Центр реального времени.
Расширенные параметры триггера
Отправлено (Q2 2024)
Для представления бизнес-условий для мониторинга активатор данных будет поддерживать больше условий триггера, таких как процентные изменения с течением времени, функции даты и времени, основные математические функции, обнаружение отсутствия сигналов и многое другое.
Масштабирование до 100 МБ/с для обработки событий
Отправлено (Q1 2024)
Поток событий может поддерживать пропускную способность приема событий до 100 МБ/с при приеме данных в базы данных KQL и озерах.
Интеграция записной книжки
Отправлено (Q1 2024)
Клиенты могут выполнять собственные запросы к базам данных KQL из записных книжек Microsoft Fabric. Используйте записные книжки для выполнения запросов к базам данных KQL, сохранения результирующих кадров данных, приема данных в базы данных KQL и т. д.
Настраиваемое хранение данных событий в потоках событий
Отправлено (Q1 2024)
Клиенты имеют гибкость, чтобы задать время хранения данных о событиях, гарантируя, что данные события сохраняются в своих потоках событий в соответствии с конкретными бизнес-требованиями.
Усовершенствования обработчика событий в eventstream
Отправлено (Q1 2024)
Сюда входят три улучшения. Во-первых, персонализируйте узлы операций и легко отфильтруйте значения NULL из данных. Во-вторых, легко управляйте полями столбцов и переименуйте их в операции "Агрегат". В-третьих, измените значения на различные типы данных с помощью операции "Управление полями".
Новое назначение eventstream в Активатор данных
Отправлено (Q1 2024)
Параметр назначения "Активация данных" помогает клиентам направлять события в Активатор данных, где они могут создавать триггеры на основе данных событий из потоков событий в собственном коде.
Потоки событий автомасштабирования
Отправлено (Q1 2024)
Эта функция обеспечивает гибкость автоматического масштабирования емкости в ответ на объем трафика данных о событиях, что обеспечивает простое улучшение пропускной способности потока событий без нарушения бизнес-операций.
Поддержка delta для представления базы данных OneLake KQL
Отправлено (Q1 2024)
Тип выпуска: общедоступная предварительная версия
Данные базы данных KQL уже доступны в OneLake в формате parquet. Добавление поддержки Delta позволяет другим возможностям Fabric использовать присутствие OneLake в качестве таблицы, а не в качестве списка файлов.
Административный мониторинг
Отправлено (Q1 2024)
Вы можете использовать административный мониторинг для поиска журналов аудита, а также для отслеживания использования и внедрения, потребления емкости и доступности.
Ярлык оптимизации таблиц в назначениях eventstream lakehouse
Отправлено (Q1 2024)
Ярлык оптимизации таблиц помогает пользователям открывать записную книжку с заданием Spark, которое сжимает небольшие потоковые файлы в таблице Lakehouse.
Вкладка "Расширенные пользовательские сведения о приложении" предоставляет полные сведения о конечной точке
Отправлено (Q1 2024)
Вкладка "Сведения " источника и назначения настраиваемого приложения предоставляет исчерпывающую информацию о конечной точке потока событий. Доступные сведения включают строка подключения в форматах Kafka, Eventhub и AMQP, а также пример кода Java для приема событий и потребления с помощью этих трех протоколов.
Улучшенный конструктор потоков потоковой обработки без кода
Отправлено (Q1 2024)
Пользователи имеют улучшенный интерфейс редактирования событий с более интуитивно понятными жестами в конструкторе без кода.
Получение данных из Eventstream в нескольких элементах Fabric
Отправлено (Q1 2024)
Клиенты могут получать данные о событиях из потоков событий в нескольких элементах Fabric, включая Lakehouse, базу данных KQL и Рефлектор.
Предварительная обработка данных eventstream до назначения базы данных KQL
Отправлено (Q1 2024)
Добавление назначения базы данных KQL с преобразованием данных позволяет клиентам преобразовывать, дополнять и уменьшать объем данных перед перенаправлением в базы данных KQL.
Создание облачного подключения, внедренное в потоки событий
Отправлено (Q1 2024)
Клиенты могут создавать облачное подключение непосредственно в своих потоках событий, не переходя на другую веб-страницу.
Два режима приема для назначений lakehouse eventstream
Отправлено (Q1 2024)
Назначения Eventstream lakehouse поддерживают два режима приема: низкая задержка и высокая пропускная способность.
Улучшенный интерфейс получения данных
Отправлено (Q1 2024)
Пользователи получают упрощенный и улучшенный интерфейс получения данных для получения данных в базу данных KQL.