Microsoft Fabric 中实时智能的新增功能和计划

重要

发布计划描述了可能或可能尚未发布的功能。 交付时间线和投影功能可能会更改或无法交付。 有关详细信息,请参阅 Microsoft 策略

实时智能使数据专业人员、分析师和业务用户能够引入、处理、分析、转换、可视化和处理大型、时间敏感且高度精细的数据,以帮助组织做出更快、更明智的业务决策。 它是一种端到端体验,可无缝处理实时数据,而无需先将其登陆。 实时智能基于现有的实时分析和数据激活器功能,提供新功能,使所有技能级别的用户能够充分利用其实时数据。 这包括引入具有高粒度的流数据、动态转换流数据、实时查询数据以获取即时见解,以及触发操作,例如在设备过热或数据管道发生故障时重新运行作业时发出警报。

尽管它被称为“实时”,但数据不必以高速率和卷流动,以获得真正的业务价值。 实时智能提供事件驱动的解决方案,而不是计划驱动解决方案,确保你可以及时做出最佳决策。

此功能强大的工作负荷背后是实时中心,一个用于发现、管理和使用 Fabric、其他 Microsoft 数据源和外部数据源的事件热腾数据的位置。 就像 OneLake 数据中心能够轻松发现、管理和使用静态数据一样,实时中心可帮助你对动态数据执行相同的操作。 流经实时中心的所有事件都可以轻松转换并路由到任何 Fabric 数据存储,并可以创建可以发现和使用的新流。

有关详细信息,请参阅实时智能文档并访问公告博客

实时智能中可用的项包括:

  • 实时中心,一个用于发现、管理和使用 Fabric、其他 Microsoft 数据源和外部数据源的事件热腾数据的位置

  • 用于捕获、转换和路由实时事件的事件流 到具有无代码体验的各种目标。

  • 用于数据存储、分析和管理的偶数和 KQL 数据库 。 加载到 KQL 数据库中的数据可以在 OneLake 中访问,并公开给其他 Fabric 体验。

  • 用于运行查询、查看和自定义数据查询结果的 KQL 查询集 。 使用 KQL 查询集,可以保存查询以供将来使用、导出和与他人共享查询。 它包含生成 Power BI 报表的选项。

  • 包含磁贴集合的实时仪表板。 每个磁贴都有一个基础查询和一个视觉表示形式,非常适合用于数据浏览、监视和取证。

  • 与实时中心、事件流、实时仪表板和 KQL 查询集集成的数据激活器,使其无缝触发任何模式或更改实时数据。

投资领域

功能 预计发布时间线
使用数据激活器创建操作和警报 2023 年第 4 季度
Azure Synapse 链接到 KQL 数据库 2023 年第 4 季度
KQL 查询集中的 SQL 本机支持 2024 年第 2 季度
通过在事件流中联接引用数据来丰富事件数据 Q3 2024
对 Eventstream 项的 CI/CD 支持 Q3 2024
在 KQL 查询集上设置警报 Q3 2024
Webhook 支持 Q3 2024
更多触发器选项 Q3 2024
低延迟触发器 Q3 2024
支持触发 Fabric 操作和 Webhook 中的参数 Q3 2024
从Azure 事件网格流到事件流的数据流 Q3 2024
适用于 Kafka 公共群集和 Mongo DB CDC 的新流式处理连接器 Q3 2024
其他 Fabric 系统事件 Q3 2024
事件目录集成 Q3 2024
Eventstream 租户级专用终结点支持 Q3 2024
事件流的其他目标 Q3 2024
KQL 数据库实体关系图 2024 年第 4 季度
事件流中嵌入的云连接创建 发货(2024 年第 1 季度)
事件流湖屋目标的两种引入模式 发货(2024 年第 1 季度)
改进了“获取数据”体验 发货(2024 年第 1 季度)
自动缩放事件流 发货(2024 年第 1 季度)
KQL 数据库 OneLake 表示形式的增量支持 发货(2024 年第 1 季度)
管理员监视 发货(2024 年第 1 季度)
eventstream lakehouse 目标中的表优化快捷方式 发货(2024 年第 1 季度)
增强的“自定义应用详细信息”选项卡提供全面的终结点信息 发货(2024 年第 1 季度)
改进了无代码流处理设计器 发货(2024 年第 1 季度)
多个 Fabric 项中的“从 Eventstream 获取数据” 发货(2024 年第 1 季度)
事件流数据预处理到 KQL 数据库目标 发货(2024 年第 1 季度)
数据激活器的新事件流目标 发货(2024 年第 1 季度)
事件流中的可自定义事件数据保留 发货(2024 年第 1 季度)
纵向扩展到 100 MB/秒,用于事件流处理 发货(2024 年第 1 季度)
笔记本集成 发货(2024 年第 1 季度)
Eventstream 中事件处理程序的增强功能 发货(2024 年第 1 季度)
增强的触发器选项 发货(2024 年第 2 季度)
在实时仪表板上设置警报 发货(2024 年第 2 季度)
运动中所有数据的实时中心 发货(2024 年第 2 季度)
在实时中心获取事件体验(更改以解释值或删除 18/24) 发货(2024 年第 2 季度)
新的流式处理连接器,包括 Confluent Kafka、AWS Kinesis、PostgresSQL CDC 等 发货(2024 年第 2 季度)
Fabric 系统事件和 Azure 存储事件中离散事件的新源 发货(2024 年第 2 季度)
增强事件流中实时中心的源 发货(2024 年第 2 季度)
事件流编辑和实时模式 发货(2024 年第 2 季度)
默认流和派生流 发货(2024 年第 2 季度)
基于内容的事件路由到事件流中的目标 发货(2024 年第 2 季度)
在数据激活器中从实时中心获取数据 发货(2024 年第 2 季度)
从实时中心创建触发器 发货(2024 年第 2 季度)
通过构造项执行操作 发货(2024 年第 2 季度)
Eventhouse 发货(2024 年第 2 季度)
Eventhouse OneLake 可用性 发货(2024 年第 2 季度)
创建另一个 KQL 数据库的数据库快捷方式 发货(2024 年第 2 季度)
支持 AI 异常检测器 发货(2024 年第 2 季度)
Eventhouse 租户级专用终结点支持 发货(2024 年第 2 季度)
来自实时仪表板的数据浏览的新体验 发货(2024 年第 2 季度)
使用实时中心在 Eventhouse 中获取 KQL 数据库中的数据 发货(2024 年第 2 季度)
实时智能联合试点 发货(2024 年第 2 季度)
暂停、停止或重启事件流 发货(2024 年第 2 季度)
实时仪表板 发货(2024 年第 2 季度)

使用数据激活器创建操作和警报

估计版本时间线:2023 年第 4 季度

此功能提供低代码/无代码体验,用于驱动 KQL 数据库数据的操作和警报。 数据激活器提供一个位置来定义数据中的可操作模式。 这些模式的范围可以从简单的阈值(如超出值)到一段时间内更复杂的模式(例如值趋势下降)。 当数据激活器检测到可操作模式时,它会触发操作。 该操作可以是组织中相关人员的电子邮件或 Teams 警报。 它还可以通过 Power Automate 流或组织业务线应用之一中的操作触发自动流程。

估计版本时间线:2023 年第 4 季度

客户可以将 Cosmos DB 中的所有更新流式传输到 KQL 数据库,从而实现大规模、功能强大的分析。

KQL 查询集中的 SQL 本机支持

估计版本时间线:2024 年第 2 季度

借助此功能,客户可以使用本机 SQL 编辑器在查询集中通过 KQL 数据库以及 KQL 运行 SQL。 借助此功能,客户可以使用 SQL 编辑器的本机功能,例如语法突出显示、建议等。

通过在事件流中联接引用数据来丰富事件数据

估计版本时间线:2024 年第 3 季度

在事件数据引入目标期间,事件流可以通过将事件数据与 SQL 引用数据联接来丰富事件数据,从而使客户能够从事件数据中提取更有价值的见解。

对 Eventstream 项的 CI/CD 支持

估计版本时间线:2024 年第 3 季度

发布类型:公共预览版

客户可以使用 Fabric 平台中的集成 Git 集成和部署体验,在开发、测试和生产工作区中轻松对事件流进行版本控制并部署事件流。

在 KQL 查询集上设置警报

估计版本时间线:2024 年第 3 季度

发布类型:公共预览版

数据激活器将能够监视 KQL 查询集中管理的查询结果,定期运行查询并处理结果。

Webhook 支持

估计版本时间线:2024 年第 3 季度

发布类型:公共预览版

Webhook 表示可在不同方案中使用的大量应用程序集成。 数据激活器将支持触发触发器时调用 Webhook 的操作。

更多触发器选项

估计版本时间线:2024 年第 3 季度

发布类型:公共预览版

为了解决监视不同业务条件的进一步请求,数据激活器将支持检查日期/时间值、基本数学函数等的触发器。

低延迟触发器

估计版本时间线:2024 年第 3 季度

发布类型:公共预览版

我们会在客户反馈中听到,当满足指定条件时,触发器需要更快地做出反应。 在具有简单条件和较低数据量的情况下,数据激活器将支持较低的延迟触发器。

支持触发 Fabric 操作和 Webhook 中的参数

估计版本时间线:2024 年第 3 季度

发布类型:公共预览版

通过启动 Fabric 作业或调用 Webhook 执行操作的触发器将能够将反射模型中的属性值作为参数传递给作业或 Webhook。

从Azure 事件网格流到事件流的数据流

估计版本时间线:2024 年第 3 季度

客户可以订阅 Azure 资源事件(如 Blob 存储事件)、合作伙伴事件(如 SAP)、自定义事件或 MQTT 主题,然后将其发布到事件流。

适用于 Kafka 公共群集和 Mongo DB CDC 的新流式处理连接器

估计版本时间线:2024 年第 3 季度

发布类型:公共预览版

可通过获取事件体验(包括公共 Kafka 群集和 Mongo DB CDC)获取其他连接器。

其他 Fabric 系统事件

估计版本时间线:2024 年第 3 季度

发布类型:公共预览版

除了 Fabric 工作区事件之外,其他 Fabric 系统事件(例如平台诊断事件)将通过实时中心供订阅使用。

事件目录集成

估计版本时间线:2024 年第 3 季度

发布类型:公共预览版

实时中心扩展了支持管理事件类型的功能,为架构管理和发现提供目录。

Eventstream 租户级专用终结点支持

估计版本时间线:2024 年第 3 季度

发布类型:公共预览版

Eventstream 支持租户级专用终结点,确保数据流通过安全网络传入和流出事件流。

事件流的其他目标

估计版本时间线:2024 年第 3 季度

发布类型:公共预览版

Eventstreams 将支持其他目标,包括 Eventhouse 和数据集成项。

KQL 数据库实体关系图

估计版本时间线:2024 年第 4 季度

发布类型:公共预览版

KQL DB 实体及其关系的可视表示形式(例如表、函数、具体化视图等)。

发货功能(s)

事件流中嵌入的云连接创建

发货(2024 年第 1 季度)

客户可以直接在其事件流中创建云连接,而无需导航到另一个网页。

事件流湖屋目标的两种引入模式

发货(2024 年第 1 季度)

Eventstream Lakehouse 目标支持两种引入模式:低延迟和高吞吐量。

改进了“获取数据”体验

发货(2024 年第 1 季度)

用户体验简化和改进的获取数据体验,以将其数据引入 KQL 数据库。

自动缩放事件流

发货(2024 年第 1 季度)

此功能可灵活地自动缩放容量以响应事件数据流量,从而无缝改善事件流吞吐量,而不会中断业务运营。

KQL 数据库 OneLake 表示形式的增量支持

发货(2024 年第 1 季度)

发布类型:公共预览版

KQL 数据库数据已在 OneLake 中以 parquet 格式提供。 添加 Delta 支持使其他 Fabric 功能能够将 OneLake 状态用作表而不是文件列表。

管理员监视

发货(2024 年第 1 季度)

可以使用管理监视来搜索审核日志,以及跟踪使用情况和采用、容量消耗和可用性。

eventstream lakehouse 目标中的表优化快捷方式

发货(2024 年第 1 季度)

表优化快捷方式通过打开 Spark 作业来帮助用户,该作业压缩 Lakehouse 表中的小流文件。

增强的“自定义应用详细信息”选项卡提供全面的终结点信息

发货(2024 年第 1 季度)

自定义 应用源和目标的“详细信息 ”选项卡提供有关事件流终结点的综合信息。 可用信息包括 Kafka、Eventhub 和 AMQP 格式中的连接字符串,以及使用这三种协议进行事件引入和使用的示例 Java 代码。

改进了无代码流处理设计器

发货(2024 年第 1 季度)

用户改进了事件流编辑体验,在无代码设计器中具有更直观的手势。

多个 Fabric 项中的“从 Eventstream 获取数据”

发货(2024 年第 1 季度)

客户可以从多个 Fabric 项中的事件流获取事件数据,包括 Lakehouse、KQL 数据库和 Reflex。

事件流数据预处理到 KQL 数据库目标

发货(2024 年第 1 季度)

通过数据转换添加 KQL 数据库目标,客户可以在将数据卷路由到 KQL 数据库之前对其进行转换、扩充和减少。

数据激活器的新事件流目标

发货(2024 年第 1 季度)

“数据激活器目标”选项可帮助客户将事件路由到数据激活器,他们可以基于事件流中的事件数据以本机方式生成触发器。

事件流中的可自定义事件数据保留

发货(2024 年第 1 季度)

客户可以灵活地设置事件数据保留时间,确保根据事件流的特定业务需求将事件数据保留在事件流中。

纵向扩展到 100 MB/秒,用于事件流处理

发货(2024 年第 1 季度)

在将数据引入到 KQL 数据库和 lakehouses 时,事件流可以支持高达 100 MB/秒的事件引入吞吐量。

笔记本集成

发货(2024 年第 1 季度)

客户可以从 Microsoft Fabric 笔记本本机查询 KQL 数据库。 使用笔记本对 KQL 数据库运行查询、保存生成的数据帧、将数据引入 KQL 数据库等。

Eventstream 中事件处理程序的增强功能

发货(2024 年第 1 季度)

这包括三项增强功能。 首先,个性化操作节点,并轻松筛选出数据中的“null”值。 其次,在聚合操作中轻松管理和重命名列字段。 第三,使用“管理字段”操作将值更改为不同的数据类型。

增强的触发器选项

发货(2024 年第 2 季度)

为了表示监视的业务条件,数据激活器将支持更多的触发条件,例如随时间变化的百分比、日期/时间函数、基本数学函数、信号缺失检测等。

在实时仪表板上设置警报

发货(2024 年第 2 季度)

发布类型:公共预览版

除了监视 Power BI 和 Eventstream 数据之外,数据激活器还支持针对实时仪表板中保存的 KQL 查询进行定期查询。 这些查询可用于返回异常,或跟踪随时间推移的结果来检测数据更改或阈值条件。

运动中所有数据的实时中心

发货(2024 年第 2 季度)

发布类型:公共预览版

实时中心是整个组织内所有动态数据的单一资产。

在实时中心获取事件体验(更改以解释值或删除 18/24)

发货(2024 年第 2 季度)

发布类型:公共预览版

无论是来自新源还是现有源、流或可用事件的数据,Get Events 体验都允许用户直接从实时中心、事件流、Eventhouse 和数据激活器连接到各种源。

新的流式处理连接器,包括 Confluent Kafka、AWS Kinesis、PostgresSQL CDC 等

发货(2024 年第 2 季度)

发布类型:公共预览版

除了 Microsoft 源,用户现在可以从其他平台(如 Google Cloud、Amazon Kinesis、数据库更改数据捕获流等)流式传输数据。 使用新的消息传送连接器。 我们的消息传送连接器由 Kafka 与 Camel Kafka 连接器连接提供支持,这些连接器提供可插入性声明性数据集成框架,并为热门数据平台上的各种源连接提供灵活性,以及连接数据库以提取变更数据捕获(CDC)流的 Debezium。

Fabric 系统事件和 Azure 存储事件中离散事件的新源

发货(2024 年第 2 季度)

发布类型:公共预览版

离散事件(a.k.a.通知事件)是发生的重要(重要)事实,并且触发下游使用者应用程序中的状态更改或操作(订阅者)。 示例包括订单系统中的 OrderPlaced、Azure 源中的 Blob 存储更改或 Fabric 系统中的项更改等事件。

增强事件流中实时中心的源

发货(2024 年第 2 季度)

发布类型:公共预览版

通过 Eventstream 主页,可以更轻松地引入数据。 通过单击“添加外部源”,可以在“获取事件”向导中找到这些源,帮助你在几个步骤中设置源。 将源添加到事件流后,可以将其发布到事件流中。 将 Eventstream 与离散源配合使用,将事件转换为流,以便进行更多分析。 可以将流发送到不同的 Fabric 数据目标,例如 Lakehouse 和 KQL 数据库。

事件流编辑和实时模式

发货(2024 年第 2 季度)

发布类型:公共预览版

Eventstream 提供两种不同的模式(“编辑”和“实时”)来灵活地控制事件流的开发过程。 如果创建新的启用了增强功能的事件流,则可以在编辑模式下对其进行修改。 在这里,可以使用无代码编辑器为数据流设计流处理操作。 完成编辑后,可以发布 Eventstream 并直观显示如何在实时模式下开始流式处理和处理数据。

默认流和派生流

发货(2024 年第 2 季度)

发布类型:公共预览版

实时中心内列出了多个流,包括默认流和派生流。 将流式处理源添加到 Eventstream 时,将自动生成默认流。 默认流直接从源捕获原始事件数据,以便进行转换或分析。 erived 流:用户可以在 Eventstream 中创建为目标的专用流。 派生流可以在一系列操作(如筛选和聚合)后创建,然后可以通过实时中心让组织中的其他用户进一步使用或分析派生流。

基于内容的事件路由到事件流中的目标

发货(2024 年第 2 季度)

发布类型:公共预览版

通过将无代码事件处理器引入事件流主画布,客户可以使用事件处理器定义的事件处理逻辑,根据事件内容将事件数据路由到目标。

在数据激活器中从实时中心获取数据

发货(2024 年第 2 季度)

发布类型:公共预览版

使用嵌入式实时中心浏览器将新事件引入反射项。

从实时中心创建触发器

发货(2024 年第 2 季度)

发布类型:公共预览版

在实时中心,你将看到用于在业务和系统事件上创建新触发器和警报的选项。

通过构造项执行操作

发货(2024 年第 2 季度)

发布类型:公共预览版

反射项将支持将 Fabric 项作业作为操作启动。 你将能够启动数据管道和笔记本。

Eventhouse

发货(2024 年第 2 季度)

发布类型:正式发布

Eventhouse 是一个精心精心制作的用于管理和存储基于事件的数据的前沿数据库工作区,现已正式可供常规使用。 借助 Eventhouse,用户可以对大数据和实时数据查询执行高性能分析,并在几秒钟内处理数十亿个事件。 该平台允许用户将数据组织到一个逻辑项内的隔离舱(数据库),从而促进高效的数据管理。 此外,Eventhouse 还支持跨数据库共享计算和缓存资源,从而最大程度地提高资源利用率。

Eventhouse OneLake 可用性

发货(2024 年第 2 季度)

发布类型:正式发布

在 OneLake 中启用 Eventhouse 的数据可用性意味着客户可以享受最好的两个世界:他们可以在 Eventhouse 中以高性能和低延迟查询数据,并通过任何其他 Fabric 引擎(如 Power BI Direct Lake 模式、仓库、Lakehouse、Notebook 等)查询相同的数据。

创建另一个 KQL 数据库的数据库快捷方式

发货(2024 年第 2 季度)

发布类型:公共预览版

Eventhouse 中的数据库快捷方式是对源数据库的嵌入引用。 数据库快捷方式以只读模式附加,因此可以在不引入源 KQL 数据库的数据上查看和运行查询。 这有助于使用数据共享方案,你可以在团队中或甚至与外部客户就地共享数据。

支持 AI 异常检测器

发货(2024 年第 2 季度)

发布类型:公共预览版

Microsoft Fabric 支持 AI 异常检测器 算法,允许 KQL 在实时智能中使用内联 Python 进行实时评分。

Eventhouse 租户级专用终结点支持

发货(2024 年第 2 季度)

发布类型:公共预览版

客户可以通过通过专用链接限制对租户级别 Eventhouse 的访问,从一个或多个虚拟网络(VNet)访问,从而提高其网络安全。 这将阻止来自公共网络的未经授权的访问,并且仅允许来自特定 VNet 的数据平面操作。

来自实时仪表板的数据浏览的新体验

发货(2024 年第 2 季度)

发布类型:公共预览版

直接从实时仪表板,用户可以使用用户友好、类似于表单的界面来优化其探索。 这种直观和动态的体验专为见解资源管理器定制,可基于实时数据获得见解。 添加筛选器、创建聚合和切换可视化效果类型,无需编写查询即可轻松发现见解。

使用实时中心在 Eventhouse 中获取 KQL 数据库中的数据

发货(2024 年第 2 季度)

发布类型:公共预览版

借助 KQL 数据库体验中嵌入的实时中心,租户中的每个用户都可以查看和添加有权访问的流,并直接将其引入 Eventhouse 中的 KQL 数据库表。

实时智能联合试点

发货(2024 年第 2 季度)

发布类型:公共预览版

通过共同试点,可以编写自然语言的查询,并将其翻译成Kusto 查询语言(KQL)。 可以使用共同试点来询问操作方法查询、浏览 KQL 数据库中的数据,以及创建表、函数和具体化视图等 Kusto 实体。

暂停、停止或重启事件流

发货(2024 年第 2 季度)

此功能使客户能够暂停、停止或重启实时事件流,以便在开发阶段循环访问转换或事件流逻辑。

实时仪表板

发货(2024 年第 2 季度)

发布类型:公共预览版

仪表板是磁贴的集合,可选择按页面进行组织,其中每个磁贴都有一个基础查询和一个可视化表示形式。 以本机方式将Kusto 查询语言 (KQL) 查询导出到仪表板作为视觉对象,稍后根据需要修改其基础查询和视觉格式。 除了便于数据浏览之外,这种完全集成的仪表板体验通过针对高粒度低延迟数据进行灵活建模,提高了查询和可视化性能。