Microsoft Fabric 中实时智能的新增功能和计划
重要
发布计划描述了可能或可能尚未发布的功能。 交付时间线和投影功能可能会更改或未交付。 有关详细信息,请参阅Microsoft策略。
实时智能使数据专业人员、分析师和业务用户能够引入、处理、分析、转换、可视化和处理大型、时间敏感且高度精细的数据,以帮助组织做出更快、更明智的业务决策。 它是一种端到端体验,可无缝处理实时数据,而无需先将其登陆。 实时智能基于现有的实时分析和数据激活器功能,提供新功能,使所有技能级别的用户能够充分利用其实时数据。 这包括引入具有高粒度的流数据、动态转换流数据、实时查询数据以获取即时见解,以及触发操作,例如在设备过热或数据管道发生故障时重新运行作业时发出警报。
尽管它被称为“实时”,但数据不必以高速率和卷流动,以获得真正的业务价值。 实时智能提供事件驱动的解决方案,而不是计划驱动解决方案,确保你可以及时做出最佳决策。
此功能强大的工作负荷背后是实时中心,一个用于发现、管理和使用 Fabric 中的事件热腾数据、其他Microsoft数据源和外部数据源的位置。 就像 OneLake 数据中心能够轻松发现、管理和使用静态数据一样,实时中心可帮助你对动态数据执行相同的操作。 流经实时中心的所有事件都可以轻松转换并路由到任何 Fabric 数据存储,并可以创建可以发现和使用的新流。
实时智能中可用的项包括:
实时中心,用于发现、管理和使用 Fabric 中的事件热腾数据、其他Microsoft数据源和外部数据源
用于捕获、转换和路由实时事件的事件流 到具有无代码体验的各种目标。
Eventhouse 和 KQL 数据库 是处理动态数据的理想分析引擎。 Eventhouse 专门针对具有结构化、半结构化和非结构化数据的基于时间的流式处理事件。 该数据会根据引入时间自动建立索引和分区,从而提供了对高粒度数据进行快速而复杂的分析查询功能。 存储在 Eventhouse 中的数据在 OneLake 中可用,供其他 Fabric 体验使用。
用于运行查询、查看和自定义数据查询结果的 KQL 查询集 。 使用 KQL 查询集,可以保存查询以供将来使用、导出和与他人共享查询。 它包含生成 Power BI 报表的选项。
包含磁贴集合的实时仪表板。 每个磁贴都有一个基础查询和一个视觉表示形式,非常适合用于数据浏览、监视和取证。
与实时中心、事件流、实时仪表板和 KQL 查询集集成的数据激活器 ,使它可以无缝触发任何模式或更改实时数据。
投资领域
从 Cosmos DB 到 Fabric Eventhouse 的 Azure Synapse Link
估计发布时间线:2024 年第 3 季度
客户可以将 Cosmos DB 中的所有更新流式传输到 KQL 数据库,从而实现大规模、功能强大的分析。
多变量异常情况检测
估计发布时间线:2024 年第 3 季度
Azure 异常检测器多变量技术将在 Fabric 中本机提供。 使用 Spark 和笔记本或使用 Eventhouses 训练检测器,并在新数据到达时实时检测异常。
Eventhouse Platform Monitoring
估计发布时间线:2024 年第 3 季度
发布类型:公共预览版
访问 Eventhouse 日志和指标以微调性能、排查问题和识别异常。 Eventhouse 将报告查询日志、引入指标和引入失败事件。 Eventhouse 事件和指标日志将存储在只读 KQL 数据库中。 用户将能够使用 KQL 查询集和实时仪表板分析事件。
对 Eventstream 项的 CI/CD 支持
估计发布时间线:2024 年第 3 季度
发布类型:公共预览版
客户可以使用 Fabric 平台中的集成 Git 集成和部署体验,在开发、测试和生产工作区中轻松对事件流进行版本控制并部署事件流。
更多触发器选项
估计发布时间线:2024 年第 3 季度
发布类型:公共预览版
为了解决监视不同业务条件的进一步请求,数据激活器将支持检查日期/时间值、基本数学函数等的触发器。
低延迟触发器
估计发布时间线:2024 年第 3 季度
我们会在客户反馈中听到,当满足指定条件时,触发器需要更快地做出反应。 在具有简单条件和较低数据量的情况下,数据激活器将支持较低的延迟触发器。此功能将在此时间段内为个人预览版。
在 KQL 查询集上设置警报
估计发布时间线:2024 年第 3 季度
发布类型:公共预览版
数据激活器将能够监视 KQL 查询集中管理的查询结果,定期运行查询并处理结果。
适用于 Kafka 公共群集和更多 SQL Server DB CDC 实例的新流式处理连接器
估计发布时间线:2024 年第 3 季度
发布类型:公共预览版
可通过获取事件体验(包括公共 Kafka 群集和 SQL Server DB CDC)获取其他连接器。
Eventstream 与托管专用终结点的集成
估计发布时间线:2024 年第 3 季度
发布类型:公共预览版
与托管专用终结点的集成使对防火墙后面的数据源的安全和专用访问或阻止了公共 Internet 访问,允许通过出站连接将数据流式传输到 Fabric Eventstream。
Eventhouse 目标支持 Eventstreams
估计发布时间线:2024 年第 3 季度
发布类型:公共预览版
Eventstreams 将添加对 Eventhouse 作为目标的支持。
KQL 数据库实体关系图
估计发布时间线:2024 年第 4 季度
发布类型:公共预览版
KQL DB 实体及其关系的可视表示形式(例如表、函数、具体化视图等)。
Webhook 支持
估计发布时间线:2025 年第 1 季度
发布类型:公共预览版
Webhook 表示可在不同方案中使用的大量应用程序集成。 数据激活器将支持触发触发器时调用 Webhook 的操作。
支持触发 Fabric 操作和 Webhook 中的参数
估计发布时间线:2025 年第 1 季度
发布类型:公共预览版
通过启动 Fabric 作业或调用 Webhook 执行操作的触发器将能够将反射模型中的属性值作为参数传递给作业或 Webhook。
发货功能(s)
在实时仪表板上设置警报
发货(2024 年第 2 季度)
发布类型:公共预览版
除了监视 Power BI 和 Eventstream 数据之外,数据激活器还支持针对实时仪表板中保存的 KQL 查询进行定期查询。 这些查询可用于返回异常,或跟踪随时间推移的结果来检测数据更改或阈值条件。
运动中所有数据的实时中心
发货(2024 年第 2 季度)
发布类型:公共预览版
实时中心是整个组织内所有动态数据的单一资产。
在实时中心获取事件体验(更改以解释值或删除 18/24)
发货(2024 年第 2 季度)
发布类型:公共预览版
无论是来自新源还是现有源、流或可用事件的数据,Get Events 体验都允许用户直接从实时中心、事件流、Eventhouse 和数据激活器连接到各种源。
新的流式处理连接器,包括 Confluent Kafka、AWS Kinesis、PostgresSQL CDC 等
发货(2024 年第 2 季度)
发布类型:公共预览版
除了Microsoft源之外,用户现在可以从其他平台(如 Google Cloud、Amazon Kinesis、数据库更改数据捕获流等)流式传输数据。 使用新的消息传送连接器。 我们的消息传送连接器由 Kafka 与 Camel Kafka 连接器连接提供支持,这些连接器提供可插入性声明性数据集成框架,并为热门数据平台上的各种源连接提供灵活性,以及连接数据库以提取变更数据捕获(CDC)流的 Debezium。
Fabric 系统事件和 Azure 存储事件中离散事件的新源
发货(2024 年第 2 季度)
发布类型:公共预览版
离散事件(a.k.a.通知事件)是发生的重要(重要)事实,并且触发下游使用者应用程序中的状态更改或操作(订阅者)。 示例包括订单系统中的 OrderPlaced、Azure 源中的 Blob 存储更改或 Fabric 系统中的项更改等事件。
增强事件流中实时中心的源
发货(2024 年第 2 季度)
发布类型:公共预览版
通过 Eventstream 主页,可以更轻松地引入数据。 通过单击“添加外部源”,可以在“获取事件”向导中找到这些源,帮助你在几个步骤中设置源。 将源添加到事件流后,可以将其发布到事件流中。 将 Eventstream 与离散源配合使用,将事件转换为流,以便进行更多分析。 可以将流发送到不同的 Fabric 数据目标,例如 Lakehouse 和 KQL 数据库。
事件流编辑和实时模式
发货(2024 年第 2 季度)
发布类型:公共预览版
Eventstream 提供两种不同的模式(“编辑”和“实时”)来灵活地控制事件流的开发过程。 如果创建新的启用了增强功能的事件流,则可以在编辑模式下对其进行修改。 在这里,可以使用无代码编辑器为数据流设计流处理操作。 完成编辑后,可以发布 Eventstream 并直观显示如何在实时模式下开始流式处理和处理数据。
默认流和派生流
发货(2024 年第 2 季度)
发布类型:公共预览版
实时中心内列出了多个流,包括默认流和派生流。 将流式处理源添加到 Eventstream 时,将自动生成默认流。 默认流直接从源捕获原始事件数据,以便进行转换或分析。 erived 流:用户可以在 Eventstream 中创建为目标的专用流。 派生流可以在一系列操作(如筛选和聚合)后创建,然后可以通过实时中心让组织中的其他用户进一步使用或分析派生流。
实时智能联合试点
发货(2024 年第 2 季度)
发布类型:公共预览版
通过共同试点,可以编写自然语言的查询,并将其翻译成Kusto 查询语言(KQL)。 可以使用共同试点来询问操作方法查询、浏览 KQL 数据库中的数据,以及创建表、函数和具体化视图等 Kusto 实体。
实时仪表板
发货(2024 年第 2 季度)
发布类型:公共预览版
仪表板是磁贴的集合,可选择按页面进行组织,其中每个磁贴都有一个基础查询和一个可视化表示形式。 以视觉对象的形式本机将Kusto 查询语言 (KQL) 查询导出到仪表板,然后根据需要修改其基础查询和视觉格式。 除了便于数据浏览外,此完全集成的仪表板体验还提供改进的查询和可视化性能,以及针对高粒度低延迟数据的灵活建模。
基于内容的事件路由到事件流中的目标
发货(2024 年第 2 季度)
发布类型:公共预览版
通过将无代码事件处理器引入事件流主画布,客户可以使用事件处理器定义的事件处理逻辑,根据事件内容将事件数据路由到目标。
使用数据激活器创建操作和警报
发货(2024 年第 2 季度)
此功能提供低代码/无代码体验,用于驱动 KQL 数据库数据在实时仪表板中显示的操作和警报。 数据激活器提供一个位置来定义数据中的可操作模式。 这些模式的范围可以从简单的阈值(如超出值)到一段时间内更复杂的模式(例如值趋势下降)。 当数据激活器检测到可操作模式时,它会触发操作。 该操作可以是组织中相关人员的电子邮件或 Teams 警报。 它还可以通过 Power Automate 流或组织业务线应用之一中的操作触发自动流程。
暂停、停止或重启事件流
发货(2024 年第 2 季度)
此功能使客户能够暂停、停止或重启实时事件流,以便在开发阶段循环访问转换或事件流逻辑。
Eventhouse
发货(2024 年第 2 季度)
发布类型:正式发布
Eventhouse 是一个精心精心制作的用于管理和存储基于事件的数据的前沿数据库工作区,现已正式可供常规使用。 借助 Eventhouse,用户可以对大数据和实时数据查询执行高性能分析,并在几秒钟内处理数十亿个事件。 该平台允许用户将数据组织到一个逻辑项内的隔离舱(数据库),从而促进高效的数据管理。 此外,Eventhouse 还支持跨数据库共享计算和缓存资源,从而最大程度地提高资源利用率。
Eventhouse OneLake 可用性
发货(2024 年第 2 季度)
发布类型:正式发布
在 OneLake 中启用 Eventhouse 的数据可用性意味着客户可以享受最好的两个世界:他们可以在 Eventhouse 中以高性能和低延迟查询数据,并通过任何其他 Fabric 引擎(如 Power BI Direct Lake 模式、仓库、Lakehouse、Notebook 等)查询相同的数据。
创建另一个 KQL 数据库的数据库快捷方式
发货(2024 年第 2 季度)
发布类型:公共预览版
Eventhouse 中的数据库快捷方式是对源数据库的嵌入引用。 数据库快捷方式以只读模式附加,因此可以在不引入源 KQL 数据库的数据上查看和运行查询。 这有助于使用数据共享方案,你可以在团队中或甚至与外部客户就地共享数据。
支持 AI 异常检测器
发货(2024 年第 2 季度)
发布类型:公共预览版
Microsoft Fabric 支持 AI 异常检测器 算法,允许 KQL 在实时智能中使用内联 Python 进行实时评分。
Eventhouse 租户级专用终结点支持
发货(2024 年第 2 季度)
发布类型:公共预览版
客户可以通过通过专用链接限制对租户级别 Eventhouse 的访问,从一个或多个虚拟网络(VNet)访问,从而提高其网络安全。 这将阻止来自公共网络的未经授权的访问,并且仅允许来自特定 VNet 的数据平面操作。
来自实时仪表板的数据浏览的新体验
发货(2024 年第 2 季度)
发布类型:公共预览版
直接从实时仪表板,用户可以使用用户友好的类似表单界面来优化其探索。 这种直观和动态的体验专为见解资源管理器定制,可基于实时数据获得见解。 添加筛选器、创建聚合和切换可视化效果类型,无需编写查询即可轻松发现见解。
使用实时中心在 Eventhouse 中获取 KQL 数据库中的数据
发货(2024 年第 2 季度)
发布类型:公共预览版
借助 KQL 数据库体验中嵌入的实时中心,租户中的每个用户都可以查看和添加有权访问的流,并直接将其引入 Eventhouse 中的 KQL 数据库表。
在数据激活器中从实时中心获取数据
发货(2024 年第 2 季度)
发布类型:公共预览版
使用嵌入式实时中心浏览器将新事件引入反射项。
从实时中心创建触发器
发货(2024 年第 2 季度)
发布类型:公共预览版
在实时中心,你将看到用于在业务和系统事件上创建新触发器和警报的选项。
通过构造项执行操作
发货(2024 年第 2 季度)
发布类型:公共预览版
反射项将支持将 Fabric 项作业作为操作启动。 你将能够启动数据管道和笔记本。
增强的触发器选项
发货(2024 年第 2 季度)
为了表示监视的业务条件,数据激活器将支持更多的触发条件,例如随时间变化的百分比、日期/时间函数、基本数学函数、信号缺失检测等。
笔记本集成
发货(2024 年第 1 季度)
客户可以从 Microsoft Fabric 笔记本本机查询 KQL 数据库。 使用笔记本对 KQL 数据库运行查询、保存生成的数据帧、将数据引入 KQL 数据库等。
纵向扩展到 100 MB/秒,用于事件流处理
发货(2024 年第 1 季度)
在将数据引入到 KQL 数据库和 lakehouses 时,事件流可以支持高达 100 MB/秒的事件引入吞吐量。
事件流中的可自定义事件数据保留
发货(2024 年第 1 季度)
客户可以灵活地设置事件数据保留时间,确保根据事件流的特定业务需求将事件数据保留在事件流中。
Eventstream 中事件处理程序的增强功能
发货(2024 年第 1 季度)
这包括三项增强功能。 首先,个性化操作节点,并轻松筛选出数据中的“null”值。 其次,在聚合操作中轻松管理和重命名列字段。 第三,使用“管理字段”操作将值更改为不同的数据类型。
eventstream lakehouse 目标中的表优化快捷方式
发货(2024 年第 1 季度)
表优化快捷方式通过打开 Spark 作业来帮助用户,该作业压缩 Lakehouse 表中的小流文件。
增强的“自定义应用详细信息”选项卡提供全面的终结点信息
发货(2024 年第 1 季度)
自定义 应用源和目标的“详细信息 ”选项卡提供有关事件流终结点的综合信息。 可用信息包括 Kafka、Eventhub 和 AMQP 格式中的连接字符串,以及使用这三种协议进行事件引入和使用的示例 Java 代码。
改进了无代码流处理设计器
发货(2024 年第 1 季度)
用户改进了事件流编辑体验,在无代码设计器中具有更直观的手势。
多个 Fabric 项中的“从 Eventstream 获取数据”
发货(2024 年第 1 季度)
客户可以从多个 Fabric 项中的事件流获取事件数据,包括 Lakehouse、KQL 数据库和 Reflex。
KQL 数据库 OneLake 表示形式的增量支持
发货(2024 年第 1 季度)
发布类型:公共预览版
KQL 数据库数据已在 OneLake 中以 parquet 格式提供。 添加 Delta 支持使其他 Fabric 功能能够将 OneLake 状态用作表而不是文件列表。
管理监视
发货(2024 年第 1 季度)
可以使用管理监视来搜索审核日志,以及跟踪使用情况和采用、容量消耗和可用性。
数据激活器的新事件流目标
发货(2024 年第 1 季度)
“数据激活器目标”选项可帮助客户将事件路由到数据激活器,他们可以基于事件流中的事件数据以本机方式生成触发器。
自动缩放事件流
发货(2024 年第 1 季度)
此功能可灵活地自动缩放容量以响应事件数据流量,从而无缝改善事件流吞吐量,而不会中断业务运营。
事件流数据预处理到 KQL 数据库目标
发货(2024 年第 1 季度)
通过数据转换添加 KQL 数据库目标,客户可以在将数据卷路由到 KQL 数据库之前对其进行转换、扩充和减少。
改进了“获取数据”体验
发货(2024 年第 1 季度)
用户体验简化和改进的获取数据体验,以将其数据引入 KQL 数据库。
事件流中嵌入的云连接创建
发货(2024 年第 1 季度)
客户可以直接在其事件流中创建云连接,而无需导航到另一个网页。
事件流湖屋目标的两种引入模式
发货(2024 年第 1 季度)
Eventstream Lakehouse 目标支持两种引入模式:低延迟和高吞吐量。