Real-Time Intelligence 是一项功能强大的服务,让组织中的每个人都可以提取见解并将其动态数据可视化。 它为需要在事件发生时响应事件、处理持续流动的数据或分析日志的方案提供端到端解决方案。 无论是处理 GB 还是 PB,所有组织的流动数据都会在实时中心聚合。 其使用无代码连接器无缝地连接来自各种源的基于时间的数据,从而实现即时的视觉对象见解、地理空间分析和基于触发器的反应,这些反应都是组织范围内数据目录的一部分。
无缝连接任何数据流后,即可访问整个基于云的解决方案。 Real-Time 智能处理数据引入、转换、存储、建模、分析、可视化、跟踪、AI 和实时作。 您的数据在组织内保持受保护、被治理并且已集成,与所有Fabric产品无缝对接。 Real-Time Intelligence 将数据转换为可操作的动态资源,从而在整个组织中实现价值。
Real-Time Intelligence 可以帮助到我吗?
Real-Time 智能可用于数据分析、即时视觉洞察、动态数据的集中化管理、数据操作、高效查询、转换、建模以及存储大量结构化或非结构化数据。 无论是需要评估来自 IoT 系统、系统日志、自由文本、半结构化数据,还是提供数据供组织中的其他人使用,Real-Time Intelligence 都可以提供多功能解决方案。
尽管它被称为“实时”,但您的数据不必以高速度和大容量流动。 Real-Time Intelligence 为你提供了在事件发生时对事件做出反应的解决方案,而不是按计划运行的解决方案。 实时智能组件基于受信任的微软核心服务构建,它们共同扩展了整体Fabric的功能,以提供能够立即响应数据更改的解决方案。
Real-Time Intelligence 应用程序涵盖了各种业务应用场景,例如汽车业、制造业、IoT、欺诈检测、业务运营管理和异常情况检测等。 还可以使用适用于 AI 和代理应用程序方案的 Real-Time Intelligence,例如生成应用的实时内容安全监视和代理遥测,其中对安全信号和聊天事件进行流式处理和分析,以便立即采取行动。
如何使用 Real-Time Intelligence?
在 Microsoft Fabric 中,实时智能(Real-Time Intelligence)提供了一系列功能,这些功能结合在一起,可以在业务和工程流程中创造实时智能解决方案。
实时中心充当组织内的集中式目录。 它便于查找、添加、浏览和共享流数据。 通过连接到许多不同的数据源,可以在整个组织中获取见解。 重要的是,此中心可确保数据不仅可用,而且可供所有人访问,从而促进快速决策和明智的行动。 共享来自不同源的流式处理数据激发了在整个组织中构建全面的商业智能的潜力。
一旦您选择了来自组织内部或连接到外部和内部来源的流,就可以使用 Real-Time Intelligence 平台中的数据消费工具来探索您的数据。 通过这些工具,可以直观地浏览数据并深入了解特定详细信息。 你可以访问新数据,并轻松了解数据结构、模式、异常、预测数量和数据传输速率。 因此,可以根据数据来采取行动或做出明智的决策。 实时仪表板配备了即用型交互功能,简化了数据理解过程,使任何希望使用视觉工具、自然语言和Copilot根据动态数据做出决策的人都能轻松访问这些数据。
可以使用 Fabric 激活器将这些见解转换为操作,因为你设置了来自Fabric的各个部分的警报,以实时响应数据模式或条件。
如何与实时智能的组件进行交互?
发现流数据
实时中心用于发现和管理流数据。 实时中心事件是动态数据的目录,包含:
数据流:您可以访问的Fabric中所有主动运行的数据流。
Microsoft sources:轻松发现你拥有的流源,并快速将这些源引入到Fabric。 数据更改捕获(CDC)源可以实时跟踪和流式传输对您的数据库所做的更改,例如:Azure Event Hubs、Azure IoT Hub、Azure SQL DB CDC、Azure Cosmos DB CDC、PostgreSQL DB CDC。
Fabric事件:事件驱动的功能支持实时通知和数据处理。 可以监控和响应事件,包括 Fabric 工作区项目事件和 Azure Blob 存储事件。 这些事件可用于触发其他作或工作流,例如调用管道或通过电子邮件发送通知。 还可以通过事件流将这些事件发送到其他目标。 Fabric事件和Azure Blob Storage事件还可以触发激活器规则来启动 Spark 作业或数据流,从而在没有计划的情况下启用完全事件驱动的业务流程。
此数据以易于理解的格式呈现,可供所有Fabric应用使用。
连接到流数据
通过事件流,可以收集、转换和发送大量实时数据到不同的目标,而无需编写代码。 事件流支持多个数据源和数据目标,包括各种到外部源的连接器,例如:Apache Kafka 群集、数据库更改数据捕获源、AWS 流源(Kinesis)、Google(GCP Pub/Sub)、MQTT v3.1/v3.1.1 和 Real-Time 天气连接器。 还可以将来自 AI 或 LLM 服务的应用程序遥测和内容安全信号作为流引入(例如,通过 Kafka 或事件中心连接器)来启用代理交互的管理和监视。 警报创建和规则管理直接嵌入到 Eventstreams 中,允许用户在事件流体验中设置警报和操作,而无需切换上下文。
处理数据流
通过使用事件流中的事件处理功能,可以执行筛选、数据清理、转换、窗口聚合和重复检测,以获得所需形式的数据。 还可以使用基于内容的路由功能,根据筛选条件将数据发送到不同的目标。 另一个功能是派生事件流,该功能允许通过转换和/或聚合构建新流,且这些流可以在实时中心内共享给使用者。
存储和分析数据
Eventhouse 是处理动态数据的理想分析引擎。 它们专为处理结构化、半结构化和非结构化数据的面向时间的流式事件而设计。 数据会根据数据到达的时间自动组织,因此,即使是对大量数据,也可以快速、详细地运行查询。 存储在事件库中的数据可以在 OneLake 中供其他 Fabric 应用程序使用。
事件库中存储的索引分区数据已准备好使用Fabric中的多种代码、低代码或无代码选项进行快速查询。 可以在本机 KQL(Kusto 查询语言)中查询数据,也可以在 KQL 查询集中使用 T-SQL 进行查询。 Kusto copilot 与无代码查询探索体验一起,共同为经验丰富的 KQL 用户和公民数据科学家简化了分析数据的过程。 KQL 是一种简单但功能强大的语言,可用于查询结构化、半结构化和非结构化数据。 这种语言富有表达力、易于阅读和理解查询意向,并已针对创作体验进行优化。
对于 AI 和代理应用场景,可以通过对安全和遥测事件进行低延迟的 KQL 查询,实现代理对话中的近实时仪表板和异常检测。 事件屋数据的时序组织非常适合用于将内容安全信号与会话元数据相关联,因此你可以快速对问题进行会审并确定生成式 AI 工作负载的趋势。
对数据建模
数字孪生构建器(预览版)是一种低代码/无代码体验,用于将数据建模为一种数字化表示物理环境的本体。 对资产和流程进行建模有助于使用数据优化物理作,从而让运营决策者能够访问这些数据。
借助数字孪生生成器,您可以从各种源系统(包括 Fabric OneLake)将数据映射到您的本体中,并定义系统范围或站点范围的语义关系,以便为您的数据提供上下文。 数字孪生生成器包括开箱即用的可视化和查询体验,以便探索建模数据,并利用Microsoft Fabric的强大功能分析大型数据集,例如时序数据和维护记录,这些记录可能会持续数天、数周或数月。
数字孪生生成器的数据还可以连接到 Power BI 或实时仪表板,从而对您的建模数据进行更深入的可视化和自定义报告。 还可以在本体业务实体上定义规则,以启动警报和自动化操作(预览),将建模实体连接到下游实时操作。
可视化数据洞察
可以在 KQL 查询集中可视化数据见解、实时仪表板、Power BI 报表和映射中实现,从数据引入到见解仅需几秒。 可视化选项涵盖从无代码到完全专业化的体验,为数据分析的新手和专家洞察探索者提供价值,帮助他们以图表和表格的形式呈现数据。 可以使用视觉提示对查询结果执行筛选和聚合操作,以及使用丰富的内置可视化效果列表。 这些见解可以在 Power BI 报表和实时仪表板中查看,两者都可以基于数据见解设置警报。
Microsoft Fabric中的地图是一种动态地理空间可视化工具,可让你分析静态和实时空间数据,以便更深入地进行智能分析。 它支持多个可自定义的数据层,例如气泡、热度地图、多边形和三维延伸,使你能够发现传统图表经常错过的空间模式和趋势。 通过与 Lakehouses 和 Eventhouses 集成并使用刷新间隔启用 KQL 查询,Map 有助于实时数据分析,帮助团队监视实时更改、检测异常并及时做出决策。 借助内置的地图样式以及对 GeoJSON 和 PMTiles 等格式的支持,它是提升运作意识和空间智能的强力工具。 有关详细信息,请参阅 创建地图。
触发操作
警报监视不断变化的数据,并在检测到模式或条件时自动执行操作。 数据可以在实时中心流动,也可以从 Kusto 查询或 Power BI 报表中被观察到。 满足某些条件或逻辑时,将执行操作,例如提醒用户、执行Fabric作业项(如管道、Spark 作业或数据流、运行用户数据函数或启动Power Automate工作流)。 逻辑可以是一个简单定义的阈值、一种模式(例如一段时间内重复发生的事件),也可以是 KQL 查询定义的复杂逻辑的结果。 对于生成式 AI 应用程序,您可以通过使用 KQL(Kusto 查询语言)条件引发的警报(例如超出毒性阈值或重复违反策略)来通知应用程序所有者,将事件路由到隔离流程,或触发用于限制或封锁列表的管道和 Power Automate 工作流,从而设置内容安全修正工作流。 Activator 可将事件驱动的见解转化为可操作的业务优势。 激活器还与Power BI service集成,以在已发布报表中出现指定条件时通知用户,例如当新行出现在表视觉对象中时。
与其他Fabric体验集成
- 将事件从事件流路由到Fabric条目目的地
- 将 Fabric 项中的事件发送到实时中心
- 通过多种方式从 Real-Time Intelligence 访问 OneLake 中的数据:
- 将加载到 Real-Time Intelligence 中的数据用作Power BI报表中可视化的基础数据
- 使用加载到 Real-Time Intelligence 中的数据,以便在数据工程的 Fabric Notebooks 中进行分析