解决方案构想
本文是一种解决方案构想。 如果你希望我们在内容中扩充更多信息,例如潜在用例、备用服务、实现注意事项或定价指南,请通过提供 GitHub 反馈来告知我们。
此解决方案构想演示了如何在 Azure 数据资源管理器中使用交互式分析。 其中通过即兴、交互式、快速的查询介绍如何检查结构化、半结构化和非结构化数据。
Jupyter 是其相关公司的商标。 使用此标志并不意味着认可。 Apache® 和 Apache Kafka® 是 Apache Software Foundation 在美国和/或其他国家/地区的商标或注册商标。 使用这些标记并不暗示获得 Apache Software Foundation 的认可。
体系结构
下载此体系结构的 Visio 文件。
数据流
- 可将来自各种源的原始结构化、半结构化和非结构化(自由文本)数据(例如任何类型的日志、业务事件和用户活动)引入 Azure 数据资源管理器。 使用各种方法引入流式处理或批处理模式下的数据。
- 使用适用于 Azure 数据工厂、Azure 事件中心、Azure IoT 中心、Kafka 等服务/平台的连接器以较低延迟和较高吞吐量将数据引入 Azure 数据资源管理器。 或者,可以通过 Azure 存储(Blob 或 ADLS Gen2)引入数据,Azure 存储使用 Azure 事件网格并触发到 Azure 数据资源管理器的引入管道。 还可以以压缩的分区 parquet 格式将数据连续导出到 Azure 存储,并无缝查询该数据,如连续数据导出概述中所述。
- 使用本机 Azure 数据资源管理器工具或所选的替代工具对少量到大量数据运行交互式查询。 Azure 数据资源管理器提供了许多插件以及与数据平台生态系统其余部分的集成。 使用以下任何工具和集成:
- 对于交互式分析,请使用 Azure 数据资源管理器 Web UI、Azure 数据资源管理器的 Web 客户端或 Kusto.Explorer(Azure 数据资源管理器的富 Windows 客户端)。
- 若要连接到 Azure 数据资源管理器群集,请使用 Jupyter 笔记本、Spark 连接器、任何与 TDS 兼容的 SQL 客户端以及 JDBC 和 ODBC 连接。
- 若要生成新应用或与现有应用或框架集成,请使用以不同语言提供的 Azure 数据资源管理器 REST API 和 SDK。
- 使用 Azure 数据资源管理器仪表板、Power BI 或 Grafana 生成准实时分析仪表板。
- 通过使用 Azure 数据资源管理器插件合并来自 SQL 数据库和 Azure Cosmos DB 的数据,扩充运行联合查询的数据。
组件
- Azure 事件中心:完全托管的实时数据引入服务,简单、可信任且可缩放。
- Azure IoT 中心:可在 IoT 设备与 Azure 之间实现双向通信的托管服务。
- Kafka on HDInsight:简单易用、经济高效的企业级服务,使用 Apache Kafka 进行开源分析。
- Azure 数据工厂:大规模简化 ETL 的混合数据集成服务。
- Azure 数据资源管理器:快速、完全托管且高度可缩放的数据分析服务,用于实时分析从应用程序、网站和 IoT 设备等资源流式传输的大量数据。
- Azure 数据资源管理器仪表板:以本机方式将在 Web UI 中浏览的 Kusto 查询导出到经过优化的仪表板。
- Azure Cosmos DB:完全托管的快速 NoSQL 数据库服务,适用于新式应用开发,具有适合于任何规模的开放式 API。
- Azure SQL DB:使用云中的托管和智能 SQL 生成随业务节奏缩放的应用。
方案详细信息
此解决方案构想演示了如何利用 Azure 数据资源管理器使用交互式分析,通过对少量到巨量数据进行即兴、交互性和快速查询来浏览数据。 可以使用本机 Azure 数据资源管理器工具或所选的替代工具来执行此数据浏览。 此解决方案侧重于 Azure 数据资源管理器与其他数据平台生态系统的集成。
可能的用例
Microsoft 客户使用此解决方案来跟踪用户活动、管理用户配置文件和用户分段方案。
作者
本文由 Microsoft 维护, 它最初是由以下贡献者撰写的。
主要作者:
- Ornat Spodek | 高级内容管理员
后续步骤
有关详细信息,请参阅 Azure 数据资源管理器文档。