你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
组织依赖于Azure的计算、存储和分析能力来缩放、流式传输、预测和查看其数据。 分析解决方案可将海量数据转化为有用的商业智能(BI),例如报表和可视化,以及创新型 AI,例如基于机器学习的预测。 Azure为不熟悉分析和需要扩展其实现的组织提供一系列基于云的分析工具。 分析解决方案可帮助组织大规模使用数据。 可以使用 大数据体系结构 或 物联网(IoT)体系结构 来处理原始数据,然后将其移动到分析数据存储。 此数据存储将成为单一可信数据源,为富有洞察力的分析解决方案提供支撑。
建筑
上图演示了典型的基本或基线分析实现。 有关可在 Azure 中构建的实际解决方案,请参阅 Analytics 体系结构。
探索分析指南、体系结构和解决方案创意
本节中的文章包括指南和完全开发的体系结构,可在Azure中部署并扩展到生产级解决方案。 解决方案理念演示了在规划分析概念证明(POC)开发时要考虑的实现模式和可能性。 这些文章可帮助你决定如何在Azure中使用分析技术。
分析指南
以下文章可帮助你评估并选择最适合工作负荷要求的分析技术:
选择数据分析和报告服务:比较Azure中数据分析和可视化的选项。
选择批处理服务:评估大数据工作负荷的批处理技术。
选择流处理服务:比较流处理技术进行实时分析。
选择分析数据存储:获取有关分析数据存储选择的指导。
在 Microsoft Fabric 中选择分析数据存储:获取有关Fabric中数据存储的指导。
以下文章提供有关Azure数据平台的灾难恢复(DR)策略的指导:
Overview:Azure数据平台的 DR 策略概述。
Architecture:Azure数据平台中 DR 的体系结构模式。
方案详细信息:DR 实现的详细方案。
建议:灾难恢复的最佳实践。
分析体系结构
以下生产就绪体系结构演示了可以部署和自定义的端到端分析解决方案:
借助 Fabric 实现端到端分析:使用 Fabric 构建现代分析平台。
数据仓库和分析:将数据从多个源集成到统一分析平台中。
使用Fabric设计企业 BI 解决方案:使用 Fabric 设计企业 BI 解决方案。
近实时湖仓数据处理:使用 Azure Synapse Analytics 和 Azure Data Lake Storage 进行近实时数据湖仓处理。
将 MongoDB Atlas 实时同步到 Azure Synapse Analytics:将 MongoDB Atlas 数据实时同步到Azure Synapse Analytics。
使用 Azure Databricks 进行流处理:使用 Azure Databricks 创建端到端流处理管道。
流处理与 Azure 流分析:生成流处理管道,用于引入数据、关联记录和计算滚动平均值。
适用于中小企业的新式数据仓库:构建专为中小企业设计的现代数据仓库解决方案。
分析解决方案创意
以下分析解决方案思路演示了实现模式和探索可能性:
使用 Azure Databricks 的数据引入、提取、转换和加载(ETL)及流处理管道:为批处理和流式数据创建 ETL 管道,以简化数据湖的数据引入。
使用 Azure Databricks 的现代分析架构:使用现代数据架构收集、处理、分析和可视化数据。
适用于中小企业的 Modern 数据平台:使用Fabric和Azure Databricks为中小企业构建现代数据平台体系结构。
使用 Azure 数据资源管理器 :使用Azure 数据资源管理器和Azure 服务总线实时分析数据。
了解Azure分析工具相关信息
Microsoft Learn 为Azure分析技术提供免费联机培训资源。 该平台为特定产品和服务提供视频、教程和动手实验室,以及按作业角色组织的学习路径。
以下资源为有关 Azure 的分析实现提供基础知识:
- 浏览 Azure 数据相关文章
- Microsoft Azure 数据核心概念简介
- 开始使用 Fabric
- Microsoft数据分析入门
使用 Azure Databricks 使用 Azure Databricks
组织就绪情况
云采用过程开始时的组织可以使用 云采用框架 for Azure来访问加速云采用的成熟指南。
若要帮助确保分析解决方案在Azure的质量,请按照 Azure Well-Architected Framework 中的指南进行操作。 Well-Architected 框架为寻求卓越体系结构的组织提供了规范性指南,并介绍了如何设计、预配和监视成本优化的 Azure 解决方案。
最佳做法
分析中的最佳做法可确保解决方案可缩放、可靠、经济高效且安全。
数据分析
若要对Azure使用分析,需要决定如何存储数据。 然后,可以为方案选择最佳数据分析技术。 请考虑下列因素:
数据存储: 根据数据结构和查询模式,选择数据湖、数据仓库或数据湖仓。 有关支持分析工作负荷的数据库解决方案的详细信息,请参阅 数据库体系结构设计。
处理模型: 确定批处理、流处理还是组合最符合工作负荷要求。
分析工具: 选择满足团队技能和业务需求的 BI 和 AI 技术。
可信数据
若要进行高质量的分析,需要可靠的可信数据。 信息安全实践有助于确保您的数据在传输过程中和静态存储时受到保护。 对数据的访问也必须是安全的。 若要帮助生成可信数据,请考虑以下做法和控制:
在平台级别,以下 大数据最佳实践有助于增强在 Azure 上的可信分析:
协调数据引入:使用由 Azure 数据工厂 或 Fabric 管道支持的数据工作流或管道解决方案。
就地处理数据: 使用分布式数据存储,这是一种大数据方法,支持大量数据和更广泛的格式。
提前清理敏感数据: 若要避免在 Data Lake 中意外存储敏感数据,请删除或掩码此数据作为引入工作流的一部分。
考虑总成本: 将所需计算节点的每单位成本与每分钟成本进行比较,以在这些节点上运行作业。
创建统一的数据湖: 整合多种格式文件的存储,无论是结构化、半结构化还是非结构化数据。 使用Data Lake Storage作为单个集中式源。 有关详细信息,请参阅 卓越中心的 BI 解决方案体系结构。
随时了解分析
Azure分析服务不断发展,以应对新式数据挑战。 随时了解最新的 更新和功能。
若要随时了解关键分析服务,请参阅以下文章:
- Fabric 中有哪些新增功能?
- Azure Databricks发行说明
Azure 数据资源管理器 - Power BI 中有什么新功能?
其他资源
以下资源可帮助你了解有关分析的详细信息。
实时分析
组织可以使用实时分析在数据到达时对数据执行操作。 以下资源可帮助你开始对Azure进行实时分析:
对大数据体系结构进行实时分析:大规模处理和分析流数据。
使用 Azure 数据资源管理器 进行 IoT 分析:实时分析 IoT 个人数据。
使用流分析进行流处理:生成无服务器流式处理解决方案。
使用 Azure Databricks :使用 Apache Spark 发现企业级分析。有关更多分析示例,请参阅 Azure 体系结构中心
Amazon Web Services (AWS) 或 Google Cloud 专业人员
为了帮助你快速入门,以下文章将Azure分析选项与其他云服务进行比较并提供迁移指南: