大数据群集

SQL Server 2019 大数据群集是多云开放的数据平台，可用于任何规模的分析。 大数据群集将 SQL Server 与 Apache Spark 结合在一起，提供可用于在单个易于使用的部署中进行分析的最佳计算引擎。 使用这些引擎，大数据群集是 AI、ML、M/R、流式处理、BI、T-SQL 和 Spark 的理想数据平台。 大数据群集作为 SQL Server 2019 版本的一部分提供，是 Kubernetes 协调的云原生解决方案。 我们的使命是加快、喜悦和增强用户对数据驱动见解的渴望。 Microsoft SQL Server 2019 大数据群集附加产品将停用。 对 SQL Server 2019 大数据群集的支持将于 2025 年 2 月 28 日结束。

关于大数据群集

体系结构

• Microsoft SQL Server 平台上的大数据选项

概述

• 大数据群集简介
• 大数据群集常见问题解答

新变化

• 新动态

video

• 体系结构和部署

快速入门

• 部署
• 加载数据
• 运行 Spark 作业

加载数据

操作指南

• 虚拟化 CSV
• 配置 HDFS 分层
• 装载 ADLS Gen2

概念

• 数据引入 - curl
• 数据引入 - 还原

教程

• 使用 Spark 的示例笔记本
• 使用 Spark 作业将数据引入数据池
• 使用 T-SQL 将数据引入数据池
• 加载示例数据

大数据和 ML

概念

• ML 服务
• 安装大数据工具

操作指南

• 创建、导出和评分 Spark ML 模型
• Spark 库管理
• RStudio 中的 Sparklyr
• Spark 流式处理指南
• Delta Lake

教程

• 使用 Spark 运行示例笔记本
• 查询 HDFS
• 查询 Oracle

建筑师

体系结构

• 在 Kubernetes 上部署
• 部署的资源
• 安全
• 配置 HDFS 分层

操作指南

• 部署
• 使用笔记本在 AKS 上部署
• 配置部署设置
• 配置部署后设置
• 脱机部署
• 专用群集部署
• 升级

快速入门

• 在 Azure Kubernetes 服务上部署 （AKS）
• 在 Azure Red Hat OpenShift 上部署 （ARO）
• 在 OpenShift 上部署

教程

• 为大数据群集配置 AKS
• kubeadm
• 用高可用性部署
• 在 Active Directory 模式下部署

管理和日志记录

概述

• 管理资源

概念

• 使用 Grafana 监视群集
• 使用 Kibana 可视化日志
• 群集监视笔记本

教程

• 监视群集状态
• 使用 azdata 和 kubectl 进行监视

操作指南

• 管理（控制器仪表板）
• 排查群集问题
• 对 Active Directory 进行故障排除
• 对 HDFS 进行故障排除

安全

概述

• 安全
• Kubernetes RBAC
• 静态加密

操作指南

• 连接
• 在 AD 模式下连接
• 部署 - Active Directory
• 管理 HDFS 权限
• AD 密码轮换

教程

• HDFS 加密区域使用指南
• TDE 使用指南

相关技术

参考

• Kubernetes 入门
• Kubernetes 疑难解答
• Apache Spark

相关资源

参考

• 集成合作伙伴
• Apache Spark
• 示例（GitHub）
• 解决方案合作伙伴

培训

• Kubernetes 简介
• 分布式文件系统
• Python 简介
• 大数据群集体系结构研讨会