巨量數據叢集

SQL Server 2019 巨量數據叢集是多雲端、開放的數據平臺，可供任何規模的分析。 巨量數據叢集將 SQL Server 與 Apache Spark 整合在一起，以提供最適合用於分析的單一、易於使用的部署引擎。 有了這些引擎，巨量數據叢集是 AI、ML、M/R、串流、BI、T-SQL 和 Spark 的理想數據平臺。 巨量數據叢集在 SQL Server 2019 版中傳遞，是 Kubernetes 所協調的雲端原生解決方案。 我們的任務是加速、喜悅並提升使用者對數據驅動見解的渴望。 Microsoft SQL Server 2019 巨量資料叢集附加元件將會淘汰。 SQL Server 2019 巨量資料叢集的支援將於 2025 年 2 月 28 日結束。

關於巨量數據叢集

架構

• Microsoft SQL Server 平臺上的巨量數據選項

概觀

• 巨量數據叢集簡介
• 巨量數據叢集常見問題

最新消息

• 有什麼新鮮事

video

• 架構和部署

快速入門

• 部署
• 載入數據
• 執行Spark作業

載入數據

操作指南

• 虛擬化 CSV
• 設定 HDFS 階層處理
• 掛接 ADLS Gen2

概念

• 數據擷取 - curl
• 數據擷取 - 還原

教學課程

• 使用Spark的範例筆記本
• 使用 Spark 作業將資料內嵌至數據集區
• 使用 T-SQL 將資料內嵌至數據集區
• 載入範例數據

巨量數據和 ML

概念

• ML 服務
• 安裝巨量數據工具

操作指南

• 建立、導出和評分 Spark ML 模型
• Spark 連結庫管理
• 來自 RStudio 的 Sparklyr
• Spark 串流指南
• Delta Lake

教學課程

• 使用 Spark 啟動範例筆記本
• 查詢 HDFS
• 查詢 Oracle

建築師

架構

• 在 Kubernetes 上部署
• 已部署的資源
• 安全
• 設定 HDFS 階層處理

操作指南

• 部署
• 使用 Notebook 在 AKS 上部署
• 設定部署設定
• 設定部署後設定
• 離線部署
• 私人叢集部署
• 升級

快速入門

• 在 Azure Kubernetes Service 上部署 （AKS）
• 在 Azure Red Hat OpenShift 上部署 （ARO）
• 在 OpenShift 上部署

教學課程

• 設定巨量數據叢集的 AKS
• Kubeadm
• 部署時確保高可用性
• 在 Active Directory 模式中部署

管理與記錄

概觀

• 管理資源

概念

• 使用 Grafana 監視叢集
• 使用 Kibana 將記錄可視化
• 叢集監視筆記本

教學課程

• 監視叢集狀態
• 使用 azdata 和 kubectl 進行監視

操作指南

• 管理 （控制器儀表板）
• 針對叢集進行疑難解答
• Active Directory 疑難排解
• 針對 HDFS 進行疑難解答

安全

概觀

• 安全
• Kubernetes RBAC
• 資料靜止時的加密

操作指南

• 連線
• 以 AD 模式連線
• 部署 - Active Directory
• 管理 HDFS 許可權
• AD 密碼輪替

教學課程

• HDFS 加密區域使用指南
• TDE 使用指南

相關技術

參考

• 開始使用 Kubernetes
• Kubernetes 疑難排解
• Apache Spark

相關資源

參考

• 整合合作夥伴
• Apache Spark
• 範例 （GitHub）
• 解決方案合作夥伴

訓練

• Kubernetes 簡介
• 分散式檔案系統
• Python 簡介
• 巨量數據叢集架構研討會