Azure Synapse Analytics 現在支援 Apache Spark 集區使用圖形處理單位 (GPU) 加速。
藉由使用 NVIDIA GPU，資料科學家和工程師可以減少執行資料整合管線、評分機器學習模型等等所需的時間。 本文描述如何搭配 Azure Synapse Analytics 建立和使用 GPU 加速集區。 本文也會詳述預先安裝為 GPU 加速執行階段一部分的 GPU 驅動程式和程式庫。
注意
Azure Synapse 啟用 GPU 預覽功能現已淘汰。
建立 GPU 加速集區
為了簡化建立和管理集區的流程，Azure Synapse 會負責預先安裝低階程式庫，並設定計算節點之間的所有複雜網路需求。 這種整合可讓使用者在短短幾分鐘內就能開始使用 GPU 加速集區。
注意
- 您可以在位於美國東部、澳大利亞東部和北歐的工作區中建立 GPU 加速集區。
- GPU 加速集區僅適用於 Apache Spark 3 運行時間。
GPU 加速執行階段
NVIDIA GPU 驅動程式、CUDA 和 cuDNN
Azure Synapse Analytics 現在提供 GPU 加速的 Apache Spark 集區，其中包含各種 NVIDIA 程式庫和設定。 根據預設，Azure Synapse Analytics 會安裝所需的 NVIDIA 驅動程式和程式庫，以在 Spark 驅動程式和背景工作角色執行個體上使用 GPU：
- CUDA 11.2
- libnccl2=2.8.4
- libnccl-dev=2.8.4
- libcudnn8=8.1.1
- libcudnn8-dev=8.1.1
注意
此軟體包含 NVIDIA Corporation 所提供的原始程式碼。 具體而言，為了支援 GPU 加速集區，Azure Synapse Apache Spark 集區包含來自 CUDA 範例的程式碼。
NVIDIA 使用者授權合約 (EULA)
在 Synapse Spark 中選取 [GPU 加速硬體] 選項時，您會以隱含的方式同意 NVIDIA EULA 中所概述的條款及條件，相關事項如下：
- CUDA 11.2：EULA :: CUDA Toolkit 文件 (nvidia.com)
- libnccl2=2.8.4：nccl/LICENSE.txt at master · NVIDIA/nccl (github.com)
- libnccl-dev=2.8.4：nccl/LICENSE.txt at master · NVIDIA/nccl (github.com)
- libcudnn8=8.1.1：軟體授權合約 :: NVIDIA Deep Learning cuDNN 文件
- libcudnn8-dev=8.1.1：軟體授權合約 :: NVIDIA Deep Learning cuDNN 文件
- CUDA、NCCL 和 cuDNN 程式庫，以及適用於 NCCL 程式庫的 NVIDIA 使用者授權合約 (含 NCCL 附錄)
加速 ETL 工作負載
透過內建支援 NVIDIA 中適用於 Apache Spark 的 RAPIDS 加速器，Azure Synapse 中的 GPU 加速 Spark 集區可提供較標準分析效能評定更顯著的效能改進，而不需要變更任何程式碼。 此套件係以 NVIDIA CUDA 和 UCX 為基礎建置，並啟用 GPU 加速 SQL、DataFrame 作業和 Spark 重組。 因為不需要變更任何程式碼即可使用這些加速功能，所以若使用者的資料管線使用 Linux Foundation 的 Delta Lake 或 Microsoft 超空間索引，則可以加速其效能。
若要深入了解如何搭配 Azure Synapse Analytics 中的 GPU 加速集區使用 NVIDIA RAPIDS 加速器，請瀏覽本指南，以了解如何使用 RAPIDS 來改善效能。
定型深度學習模型
深度學習模型通常需要大量的資料與計算。 因此，組織通常會使用已啟用 GPU 的叢集來加速其訓練程序。 在 Azure Synapse Analytics 中，組織可以使用 TensorFlow 和 PyTorch 等架構來建置模型。 然後，使用者可以使用 Horovod 和 Petastorm 來擴大其深度學習模型。
若要深入瞭解如何定型分散式深度學習模型，請流覽下列指南： - 教學課程：使用 Horovod 和 TensorFlow - 進行分散式訓練教學課程：使用 Horovod 和 PyTorch 的分散式訓練
改善機器學習評分工作負載
許多組織都依賴經常在較窄時間範圍內執行的大型批次評分作業。 為了實現改善的批次評分作業，您也可以搭配 Microsoft 的 Hummingbird 程式庫使用 GPU 加速 Spark 集區。 透過 Hummingbird，使用者可以採用傳統的樹狀型 ML 模型，並將其編譯成張量計算。 Hummingbird 可讓使用者順暢地利用原生硬體加速和神經網路架構，來加速其 ML 模型計分，而不需要重寫其模型。