Windows Server 上的分散式 AI 推論說明文件

探索 Windows Server 上的分散式 AI 推論。 比較執行環境、連接用戶端與端點、使用 SQL Server 建置，並規劃 GPU 基礎設施。

了解 AI 推論方法

概觀

• 規劃 Windows Server 上的分散式 AI 推論

概念

• 什麼是 Windows ML？

規劃 Windows Server 中的 GPU 加速

概念

• 規劃 Windows Server 中的 GPU 加速

探索推論執行階段

開始使用

• 開始使用 Foundry Local，進行裝置內推論

連接應用程式與工具與建模端點

操作指南

• Connect GitHub Copilot CLI 到 Windows Server 推論端點
• 連接 Visual Studio Code 與本地及遠端模型端點
• 將智慧終端預覽連接至 Windows Server 模型端點

使用 SQL Server 建構 AI 解決方案

概觀

• SQL Server 中的智慧應用程式與人工智慧

為叢集虛擬機配置 GPU

操作指南

• 在叢集 VM 中使用 GPU 並進行離散裝置指派