Windows Server 上的分布式 AI 推理文档

探索Windows Server上的分布式AI推理。 比较运行时，连接客户端与终端，使用 SQL Server 构建，规划 GPU 基础设施。

理解人工智能推理方法

概述

• 在 Windows Server 上规划分布式 AI 推理

概念

• 什么是 Windows ML？

在 Windows Server 中规划 GPU 加速

概念

• 在 Windows Server 中针对 GPU 加速进行规划

探索推理运行时

开始使用

• 开始使用 Foundry Local，进行设备内推理

将应用和工具连接到模型端点

操作指南

• 将 GitHub Copilot CLI 连接到 Windows Server 推理端点
• 将 Visual Studio Code 连接到本地和远程模型端点
• 将智能终端预览连接到 Windows Server 模型端点

用SQL Server构建AI解决方案

概述

• SQL Server中的智能应用程序和 AI

配置集群虚拟机的GPU。

操作指南

• 在群集 VM 中将 GPU 与离散设备分配配合使用