Verteilte KI-Inferenz unter Windows Server – Dokumentation

Entdecken Sie die Inferenz der verteilten KI auf Windows Server. Vergleichen Sie Laufzeiten, verbinden Sie Clients mit Endpunkten, bauen Sie mit SQL Server und planen Sie die GPU-Infrastruktur.

KI-Inferenzansätze verstehen

Übersicht

• Verteilte KI-Inferenz auf Windows Server planen

Konzept

• Was ist Windows ML?

GPU-Beschleunigung in Windows Server planen

Konzept

• Planen der GPU-Beschleunigung in Windows Server

Erkunde Inferenzlaufzeiten

Erste Schritte

• Starten Sie mit Foundry Local für Inferenz auf dem Gerät

Verbinden Sie Apps und Tools mit Modell-Endpunkten

Schrittanleitung

• Verbinde GitHub Copilot CLI mit einem Windows Server-Inferenz-Endpunkt
• Verbinden Sie Visual Studio Code mit lokalen und entfernten Modell-Endpunkten
• Verbinde Intelligent Terminal Preview mit einem Windows Server-Modell-Endpunkt

Baue KI-Lösungen mit SQL Server

Übersicht

• Intelligente Anwendungen und KI in SQL Server

GPUs für geclusterte VMs konfigurieren

Schrittanleitung

• Verwenden von GPUs mit diskreter Gerätezuweisung in gruppierten VMs