Freigeben über

Leitfaden für bewährte Verfahren und Fehlerbehebung für Foundry Local

Von Bedeutung

  • Foundry Local ist in der Vorschau verfügbar. Öffentliche Vorschauversionen bieten frühzeitigen Zugriff auf Features, die sich in der aktiven Bereitstellung befinden.
  • Features, Ansätze und Prozesse können sich vor der allgemeinen Verfügbarkeit (General Availability, GA) noch ändern oder eine eingeschränkte Funktionalität aufweisen.

In diesem Artikel werden bewährte Methoden und Tipps zur Problembehandlung für Foundry Local aufgeführt.

Voraussetzungen

  • Installieren Sie Foundry Local.
  • Haben Sie Internetzugriff zum Herunterladen von Modellen (empfohlen).
  • Wenn Sie die Problemumgehung für die systemweite Installation in diesem Artikel verwenden, führen Sie PowerShell mit Administratorrechten aus.

Überprüfen Sie die CLI

Führen Sie den folgenden Befehl aus, um zu bestätigen, dass die Lokale Cli für Foundry installiert und in Ihrem PATH verfügbar ist:

foundry --help

Dieser Befehl listet die verfügbaren Befehle und Optionen auf.

Referenz: Foundry Local CLI Reference

Bewährte Methoden für die Sicherheit

  • Führen Sie Foundry Local nur in Umgebungen aus, die den Sicherheitsrichtlinien Ihrer Organisation entsprechen.
  • Stellen Sie sicher, dass Ihr Gerät die Sicherheitsanforderungen Ihrer Organisation erfüllt, wenn Sie vertrauliche Daten verarbeiten.
  • Verschlüsseln Sie Datenträger auf Geräten, die Modelle zwischenspeichern, die vertrauliche Feinabstimmungsdaten enthalten.

Lizenzierungsaspekte

Überprüfen Sie die Lizenzierungsauswirkungen für die Modelle, die Sie in Foundry Local ausführen. Führen Sie den folgenden Befehl aus, um die vollständigen Modelllizenzbedingungen für jedes Modell im Katalog anzuzeigen. Ersetzen Sie im folgenden Befehl den Platzhalter <model> durch den Modellnamen:

foundry model info <model> --license

Referenz: Foundry Local CLI Reference

Bewährte Verfahren für Leistungsoptimierung

Falls Sie langsame Schlussfolgerungen feststellen, sollten Sie folgende Strategien in Betracht ziehen:

  • Beenden Sie jede AI Toolkit for VS Code Inference-Sitzung, bevor Sie Foundry Local ausführen.
  • Verwenden Sie gpu-Beschleunigung, wenn verfügbar.
  • Identifizieren Sie Engpässe, indem Sie die Speicherauslastung während der Ableitung überwachen.
  • Versuchen Sie mehr quantisierte Modellvarianten (z. B. INT8 anstelle von FP16).
  • Passen Sie Batchgrößen für nichtinteraktive Workloads an.

Produktionsbereitstellungsbereich

Foundry Local ist für die Inferenz auf einzelnen Geräten gedacht, nicht für verteilte, containerisierte oder auf mehreren Maschinen ausgeführte Produktionsumgebungen.

Problembehandlung

Häufige Probleme und Lösungen

Thema Mögliche Ursache Lösung
Langsame Ableitung CPU-Modell mit einer großen Anzahl von Parametern. Verwenden Sie gpuoptimierte Modellvarianten, wenn verfügbar.
Modelldownloadfehler Probleme mit der Netzwerkkonnektivität. Überprüfen Sie Ihre Internetverbindung, und führen Sie foundry cache list aus, um den Cachestatus zu überprüfen.
Dienstverbindungsfehler (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) Portbindungsprobleme oder der Dienst kann nicht zugegriffen werden. Führen Sie foundry service restart aus, um den Dienst neu zu starten und Portbindungsprobleme zu beheben.
Dienst kann nicht gestartet werden. Portkonflikte oder Berechtigungsprobleme. Führen Sie foundry service restart, aus oder melden Sie ein Problem mit Protokollen unter Verwendung von foundry zip-logs.
Intel NPU wurde nicht erkannt oder funktioniert nicht Fehlender oder veralteter Intel NPU-Treiber. Installieren Sie den Intel NPU-Treiber für Windows, um die NPU-Beschleunigung zu aktivieren.
Qualcomm NPU-Fehler (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") Veralteter Qualcomm NPU-Treiber oder NPU-Ressourcenkonflikte. Installieren Sie den Qualcomm NPU-Treiber. Wenn das Problem weiterhin besteht, starten Sie einen Neustart, um NPU-Ressourcenkonflikte zu löschen, insbesondere nach der Verwendung von Windows Copilot+-Features.
winget install Microsoft.FoundryLocal --scope machine schlägt fehl mit "Die aktuelle Systemkonfiguration unterstützt die Installation dieses Pakets nicht." Winget blockiert MSIX-Computerbereichsinstallationen. Verwenden Sie die Problemumgehung bei Installationsproblemen.

Probleme bei der Installation

Wenn winget install Microsoft.FoundryLocal --scope machine bei "Die aktuelle Systemkonfiguration die Installation dieses Pakets nicht unterstützt" fehlschlägt, verwenden Sie Add-AppxProvisionedPackage stattdessen.

  1. Laden Sie das .msix und das dazugehörige Abhängigkeitspaket herunter.
  2. Führen Sie PowerShell als Administrator aus.
  3. Führen Sie den folgenden Befehl aus, um Foundry Local für alle Benutzer zu installieren:
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
  -DependencyPackagePath .\VcLibs.appx -SkipLicense
  • Last updated on