Bewährte Methoden und Anleitung zur Problembehandlung für Foundry Local

Von Bedeutung

• Foundry Local ist in der Vorschau verfügbar. Öffentliche Vorschauversionen bieten frühzeitigen Zugriff auf Features, die sich in der aktiven Bereitstellung befinden.
• Features, Ansätze und Prozesse können sich vor der allgemeinen Verfügbarkeit (General Availability, GA) noch ändern oder eine eingeschränkte Funktionalität aufweisen.

Dieses Dokument enthält bewährte Methoden und Tipps zur Problembehandlung für Foundry Local.

Bewährte Sicherheitsmethoden

• Verwenden Sie Foundry Local in Umgebungen, die den Sicherheitsrichtlinien Ihrer Organisation entsprechen.
• Stellen Sie beim Behandeln vertraulicher Daten sicher, dass Ihr Gerät die Sicherheitsanforderungen Ihrer Organisation erfüllt.
• Verwenden Sie die Datenträgerverschlüsselung auf Geräten, auf denen zwischengespeicherte Modelle möglicherweise vertrauliche Feinabstimmungsdaten enthalten.

Lizenzierungsaspekte

Beachten Sie bei der Verwendung von Foundry Local die Lizenzierungsauswirkungen für die modelle, die Sie ausführen. Sie können die vollständigen Bedingungen der Modelllizenz für jedes Modell im Modellkatalog anzeigen, indem Sie Folgendes verwenden:

foundry model info <model> --license

Produktionsbereitstellungsbereich

Foundry Local ist für die On-Device-Ableitung und nicht für verteilte, containerisierte oder multicomputerbasierte Produktionsbereitstellungen konzipiert.

Problembehandlung

Häufige Probleme und Lösungen

Thema	Mögliche Ursache	Lösung
Langsame Ableitung	Nur CPU-Modell mit großer Parameteranzahl	Verwenden von GPU-optimierten Modellvarianten bei Verfügbarkeit
Modelldownloadfehler	Probleme mit der Netzwerkkonnektivität	Überprüfen Sie Ihre Internetverbindung, und führen Sie die Ausführung aus foundry cache list , um den Cachestatus zu überprüfen.
Der Dienst kann nicht gestartet werden.	Portkonflikte oder Berechtigungsprobleme	Testen foundry service restart oder Melden eines Problems mit Protokollen mithilfe von foundry zip-logs
Qualcomm NPU-Fehler (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.")	Qualcomm NPU-Fehler	In Untersuchung

Verbessern der Leistung

Wenn Sie langsame Rückschlüsse haben, sollten Sie die folgenden Strategien berücksichtigen:

• Gleichzeitiges Ausführen von ONNX-Modellen, die im AI-Toolkit für VS Code bereitgestellt werden, führen zu Ressourcenkonflikten. Beenden Sie die KI-Toolkit-Ableitungssitzung, bevor Sie Foundry Local ausführen.
• Verwenden der GPU-Beschleunigung, wenn verfügbar
• Identifizieren Sie Engpässe, indem Sie die Speicherauslastung während der Ableitung überwachen.
• Versuchen Sie mehr quantisierte Modellvarianten (z. B. INT8 anstelle von FP16)
• Anpassen von Batchgrößen für nicht interaktive Workloads