Delen via

Beste werkwijzen en een gids bij het oplossen van problemen voor Foundry Local

Belangrijk

  • Foundry Local is beschikbaar in een voorlopige versie. Openbare preview-versies bieden vroege toegang tot functies die actief zijn geïmplementeerd.
  • Functies, benaderingen en processen kunnen worden gewijzigd of beperkte mogelijkheden hebben, voordat algemene beschikbaarheid (GA) wordt uitgevoerd.

In dit artikel vindt u aanbevolen procedures en tips voor probleemoplossing voor Foundry Local.

Vereiste voorwaarden

  • Installeer Foundry Local.
  • Internettoegang hebben om modellen te downloaden (aanbevolen).
  • Als u de oplossing voor machine-scope installatie in dit artikel gebruikt, voert u PowerShell uit met beheerdersrechten.

De CLI controleren

Voer de volgende opdracht uit om te bevestigen dat de Lokale CLI van Foundry is geïnstalleerd en beschikbaar is in uw PATH:

foundry --help

Met deze opdracht worden beschikbare opdrachten en opties weergegeven.

Referentie: Foundry Local CLI-referentie

Aanbevolen procedures voor beveiliging

  • Voer Foundry Local alleen uit in omgevingen die voldoen aan het beveiligingsbeleid van uw organisatie.
  • Zorg ervoor dat uw apparaat voldoet aan de beveiligingsvereisten van uw organisatie wanneer u gevoelige gegevens verwerkt.
  • Versleutel schijven op apparaten die modellen met gevoelige verfijningsgegevens in de cache opslaan.

Licentieoverwegingen

Controleer de licentie-implicaties voor de modellen die u uitvoert in Foundry Local. Voer de volgende opdracht uit om de volledige licentievoorwaarden voor modellen voor elk model in de catalogus weer te geven. Vervang in de volgende opdracht de tijdelijke aanduiding <model> door de modelnaam:

foundry model info <model> --license

Referentie: Foundry Local CLI-referentie

Beste praktijken voor prestatievermogen

Als u trage deductie ondervindt, kunt u de volgende strategieën overwegen:

  • Stop een AI Toolkit voor VS Code-inferentiesessie voordat u Foundry Local uitvoert.
  • Gebruik GPU-versnelling indien beschikbaar.
  • Identificeer knelpunten door het geheugengebruik tijdens deductie te controleren.
  • Probeer meer gekwantiseerde modelvarianten (bijvoorbeeld INT8 in plaats van FP16).
  • Pas batchgrootten aan voor niet-interactieve workloads.

Productie-uitrolbereik

Foundry Local is bedoeld voor inferentie op het apparaat, niet voor gedistribueerde, in containeromgeving of productie-implementaties met meerdere machines.

Probleemoplossingsproces

Veelvoorkomende problemen en oplossingen

Probleem Mogelijke oorzaak Solution
Trage inferentie Model met alleen CPU met een groot aantal parameters. Gebruik voor GPU geoptimaliseerde modelvarianten wanneer deze beschikbaar zijn.
Fouten bij het downloaden van modellen Problemen met de netwerkverbinding. Controleer uw internetverbinding en voer deze uit foundry cache list om de cachestatus te controleren.
Serviceverbindingsfouten (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) Problemen met poortbinding of de service is niet toegankelijk. Voer deze opdracht uit foundry service restart om de service opnieuw op te starten en poortbindingsproblemen op te lossen.
De service kan niet worden gestart. Poortconflicten of machtigingsproblemen. Voer foundry service restart uit, of meld een probleem met logs met foundry zip-logs.
Intel NPU is niet gedetecteerd of werkt niet Ontbrekend of verouderd Intel NPU-stuurprogramma. Installeer het Intel NPU-stuurprogramma voor Windows om NPU-versnelling in te schakelen.
NPU-fout (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") Verouderd Qualcomm-stuurprogramma voor NPU of NPU-resourceconflicten. Installeer het Qualcomm NPU-stuurprogramma. Als het probleem zich blijft voordoen, start u opnieuw op om conflicten met NPU-resources te wissen, met name na het gebruik van Windows Copilot+-functies.
winget install Microsoft.FoundryLocal --scope machine mislukt met 'De huidige systeemconfiguratie biedt geen ondersteuning voor de installatie van dit pakket'. Winget blokkeert MSIX-installaties op systeemniveau. Gebruik de tijdelijke oplossing in installatieproblemen.

Installatieproblemen

Als winget install Microsoft.FoundryLocal --scope machine mislukt met “De huidige systeemconfiguratie biedt geen ondersteuning voor de installatie van dit pakket.”, gebruik in plaats daarvan Add-AppxProvisionedPackage.

  1. Download de .msix en het bijbehorende afhankelijkheidspakket.
  2. Voer PowerShell uit als administrator.
  3. Voer de volgende opdracht uit om Foundry Local te installeren voor alle gebruikers:
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
  -DependencyPackagePath .\VcLibs.appx -SkipLicense
  • Last updated on