Aanbevolen procedures en gids voor probleemoplossing voor Foundry Local CLI (preview)

Belangrijk

  • Foundry Local CLI is beschikbaar in voorvertoning. Openbare preview-versies bieden vroege access aan functies die actief zijn geïmplementeerd.
  • Functies, benaderingen en processen kunnen worden gewijzigd of beperkte mogelijkheden hebben, voordat algemene beschikbaarheid (GA) wordt uitgevoerd.

In dit artikel vindt u aanbevolen procedures en tips voor probleemoplossing voor Foundry Local CLI.

Vereiste voorwaarden

  • Installeer Foundry Local CLI.
  • Internet-access hebben om modellen te downloaden (aanbevolen).
  • Als u de oplossing voor machine-scope installatie in dit artikel gebruikt, voert u PowerShell uit met beheerdersrechten.

De CLI controleren

Voer de volgende opdracht uit om te bevestigen dat de Lokale CLI van Foundry is geïnstalleerd en beschikbaar is in uw PATH:

foundry --help

Met deze opdracht worden beschikbare opdrachten en opties weergegeven.

Referentie: Foundry Local CLI-referentie

Aanbevolen procedures voor beveiliging

  • Voer Foundry Local alleen uit in omgevingen die voldoen aan het beveiligingsbeleid van uw organisatie.
  • Zorg ervoor dat uw apparaat voldoet aan de beveiligingsvereisten van uw organisatie wanneer u gevoelige gegevens verwerkt.
  • Versleutel schijven op apparaten die modellen met gevoelige verfijningsgegevens in de cache opslaan.

Licentieoverwegingen

Bekijk de licentievoorwaarden van de uitgever van het model voordat u een model gebruikt met Foundry Local. Zorg ervoor dat uw beoogde gebruik voldoet aan deze voorwaarden en het beleid van uw organisatie.

Beste praktijken voor prestatievermogen

Als u trage deductie ondervindt, kunt u de volgende strategieën overwegen:

  • Stop een actieve inferentiesessie van Foundry Toolkit voor VS Code voordat u Foundry Local start.
  • Gebruik GPU-versnelling indien beschikbaar.
  • Identificeer knelpunten door het geheugengebruik tijdens deductie te controleren.
  • Probeer meer gekwantiseerde modelvarianten (bijvoorbeeld INT8 in plaats van FP16).
  • Pas batchgrootten aan voor niet-interactieve workloads.

Productie-uitrolbereik

Foundry Local is bedoeld voor inferentie op het apparaat, niet voor gedistribueerde, in containeromgeving of productie-implementaties met meerdere machines.

Probleemoplossingsproces

Veelvoorkomende problemen en oplossingen

Probleem Mogelijke oorzaak Solution
Trage inferentie Model met alleen CPU met een groot aantal parameters. Gebruik voor GPU geoptimaliseerde modelvarianten wanneer deze beschikbaar zijn.
Fouten bij het downloaden van modellen Problemen met de netwerkverbinding. Controleer uw internetverbinding en voer deze uit foundry cache list om de cachestatus te controleren.
Serviceverbindingsfouten (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) Problemen met poortbinding of de service is niet toegankelijk. Voer foundry server restart deze opdracht uit om de daemon opnieuw op te starten en poortbindingsproblemen op te lossen.
De service kan niet worden gestart. Poortconflicten of machtigingsproblemen. Voer foundry server restartuit. Als het probleem zich blijft voordoen, voert u het uit foundry server logsen voert u het uit foundry report om het probleem met diagnostische gegevens te melden.
Intel NPU is niet gedetecteerd of werkt niet Ontbrekend of verouderd Intel NPU-stuurprogramma. Installeer het stuurprogramma Intel NPU voor Windows om NPU-versnelling in te schakelen.
NPU-fout (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") Verouderd Qualcomm-stuurprogramma voor NPU of NPU-resourceconflicten. Installeer het Qualcomm NPU-stuurprogramma. Als het probleem zich blijft voordoen, start u opnieuw op om NPU-resourceconflicten te wissen, met name na het gebruik van Windows Copilot+ functies.
winget install Microsoft.FoundryLocal --scope machine mislukt met 'De huidige systeemconfiguratie biedt geen ondersteuning voor de installatie van dit pakket'. Winget blokkeert MSIX-installaties op systeemniveau. Gebruik de tijdelijke oplossing in installatieproblemen.

Installatieproblemen

Als winget install Microsoft.FoundryLocal --scope machine mislukt met 'De huidige systeemconfiguratie biedt geen ondersteuning voor de installatie van dit pakket'. Gebruik in plaats daarvan Add-AppxProvisionedPackage.

  1. Download de .msix en het bijbehorende afhankelijkheidspakket.
  2. Voer PowerShell uit als administrator.
  3. Voer de volgende opdracht uit om Foundry Local te installeren voor alle gebruikers:
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
  -DependencyPackagePath .\VcLibs.appx -SkipLicense
  • Last updated on