Udostępnij przez

Najlepsze praktyki i przewodnik rozwiązywania problemów dla Foundry Local

Ważna

  • Program Foundry Local jest dostępny w wersji zapoznawczej. Publiczne wersje zapoznawcze zapewniają wczesny dostęp do funkcji, które są w aktywnym wdrożeniu.
  • Funkcje, podejścia i procesy mogą ulec zmianie lub mieć ograniczone możliwości przed ogólną dostępnością.

W tym artykule wymieniono najlepsze praktyki i porady dotyczące rozwiązywania problemów związanych z Foundry Local.

Wymagania wstępne

  • Zainstaluj lokalnie program Foundry.
  • Dostęp do Internetu do pobierania modeli (zalecane).
  • Jeśli w tym artykule użyjesz obejścia instalacji z zakresem maszynowym, uruchom program PowerShell w trybie administratora.

Weryfikowanie CLI

Uruchom następujące polecenie, aby potwierdzić, że lokalny interfejs wiersza polecenia Foundry jest zainstalowany i dostępny w PATH:

foundry --help

To polecenie wyświetla listę dostępnych poleceń i opcji.

Dokumentacja: Lokalny interfejs CLI programu Foundry

Najlepsze rozwiązania dotyczące zabezpieczeń

  • Uruchom program Foundry Local tylko w środowiskach, które są zgodne z zasadami zabezpieczeń organizacji.
  • Upewnij się, że urządzenie spełnia wymagania dotyczące zabezpieczeń organizacji podczas obsługi poufnych danych.
  • Szyfruj dyski na urządzeniach, które buforują modele zawierające poufne dane dostrajania.

Zagadnienia dotyczące licencji

Zapoznaj się z implikacjami licencjonowania dla modeli uruchamianych w narzędziu Foundry Local. Aby wyświetlić pełne postanowienia licencyjne dotyczące modelu dla każdego modelu w katalogu, uruchom następujące polecenie. W poniższym poleceniu zastąp symbol zastępczy <model> nazwą modelu:

foundry model info <model> --license

Dokumentacja: Lokalny interfejs CLI programu Foundry

Najlepsze rozwiązania dotyczące wydajności

Jeśli wystąpi powolne wnioskowanie, rozważ następujące strategie:

  • Zatrzymaj dowolną sesję wnioskowania zestawu narzędzi AI dla programu VS Code przed uruchomieniem narzędzia Foundry Local.
  • Użyj przyspieszania procesora GPU, jeśli jest dostępny.
  • Identyfikowanie wąskich gardeł przez monitorowanie użycia pamięci podczas wnioskowania.
  • Wypróbuj bardziej kwantyzowane warianty modelu (na przykład INT8 zamiast FP16).
  • Dostosuj rozmiary partii dla obciążeń nieinteraktywnych.

Zakres wdrożenia produkcyjnego

Foundry Local jest przeznaczony do analizowania na urządzeniu, a nie do rozproszonych, konteneryzowanych lub wielomaszynowych wdrożeń produkcyjnych.

Rozwiązywanie problemów

Typowe problemy i rozwiązania

Problematyka Możliwa przyczyna Rozwiązanie
Powolne wnioskowanie Model oparty wyłącznie na CPU z dużą liczbą parametrów. Używaj wariantów modelu zoptymalizowanych pod kątem procesora GPU, jeśli są dostępne.
Błędy pobierania modelu Problemy z łącznością sieciową. Sprawdź połączenie internetowe i uruchom polecenie foundry cache list , aby zweryfikować stan pamięci podręcznej.
Błędy połączenia z usługą (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) Problemy z powiązaniem portów lub usługa nie jest dostępna. Uruchom polecenie foundry service restart , aby ponownie uruchomić usługę i rozwiązać problemy z powiązaniem portów.
Nie można uruchomić usługi. Konflikty portów lub problemy z uprawnieniami. Uruchom polecenie foundry service restartlub zgłoś problem z dziennikami przy użyciu polecenia foundry zip-logs.
Procesor NPU firmy Intel nie został wykryty lub nie działa Brak lub nieaktualny sterownik NPU firmy Intel. Zainstaluj sterownik NPU firmy Intel dla systemu Windows, aby włączyć przyspieszanie npu.
Błąd npu Qualcomm (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") Nieaktualny sterownik NpU Qualcomm lub konflikty zasobów NPU. Zainstaluj sterownik Qualcomm NPU. Jeśli problem będzie się powtarzać, uruchom ponownie, aby wyczyścić konflikty zasobów NPU, zwłaszcza po użyciu funkcji Copilot+ systemu Windows.
winget install Microsoft.FoundryLocal --scope machine Kończy się niepowodzeniem z komunikatem "Bieżąca konfiguracja systemu nie obsługuje instalacji tego pakietu". Pakiet Winget blokuje instalacje MSIX na poziomie całego systemu. Użyj obejścia w temacie Problemy z instalacją.

Problemy z instalacją

Jeśli winget install Microsoft.FoundryLocal --scope machine wystąpi błąd z komunikatem "Bieżąca konfiguracja systemu nie obsługuje instalacji tego pakietu".Zamiast tego użyj polecenia Add-AppxProvisionedPackage .

  1. Pobierz .msix i jego pakiet zależności.
  2. Uruchom program PowerShell jako administrator.
  3. Uruchom następujące polecenie, aby zainstalować program Foundry Local dla wszystkich użytkowników:
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
  -DependencyPackagePath .\VcLibs.appx -SkipLicense
  • Last updated on