Ajánlott eljárások és hibaelhárítási útmutató az Foundry helyi parancssori felületéhez (előzetes verzió)

Fontos

  • Az Foundry helyi parancssori felület előzetes verzióban érhető el. A nyilvános előzetes verziójú kiadások korai hozzáférést biztosítanak a funkciókhoz, amelyeket aktívan üzembe helyeznek.
  • A funkciók, a megközelítések és a folyamatok az általános rendelkezésre állás (GA) előtt változhatnak vagy korlátozott képességekkel rendelkezhetnek.

Ez a cikk a Foundry helyi parancssori felületével kapcsolatos ajánlott eljárásokat és hibaelhárítási tippeket sorolja fel.

Előfeltételek

  • Telepítse az Foundry helyi parancssori felületét.
  • Internet-hozzáférés a modellek letöltéséhez (ajánlott).
  • Ha a jelen cikkben található gépre vonatkozó telepítési kerülő megoldást használja, futtassa rendszergazda módban a PowerShellt.

A parancssori felület ellenőrzése

Futtassa a következő parancsot annak ellenőrzéséhez, hogy az Foundry helyi parancssori felület telepítve van-e, és elérhető-e a PATH-ban:

foundry --help

Ez a parancs felsorolja az elérhető parancsokat és beállításokat.

Referencia: Foundry helyi parancssori eszköz referenciája

Ajánlott biztonsági eljárások

  • Csak olyan környezetekben futtassa a Foundry Local parancsot, amelyek megfelelnek a szervezet biztonsági szabályzatainak.
  • A bizalmas adatok kezelésekor győződjön meg arról, hogy az eszköz megfelel a szervezet biztonsági követelményeinek.
  • Titkosítsa a lemezeket azokon az eszközökön, amelyek bizalmas finomhangolási adatokat tartalmazó modelleket gyorsítótáraznak.

Licencelési szempontok

Tekintse át a modell közzétevőjének licencfeltételeit, mielőtt a Foundry Local használatával használ egy modellt. Győződjön meg arról, hogy a tervezett használat megfelel ezeknek a feltételeknek és a szervezet szabályzatainak.

Teljesítménnyel kapcsolatos ajánlott eljárások

Ha lassú következtetést tapasztal, fontolja meg a következő stratégiákat:

  • A Foundry Local futtatása előtt állítsa le a VS Code következtetési munkamenetének összes Foundry-eszközkészletét.
  • Ha elérhető, gpu-gyorsítást használjon.
  • A szűk keresztmetszetek azonosításához figyelje a memóriahasználatot következtetés közben.
  • Próbáljon ki több számszerűsített modellvariánst (például INT8 FP16 helyett).
  • A kötegméretek módosítása neminteraktív számítási feladatokhoz.

Éles üzembe helyezés terjedelme

A Foundry Local eszközalapú következtetéshez használható, nem elosztott, tárolóalapú vagy többgépes üzemi példányokhoz.

Hibaelhárítás

Gyakori problémák és megoldások

Probléma Lehetséges ok Megoldás
Lassú következtetés Csak CPU-s modell nagy paraméterszámú. Ha elérhető, GPU-ra optimalizált modellvariánsokat használhat.
Modellletöltési hibák Hálózati csatlakozási problémák. Ellenőrizze az internetkapcsolatot, és futtassa le a foundry cache list parancsot a gyorsítótár állapotának ellenőrzéséhez.
Szolgáltatáskapcsolati hibák (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) Portkötési problémák, vagy a szolgáltatás nem érhető el. Futtassa foundry server restart a démon újraindításához és a portkötési problémák megoldásához.
A szolgáltatás nem indul el. Portütközések vagy engedélyproblémák. Futtassa a foundry server restart programot. Ha a probléma továbbra is fennáll, futtassa foundry server logs, majd futtassa foundry report a hiba diagnosztikával való jelentéséhez.
Az Intel NPU nem észlelhető vagy nem működik Hiányzó vagy elavult Intel NPU-illesztő. Telepítse a Intel NPU-illesztőt Windows az NPU gyorsításának engedélyezéséhez.
Qualcomm NPU-hiba (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") Elavult Qualcomm NPU-illesztő vagy NPU-erőforrásütközések. Telepítse a Qualcomm NPU-illesztőt. Ha a probléma továbbra is fennáll, indítsa újra az NPU-erőforrásütközések törlését, különösen Windows Copilot+ funkciók használata után.
winget install Microsoft.FoundryLocal --scope machine "A jelenlegi rendszerkonfiguráció nem támogatja a csomag telepítését". A Winget letiltja az MSIX telepítéseket gépszinten. Használja a telepítési problémák megoldásának módszerét.

Telepítéssel kapcsolatos problémák

Ha winget install Microsoft.FoundryLocal --scope machine "Az aktuális rendszerkonfiguráció nem támogatja a csomag telepítését", használja inkább a Add-AppxProvisionedPackage.

  1. Töltse le a .msix csomagot és a hozzá tartozó függőségi csomagot.
  2. Futtassa a PowerShellt rendszergazdaként.
  3. Futtassa a következő parancsot az Foundry Local telepítéséhez minden felhasználó számára:
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
  -DependencyPackagePath .\VcLibs.appx -SkipLicense
  • Last updated on