Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Önemli
- Foundry Local önizleme aşamasındadır. Genel önizleme sürümleri, etkin dağıtımdaki özelliklere erken erişim sağlar.
- Özellikler, yaklaşımlar ve işlemler, Genel Kullanılabilirlik (GA) öncesinde değişebilir veya sınırlı özelliklere sahip olabilir.
Bu makalede, Foundry Local için en iyi yöntemler ve sorun giderme ipuçları listeleniyor.
Önkoşullar
- Foundry Local'ı yükleyin.
- Modelleri indirmek için İnternet erişimine sahip olmanız (önerilir).
- Bu makalede, makine düzeyinde yükleme için geçici çözüm kullanıyorsanız, PowerShell'i Yönetici olarak çalıştırın.
CLI'yı doğrulama
Foundry Local CLI'nın PATH'inizde yüklü ve kullanılabilir olduğunu onaylamak için aşağıdaki komutu çalıştırın:
foundry --help
Bu komut kullanılabilir komutları ve seçenekleri listeler.
Başvuru: Dökümhane Yerel CLI Başvurusu
En iyi güvenlik uygulamaları
- Foundry Local'ı yalnızca kuruluşunuzun güvenlik ilkelerine uygun ortamlarda çalıştırın.
- Hassas verileri işlerken cihazınızın kuruluşunuzun güvenlik gereksinimlerini karşıladığından emin olun.
- Hassas ince ayar verileri içeren modelleri önbelleğe alan cihazlardaki diskleri şifreleyin.
Lisanslama hususları
Foundry Local'da çalıştırdığınız modeller için lisanslama etkilerini gözden geçirin. Katalogdaki her modelin tam model lisans koşullarını görüntülemek için aşağıdaki komutu çalıştırın. Aşağıdaki komutta yer tutucuyu <model> model adıyla değiştirin:
foundry model info <model> --license
Başvuru: Dökümhane Yerel CLI Başvurusu
Performans için en iyi yöntemler
Yavaş çıkarımla karşılaşırsanız aşağıdaki stratejileri göz önünde bulundurun:
- Foundry Local'ı çalıştırmadan önce VS Code çıkarım oturumu için yapay zeka araç setlerini durdurun.
- Kullanılabilir olduğunda GPU hızlandırmayı kullanın.
- Çıkarım sırasında bellek kullanımını izleyerek performans sorunlarını belirleyin.
- Daha fazla nicelenmiş model varyasyonu deneyin (örneğin, FP16 yerine INT8).
- Etkileşimsiz iş yükleri için toplu iş boyutlarını ayarlayın.
Üretim uygulama kapsamı
Foundry Local, özellikle cihaz üzerinde çıkarım için tasarlanmıştır; dağıtılmış, kapsayıcılı veya çok makineli üretim dağıtımları için değildir.
Sorun giderme
Yaygın sorunlar ve çözümler
| Sorun | Olası nedeni | Çözüm |
|---|---|---|
| Yavaş çıkarım | Sadece CPU kullanan, büyük parametre sayısına sahip model. | Kullanılabilir olduğunda GPU için iyileştirilmiş model çeşitlemelerini kullanın. |
| Model indirme hataları | Ağ bağlantısı sorunları. | İnternet bağlantınızı denetleyin ve önbellek durumunu doğrulamak için komutunu çalıştırın foundry cache list . |
Hizmet bağlantısı hataları (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) |
Bağlantı noktası bağlantı sorunları veya hizmet erişilebilir değil. | Hizmeti yeniden başlatmak ve bağlantı noktası bağlama sorunlarını çözmek için komutunu çalıştırın foundry service restart . |
| Hizmet başlatılamıyor. | Bağlantı noktası çakışmaları veya izin sorunları. |
foundry service restart komutunu çalıştırın veya foundry zip-logs kullanarak günlüklerle bir sorun bildirin. |
| Intel NPU algılanmadı veya çalışmıyor | Eksik veya eski Intel NPU sürücüsü. | NPU hızlandırmayı etkinleştirmek için Windows için Intel NPU sürücüsünü yükleyin. |
Qualcomm NPU hatası (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") |
Eski Qualcomm NPU sürücüsü veya NPU kaynak çakışmaları. | Qualcomm NPU sürücüsünü yükleyin. Sorun devam ederse, özellikle Windows Copilot+ özelliklerini kullandıktan sonra NPU kaynak çakışmalarını temizlemek için yeniden başlatın. |
winget install Microsoft.FoundryLocal --scope machine "Geçerli sistem yapılandırması bu paketin yüklenmesini desteklemiyor" ile başarısız oluyor. |
Winget, MSIX makine kapsamı yüklemelerini engeller. | Yükleme sorunları'ndaki geçici çözümü kullanın. |
Yükleme sorunları
"Geçerli sistem yapılandırması bu paketin yüklenmesini desteklemiyor" hatasıyla başarısız olursa winget install Microsoft.FoundryLocal --scope machine , bunun yerine kullanın Add-AppxProvisionedPackage .
-
.msixve bağımlılık paketini indirin. - PowerShell'i Yönetici olarak çalıştırın.
- Tüm kullanıcılar için Foundry Local'ı yüklemek için aşağıdaki komutu çalıştırın:
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
-DependencyPackagePath .\VcLibs.appx -SkipLicense