Bagikan melalui

Praktik terbaik dan panduan pemecahan masalah untuk Foundry Local CLI (pratinjau)

Penting

  • Foundry Local CLI tersedia dalam versi uji coba. Rilis pratinjau publik menyediakan access awal untuk fitur yang berada dalam penyebaran aktif.
  • Fitur, pendekatan, dan proses dapat berubah atau memiliki kemampuan terbatas, sebelum Ketersediaan Umum (GA).

Artikel ini mencantumkan praktik terbaik dan tips pemecahan masalah untuk Foundry Local CLI.

Prasyarat

  • Instal Foundry Local CLI.
  • Memiliki access internet untuk mengunduh model (disarankan).
  • Jika Anda menggunakan solusi penginstalan cakupan mesin dalam artikel ini, jalankan PowerShell sebagai Administrator.

Memverifikasi CLI

Jalankan perintah berikut untuk mengonfirmasi bahwa Foundry Local CLI diinstal dan tersedia di PATH Anda:

foundry --help

Perintah ini mencantumkan perintah dan opsi yang tersedia.

Referensi: Foundry Local CLI Reference

Praktik terbaik keamanan

  • Jalankan Foundry Local hanya di lingkungan yang mematuhi kebijakan keamanan organisasi Anda.
  • Pastikan perangkat Anda memenuhi persyaratan keamanan organisasi saat Anda menangani data sensitif.
  • Mengenkripsi disk pada perangkat yang menyimpan model yang berisi data penyempurnaan sensitif.

Pertimbangan lisensi

Tinjau implikasi lisensi untuk model yang Anda jalankan di Foundry Local. Untuk melihat ketentuan lisensi model lengkap untuk setiap model dalam katalog, jalankan perintah berikut. Dalam perintah berikut, ganti placeholder <model> dengan nama model.

foundry model info <model> --license

Referensi: Foundry Local CLI Reference

Praktik terbaik kinerja

Jika Anda mengalami inferensi yang lambat, pertimbangkan strategi berikut:

  • Hentikan Toolkit AI apa pun untuk sesi inferensi Visual Studio Code sebelum Anda menjalankan Foundry Local.
  • Gunakan akselerasi GPU jika tersedia.
  • Identifikasi hambatan dengan memantau penggunaan memori selama inferensi.
  • Coba varian model yang lebih terukur (misalnya, INT8 alih-alih FP16).
  • Sesuaikan ukuran batch untuk beban kerja noninteraktif.

Cakupan penyebaran produksi

Foundry Local adalah untuk inferensi pada perangkat, tidak didistribusikan, dikontainerisasi, atau penyebaran produksi multi-mesin.

Troubleshooting

Masalah dan solusi umum

Masalah Kemungkinan penyebab Solusi
Inferensi lambat Model khusus CPU dengan jumlah parameter besar. Gunakan varian model yang dioptimalkan GPU jika tersedia.
Kegagalan pengunduhan model Masalah konektivitas jaringan. Periksa koneksi internet Anda, dan jalankan foundry cache list untuk memverifikasi status cache.
Kesalahan koneksi layanan (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) Masalah pengikatan port atau layanan tidak dapat diakses. Jalankan foundry service restart untuk memulai ulang layanan dan mengatasi masalah pengikatan port.
Layanan gagal dimulai. Konflik port atau masalah izin. Jalankan foundry service restart, atau laporkan masalah dengan log menggunakan foundry zip-logs.
Intel NPU tidak terdeteksi atau tidak berfungsi Driver NPU Intel yang hilang atau kedaluarsa. Instal driver NPU Intel untuk Windows untuk mengaktifkan akselerasi NPU.
Kesalahan NPU Qualcomm (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") Driver NPU Qualcomm yang kedaluarsa atau konflik sumber daya NPU. Instal driver Qualcomm NPU. Jika masalah berlanjut, reboot untuk menghapus konflik sumber daya NPU, terutama setelah menggunakan fitur Windows Copilot+.
winget install Microsoft.FoundryLocal --scope machine gagal dengan "Konfigurasi sistem saat ini tidak mendukung penginstalan paket ini." Winget memblokir penginstalan cakupan mesin MSIX. Gunakan solusi dalam Masalah penginstalan.

Masalah penginstalan

Jika winget install Microsoft.FoundryLocal --scope machine gagal dengan "Konfigurasi sistem saat ini tidak mendukung penginstalan paket ini.", gunakan Add-AppxProvisionedPackage sebagai gantinya.

  1. Unduh .msix dan paket dependensinya.
  2. Jalankan PowerShell sebagai Administrator.
  3. Jalankan perintah berikut untuk menginstal Foundry Local untuk semua pengguna:
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
  -DependencyPackagePath .\VcLibs.appx -SkipLicense
  • Last updated on