Dökümhane Yerel CLI referansı

Önemli

• Foundry Local önizleme aşamasındadır. Genel önizleme sürümleri, etkin dağıtımdaki özelliklere erken erişim sağlar.
• Özellikler, yaklaşımlar ve işlemler, Genel Kullanılabilirlik (GA) öncesinde değişebilir veya sınırlı özelliklere sahip olabilir.

Bu makalede, Foundry Yerel komut satırı arabirimi (CLI) için kapsamlı bir başvuru sağlanır. CLI modelleri yönetmenize, hizmeti denetlemenize ve yerel önbelleğinizi korumanıza yardımcı olmak için komutları mantıksal kategoriler halinde düzenler.

Önkoşullar

• Foundry Local'ı yükleyin. Kurulum adımları için bkz. Foundry Local'ı kullanmaya başlama.
• Yerel bir terminal kullanın, foundry CLI mevcut olduğunda.
• İlk kez indirmeler (yürütme sağlayıcıları ve modelleri) için İnternet erişimine sahip olduğunuzdan emin olun.
• Azure RBAC: Uygulanamaz (yerel olarak çalışır).
• Windows üzerinde bir Intel NPU'nuz varsa, en iyi NPU hızlandırması için Intel NPU sürücüsünü yükleyin.

Hızlı doğrulama

CLI'nın yüklendiğini ve hizmete ulaşılabilir olduğunu onaylamak için bu komutları çalıştırın.

1. CLI yardımı göster:

    foundry --help
   

   Bu komut kullanım bilgilerini ve kullanılabilir komut gruplarının listesini yazdırır.

   Referans: Genel Bakış

2. Hizmet durumunu denetleyin:

    foundry service status
   

   Bu komut, Foundry Local hizmetinin çalışıp çalışmadığını yazdırır ve yerel uç noktasını içerir.

   Referans: Hizmet komutları

Genel Bakış

Komutları ve seçenekleri keşfetmek için yerleşik yardımı kullanın.

CLI komutları üç ana kategoride düzenler:

• Model: Yapay zeka modellerini yönetme ve çalıştırma komutları
• Hizmet: Dökümhane Yerel hizmetini denetleme komutları
• Önbellek: Yerel model depolama alanınızı yönetme komutları

Model komutları

Aşağıdaki tabloda modelleri yönetme ve çalıştırmayla ilgili komutlar özetlemektedir:

Uyarı

Bağımsız değişkeni model veya model kimliğine göre belirtebilirsiniz. Diğer ad kullanma:

• Kullanılabilir donanımınız için en iyi modeli otomatik olarak seçer. Örneğin, kullanılabilir bir Nvidia GPU'nuz varsa, Foundry Local en iyi GPU modelini seçer. Desteklenen bir NPU'nuz varsa, Foundry Local NPU modelini seçer.
• Model kimliğini hatırlamanıza gerek kalmadan daha kısa bir ad kullanmanıza olanak tanır.

Belirli bir modeli çalıştırmak istiyorsanız model kimliğini kullanın. Örneğin, kullanılabilir donanımınızdan bağımsız olarak CPU üzerinde komutunu çalıştırmak qwen2.5-0.5b için şunu kullanın: foundry model run qwen2.5-0.5b-instruct-generic-cpu.

Command	Açıklama
foundry model --help	Modelle ilgili tüm kullanılabilir komutları ve bunların kullanımını görüntüler.
foundry model run <model>	Belirtilen bir modeli çalıştırır, önbelleğe alınmadıysa indirir ve bir etkileşim başlatır.
foundry model list	Yerel kullanım için kullanılabilir tüm modelleri listeler. İlk çalıştırmada, donanımınız için yürütme sağlayıcılarını (IP' ler) indirir.
foundry model list --filter <key>=<value>	Belirtilen ölçütlere göre filtrelenen modelleri listeler (cihaz, görev, diğer ad, sağlayıcı).
foundry model info <model>	Belirli bir modelle ilgili ayrıntılı bilgileri görüntüler.
foundry model info <model> --license	Belirli bir modelin lisans bilgilerini görüntüler.
foundry model download <model>	Bir modeli çalıştırmadan yerel önbelleğe indirir.
foundry model load <model>	Hizmete bir model yükler.
foundry model unload <model>	Hizmetten bir modeli kaldırır.

Model listesinin sıralaması

Diğer ad için birden çok model kimliği değişkeni kullanılabilir olduğunda, model listesi modelleri öncelik sırasına göre gösterir. Listedeki ilk model, modele alias ile belirttiğinizde çalıştırılan modeldir.

Model listesi filtreleme

foundry model list komutu, --filter seçeneğini kullanarak modelleri filtrelemeyi destekler. Anahtar-değer çiftlerini kullanarak modelleri tek bir özniteliğe göre filtreleyebilirsiniz.

foundry model list --filter <key>=<value>

Bu komut, filtre anahtarı ve değeriyle eşleşen modelleri yazdırır.

Başvuru: Liste modelini filtreleme

Uyarı

Yüklemeden sonra ilk kez çalıştırdığınızda foundry model list , Foundry Local makinenizin donanım yapılandırması için ilgili yürütme sağlayıcılarını (IP' ler) otomatik olarak indirir. Model listesi görüntülenmeden önce indirme işleminin tamamlandığını gösteren bir ilerleme çubuğu görürsünüz.

Desteklenen filtre anahtarları:

device - Donanım Cihaz Türü

Modelleri, üzerinde çalıştıkları donanım cihazına göre filtreler.

Olası değerler:

• CPU - Merkezi işleme birimi modelleri
• GPU - Grafik işleme birimi modelleri
• NPU - Sinir işleme birimi modelleri

sağlayıcı - Yürütme Sağlayıcısı

Modelleri yürütme sağlayıcısına veya çalışma zamanına göre filtreler.

Olası değerler:

• CPUExecutionProvider - CPU tabanlı yürütme
• CUDAExecutionProvider - NVIDIA CUDA GPU yürütme
• WebGpuExecutionProvider - WebGPU yürütme
• QNNExecutionProvider - Qualcomm Sinir Ağı İşlemcisi (NPU)
• OpenVINOExecutionProvider - Intel OpenVINO çalıştırma
• NvTensorRTRTXExecutionProvider - NVIDIA TensorRT yürütme
• VitisAIExecutionProvider - AMD Vitis AI çalıştırma

görev - Model Görev Türü

Modelleri amaçlanan kullanım örneğine veya görevine göre filtreler.

Ortak değerler:

• chat-completion: Konuşma yapay zekası modelleri
• text-generation: Metin oluşturma modelleri

takma ad - Model Takma Adı

Modelleri alias kimliğine göre filtreler. Joker karakter eşleştirmeyi son ek * ile destekler.

Örnek değerler:

• phi4-cpu
• qwen2.5-coder-0.5b-instruct-generic-cpu
• deepseek-r1-distill-qwen-1.5b-generic-cpu
• phi-4-mini-instruct-generic-cpu

Özel filtre özellikleri

Olumsuzlama Desteği: Herhangi bir değere önüne ! ekleyerek eşleşen modelleri dışlayın.

foundry model list --filter device=!GPU

Bu komut GPU modellerini sonuçlardan dışlar.

Referans: Özel filtre özellikleri

Joker Karakter Eşleştirme (yalnızca diğer ad): Diğer adlarla filtreleme yaparken ön ekleri eşleştirmek için * ekleyin.

foundry model list --filter alias=qwen*

Bu komut, diğer adı ile qwenbaşlayan modelleri döndürür.

Referans: Özel filtre özellikleri

Örnekler

foundry model list --filter device=GPU
foundry model list --filter task=chat-completion
foundry model list --filter provider=CUDAExecutionProvider

Bu örnekler model listesini cihaza, göreve ve yürütme sağlayıcısına göre filtreler.

Başvuru: Liste modelini filtreleme

Uyarı

• Tüm karşılaştırmalar büyük/küçük harf fark etmeksizin yapılır.
• Komut başına yalnızca bir filtre kullanılabilir.
• Tanınmayan filtre anahtarları hataya neden olur.

Hizmet komutları

Aşağıdaki tabloda, Foundry Local hizmetini yönetme ve çalıştırmayla ilgili komutlar özetlemektedir:

Command	Açıklama
foundry service --help	Hizmetle ilgili tüm kullanılabilir komutları ve bunların kullanımını görüntüler.
foundry service start	Foundry Local hizmetini başlatır.
foundry service stop	Foundry Local hizmetini durdurur.
foundry service restart	Foundry Yerel hizmetini yeniden başlatır.
foundry service status	Dökümhane Yerel hizmetinin mevcut durumunu gösterir.
foundry service ps	Foundry Local hizmetinde yüklü olan tüm modelleri listeler.
foundry service diag	Foundry Local hizmetinin günlüklerini görüntüler.
foundry service set <options>	Foundry Local hizmetinin yapılandırmasını ayarlar.

Önbellek komutları

Aşağıdaki tabloda, modellerin depolandığı yerel önbelleği yönetmeye yönelik komutlar özetlenir:

Command	Açıklama
foundry cache --help	Önbellekle ilgili tüm kullanılabilir komutları ve bunların kullanımını gösterir.
foundry cache location	Geçerli önbellek dizinini gösterir.
foundry cache list	Yerel önbellekte depolanan tüm modelleri listeler.
foundry cache cd <path>	Önbellek dizinini belirtilen yola değiştirir.
foundry cache remove <model>	Modeli yerel önbellekten kaldırır.

Yürütme sağlayıcıları

Yürütme sağlayıcıları, modelleri cihazınızda mümkün olduğunca verimli bir şekilde çalıştıran donanıma özgü hızlandırma kitaplıklarıdır.

Yerleşik yürütme sağlayıcıları

Foundry Local, CPU yürütme sağlayıcısını, WebGPU yürütme sağlayıcısını ve CUDA yürütme sağlayıcısını içerir.

CPU yürütme sağlayıcısı, herhangi bir CPU üzerinde çalışmak için Microsoft Doğrusal Cebir Alt Yordamlarını (MLAS) kullanır ve Foundry Local için CPU geri dönüşüdür.

WebGPU yürütme sağlayıcısı, herhangi bir GPU üzerinde hızlandırma için web tabanlı API'nin yerel uygulaması olan Dawn'ı kullanır ve Foundry Local için GPU geri dönüşüdür.

CUDA yürütme sağlayıcısı, NVIDIA GPU'larında hızlandırma için NVIDIA CUDA kullanır. Önerilen en düşük sürücü sürümü 32.0.15.5585 ve CUDA sürüm 12.5 olan bir NVIDIA GeForce RTX 30 serisi ve üzeri gerekir. Şu lisans koşullarına tabidir: NVIDIA Yazılım Geliştirme Setleri için Lisans Sözleşmesi— EULA.

Eklenti yürütme sağlayıcıları

Aşağıdaki tabloda listelenen yürütme sağlayıcıları, cihaz ve sürücü uyumluluğuna bağlı olarak Windows'ta dinamik indirme ve kayıt için kullanılabilir. Belirtilen lisans koşullarına tabidir.

Foundry Local, ilk çalıştırmada bu yürütme sağlayıcılarını otomatik olarak indirir. Eklenti yürütme sağlayıcıları, yeni sürümler kullanılabilir olduğunda otomatik olarak güncelleştirilir.

Ad (Satıcı)	Gereksinimler	Lisans koşulları
NvTensorRTRTXExecutionProvider (NVIDIA)	Önerilen en düşük sürücü sürümü 32.0.15.5585 ve CUDA sürüm 12.5 ile NVIDIA GeForce RTX 30XX ve sonraki sürümleri	NVIDIA Yazılım Geliştirme Setleri için Lisans Sözleşmesi—EULA
OpenVINOExecutionProvider (Intel)	CPU: Intel TigerLake (11. Nesil) ve en az önerilen sürücü 32.0.100.9565 ile sonraki sürümler GPU: Intel AlderLake (12. Nesil) ve sonraki sürümler, en az tavsiye edilen sürücü 32.0.101.1029 ile. NPU: Intel ArrowLake (15. Nesil) ve sonraki sürümler için en az önerilen sürücü 32.0.100.4239	Intel OBL Dağıtım Ticari Kullanım Lisans Sözleşmesi v2025.02.12
QNNExecutionProvider (Qualcomm)	Snapdragon(R) X Elite - X1Exxxxx - Qualcomm(R) Hexagon(TM) NPU için en düşük sürücü sürümü 30.0.140.0 ve üzeri sürümler Snapdragon(R) X Plus - X1Pxxxxx - Qualcomm(R) Hexagon(TM) NPU, en az 30.0.140.0 ve daha yeni sürücülerle uyumludur.	QNN Lisansını görüntülemek için Qualcomm® Nöral İşleme SDK'sını indirin, ZIP'i ayıklayın ve LICENSE.pdf dosyasını açın.
VitisAIExecutionProvider (AMD)	Min: Adrenalin Edition 25.6.3 ile birlikte NPU sürücüsü 32.00.0203.280 Max: Adrenalin Edition 25.9.1 ile NPU sürücüsü 32.00.0203.297	Ek lisans gerekmez