Dökümhane Yerel CLI referansı

Important

  • Foundry Local CLI önizleme aşamasındadır. Genel önizleme sürümleri, etkin dağıtımdaki özelliklere erken access sağlar.
  • Özellikler, yaklaşımlar ve işlemler, Genel Kullanılabilirlik (GA) öncesinde değişebilir veya sınırlı özelliklere sahip olabilir.

Bu makalede, Foundry Yerel komut satırı arabirimi (CLI) için kapsamlı bir başvuru sağlanır. CLI modelleri yönetmenize, hizmeti denetlemenize ve yerel önbelleğinizi korumanıza yardımcı olmak için komutları mantıksal kategoriler halinde düzenler.

Prerequisites

  • Foundry Local'ı yükleyin.
  • CLI'nın foundry kullanılabildiği yerel terminal.
  • İlk kez indirmeler (yürütme sağlayıcıları ve modelleri) için internet erişiminizin olduğundan emin olun.
  • Azure RBAC: Uygulanamaz (yerel olarak çalışır).
  • Windows bir Intel NPU'nuz varsa en iyi NPU hızlandırması için Intel NPU sürücüsünü yükleyin.

Foundry Local'ı yükleme

İşletim sisteminiz için paket yöneticisini kullanarak Foundry Local'ı yükleyin.

  • Windows: Terminali açın ve şunu çalıştırın:
    winget install Microsoft.FoundryLocal
  • macOS: Bir terminal açın ve şunu çalıştırın: 
    brew tap microsoft/foundrylocal
brew install foundrylocal
    Alternatif olarak yükleyiciyi Foundry Local GitHub deposundan indirin.

Yüklemeyi doğrulayın:

foundry --version

Yazılım yüklemek için yönetici haklarına sahip olduğunuzdan emin olun.

Tip

Yüklemeden sonra bir hizmet bağlantısı hatası görürseniz (örneğin, Request to local service failed) komutunu çalıştırın foundry service restart.

Quick verification

CLI'nın yüklendiğini ve hizmete ulaşılabilir olduğunu onaylamak için bu komutları çalıştırın.

  1. CLI yardımı göster:

     foundry --help

    Bu komut kullanım bilgilerini ve kullanılabilir komut gruplarının listesini yazdırır.

    Reference: Overview

  2. Hizmet durumunu denetleyin:

     foundry service status

    Bu komut, Foundry Local hizmetinin çalışıp çalışmadığını yazdırır ve yerel uç noktasını içerir.

    Referans: Hizmet komutları

Overview

Komutları ve seçenekleri keşfetmek için yerleşik yardımı kullanın.

CLI komutları üç ana kategoride düzenler:

  • Model: Yapay zeka modellerini yönetme ve çalıştırma komutları
  • Hizmet: Dökümhane Yerel hizmetini denetleme komutları
  • Cache: Yerel model storage yönetme komutları

Model commands

Aşağıdaki tabloda modelleri yönetme ve çalıştırmayla ilgili komutlar özetlemektedir:

Note

Bağımsız değişkeni model veya model kimliğine göre belirtebilirsiniz. Diğer ad kullanma:

  • Kullanılabilir donanımınız için en iyi modeli otomatik olarak seçer. Örneğin, kullanılabilir bir Nvidia GPU'nuz varsa, Foundry Local en iyi GPU modelini seçer. Desteklenen bir NPU'nuz varsa, Foundry Local NPU modelini seçer.
  • Model kimliğini hatırlamanıza gerek kalmadan daha kısa bir ad kullanmanıza olanak tanır.

Belirli bir modeli çalıştırmak istiyorsanız model kimliğini kullanın. Örneğin, kullanılabilir donanımınızdan bağımsız olarak CPU üzerinde komutunu çalıştırmak qwen2.5-0.5b için şunu kullanın: foundry model run qwen2.5-0.5b-instruct-generic-cpu.

Command Description
foundry model --help Modelle ilgili tüm kullanılabilir komutları ve bunların kullanımını görüntüler.
foundry model run <model> Belirtilen bir modeli çalıştırır, önbelleğe alınmadıysa indirir ve bir etkileşim başlatır.
foundry model list Yerel kullanım için kullanılabilir tüm modelleri listeler. İlk çalıştırmada, donanımınız için yürütme sağlayıcılarını (IP' ler) indirir.
foundry model list --filter <key>=<value> Belirtilen ölçütlere göre filtrelenen modelleri listeler (cihaz, görev, diğer ad, sağlayıcı).
foundry model info <model> Belirli bir modelle ilgili ayrıntılı bilgileri görüntüler.
foundry model info <model> --license Belirli bir modelin lisans bilgilerini görüntüler.
foundry model download <model> Bir modeli çalıştırmadan yerel önbelleğe indirir.
foundry model load <model> Hizmete bir model yükler.
foundry model unload <model> Hizmetten bir modeli kaldırır.

Model listesinin sıralaması

Diğer ad için birden çok model kimliği değişkeni kullanılabilir olduğunda, model listesi modelleri öncelik sırasına göre gösterir. Listedeki ilk model, modele alias ile belirttiğinizde çalıştırılan modeldir.

Model listesi filtreleme

foundry model list komutu, --filter seçeneğini kullanarak modelleri filtrelemeyi destekler. Anahtar-değer çiftlerini kullanarak modelleri tek bir özniteliğe göre filtreleyebilirsiniz.

foundry model list --filter <key>=<value>

Bu komut, filtre anahtarı ve değeriyle eşleşen modelleri yazdırır.

Başvuru: Liste modelini filtreleme

Note

Yüklemeden sonra ilk kez çalıştırdığınızda foundry model list , Foundry Local makinenizin donanım yapılandırması için ilgili yürütme sağlayıcılarını (IP' ler) otomatik olarak indirir. Model listesi görüntülenmeden önce indirme işleminin tamamlandığını gösteren bir ilerleme çubuğu görürsünüz.

Desteklenen filtre anahtarları:

device - Donanım Cihaz Türü

Modelleri, üzerinde çalıştıkları donanım cihazına göre filtreler.

Possible values:

  • CPU - Merkezi işleme birimi modelleri
  • GPU - Grafik işleme birimi modelleri
  • NPU - Sinir işleme birimi modelleri

sağlayıcı - Yürütme Sağlayıcısı

Modelleri yürütme sağlayıcısına veya çalışma zamanına göre filtreler.

Possible values:

  • CPUExecutionProvider - CPU tabanlı yürütme
  • CUDAExecutionProvider - NVIDIA CUDA GPU yürütme
  • WebGpuExecutionProvider - WebGPU yürütme
  • QNNExecutionProvider - Qualcomm Sinir Ağı İşlemcisi (NPU)
  • OpenVINOExecutionProvider - Intel OpenVINO çalıştırma
  • NvTensorRTRTXExecutionProvider - NVIDIA TensorRT yürütme
  • VitisAIExecutionProvider - AMD Vitis AI çalıştırma

görev - Model Görev Türü

Modelleri amaçlanan kullanım örneğine veya görevine göre filtreler.

Common values:

  • chat-completion: Konuşma yapay zekası modelleri
  • text-generation: Metin oluşturma modelleri

takma ad - Model Takma Adı

Modelleri alias kimliğine göre filtreler. Joker karakter eşleştirmeyi son ek * ile destekler.

Sample values:

  • phi4-cpu
  • qwen2.5-coder-0.5b-instruct-generic-cpu
  • deepseek-r1-distill-qwen-1.5b-generic-cpu
  • phi-4-mini-instruct-generic-cpu

Özel filtre özellikleri

Olumsuzlama Desteği: Herhangi bir değere önüne ! ekleyerek eşleşen modelleri dışlayın.

foundry model list --filter device=!GPU

Bu komut GPU modellerini sonuçlardan dışlar.

Referans: Özel filtre özellikleri

Joker Karakter Eşleştirme (yalnızca diğer ad): Diğer adlarla filtreleme yaparken ön ekleri eşleştirmek için * ekleyin.

foundry model list --filter alias=qwen*

Bu komut, diğer adı ile qwenbaşlayan modelleri döndürür.

Referans: Özel filtre özellikleri

Examples

foundry model list --filter device=GPU
foundry model list --filter task=chat-completion
foundry model list --filter provider=CUDAExecutionProvider

Bu örnekler model listesini cihaza, göreve ve yürütme sağlayıcısına göre filtreler.

Başvuru: Liste modelini filtreleme

Note

  • Tüm karşılaştırmalar büyük/küçük harf fark etmeksizin yapılır.
  • Komut başına yalnızca bir filtre kullanılabilir.
  • Tanınmayan filtre anahtarları hataya neden olur.

Modeli etkileşimli olarak çalıştırma

Modeli çalıştırın ve doğrudan terminalde bu modelle etkileşim kurun:

foundry model run qwen2.5-0.5b

Foundry Local modeli ilk çalıştırmada indirir, ardından etkileşimli bir oturum başlatır. Yanıt almak için bir istem girin:

Why is the sky blue?

Foundry Yerel çalıştırma komutunun çıktısının ekran görüntüsü.

Tip

değerini katalogdaki herhangi bir model diğer adıyla değiştirin qwen2.5-0.5b . Kullanılabilir modelleri görüntülemek için komutunu çalıştırın foundry model list . Foundry Local, donanımınızla en iyi eşleşen değişkeni indirir; örneğin, NVIDIA GPU'ları için CUDA değişkeni veya Qualcomm NPU'ları için bir NPU değişkeni.

Service commands

Aşağıdaki tabloda, Foundry Local hizmetini yönetme ve çalıştırmayla ilgili komutlar özetlemektedir:

Command Description
foundry service --help Hizmetle ilgili tüm kullanılabilir komutları ve bunların kullanımını görüntüler.
foundry service start Foundry Local hizmetini başlatır.
foundry service stop Foundry Local hizmetini durdurur.
foundry service restart Foundry Yerel hizmetini yeniden başlatır.
foundry service status Dökümhane Yerel hizmetinin mevcut durumunu gösterir.
foundry service ps Foundry Local hizmetinde yüklü olan tüm modelleri listeler.
foundry service diag Foundry Local hizmetinin günlüklerini görüntüler.
foundry service set <options> Foundry Local hizmetinin yapılandırmasını ayarlar.

Cache commands

Aşağıdaki tabloda, modellerin depolandığı yerel önbelleği yönetmeye yönelik komutlar özetlenir:

Command Description
foundry cache --help Önbellekle ilgili tüm kullanılabilir komutları ve bunların kullanımını gösterir.
foundry cache location Geçerli önbellek dizinini gösterir.
foundry cache list Yerel önbellekte depolanan tüm modelleri listeler.
foundry cache cd <path> Önbellek dizinini belirtilen yola değiştirir.
foundry cache remove <model> Modeli yerel önbellekten kaldırır.

Execution providers

Yürütme sağlayıcıları, modelleri cihazınızda mümkün olduğunca verimli bir şekilde çalıştıran donanıma özgü hızlandırma kitaplıklarıdır.

Yerleşik yürütme sağlayıcıları

Foundry Local, CPU yürütme sağlayıcısını, WebGPU yürütme sağlayıcısını ve CUDA yürütme sağlayıcısını içerir.

CPU yürütme sağlayıcısı herhangi bir CPU üzerinde çalışmak için Microsoft Doğrusal Cebir Alt Yordamları (MLAS) kullanır ve Foundry Local için CPU geri dönüşüdür.

WebGPU yürütme sağlayıcısı, herhangi bir GPU'da hızlandırma için web tabanlı API'nin yerel uygulaması olan Dawn kullanır ve Foundry Local için GPU geri dönüşüdür.

CUDA yürütme sağlayıcısı, NVIDIA GPU'larında hızlandırma için NVIDIA CUDA kullanır. Önerilen en düşük sürücü sürümü 32.0.15.5585 ve CUDA sürüm 12.5 olan bir NVIDIA GeForce RTX 30 serisi ve üzeri gerekir. Şu lisans koşullarına tabidir: NVIDIA Yazılım Geliştirme Setleri için Lisans Sözleşmesi— EULA.

Eklenti yürütme sağlayıcıları

Aşağıdaki tabloda listelenen yürütme sağlayıcıları, cihaz ve sürücü uyumluluğuna bağlı olarak Windows dinamik indirme ve kayıt için kullanılabilir. Belirtilen lisans koşullarına tabidir.

Foundry Local, ilk çalıştırmada bu yürütme sağlayıcılarını otomatik olarak indirir. Eklenti yürütme sağlayıcıları, yeni sürümler kullanılabilir olduğunda otomatik olarak güncelleştirilir.

Name (Vendor) Requirements License terms
NvTensorRTRTXExecutionProvider (NVIDIA) Önerilen en düşük sürücü sürümü 32.0.15.5585 ve CUDA sürüm 12.5 ile NVIDIA GeForce RTX 30XX ve sonraki sürümleri NVIDIA Yazılım Geliştirme Setleri için Lisans Sözleşmesi—EULA
OpenVINOExecutionProvider (İstihbarat) CPU: Intel TigerLake (11. Nesil) ve en az önerilen sürücü 32.0.100.9565 ile sonraki sürümler
GPU: Intel AlderLake (12. Nesil) ve sonraki sürümler, en az tavsiye edilen sürücü 32.0.101.1029 ile.
NPU: Intel ArrowLake (15. Nesil) ve sonraki sürümler için en az önerilen sürücü 32.0.100.4239		 Intel OBL Dağıtım Ticari Kullanım Lisans Sözleşmesi v2025.02.12
QNNExecutionProvider (Qualcomm) Snapdragon(R) X Elite - X1Exxxxx - Qualcomm(R) Hexagon(TM) NPU için en düşük sürücü sürümü 30.0.140.0 ve üzeri sürümler
Snapdragon(R) X Plus - X1Pxxxxx - Qualcomm(R) Hexagon(TM) NPU, en az 30.0.140.0 ve daha yeni sürücülerle uyumludur.		 QNN Lisansını görüntülemek için Qualcomm® Nöral İşleme SDK'sını indirin, ZIP'i ayıklayın ve LICENSE.pdf dosyasını açın.
VitisAIExecutionProvider (AMD) Min: Adrenalin Edition 25.6.3 ile birlikte NPU sürücüsü 32.00.0203.280
Max: Adrenalin Edition 25.9.1 ile NPU sürücüsü 32.00.0203.297		 Ek lisans gerekmez

Yerel sunucuyla Open WebUI kullanma

Tamamen cihazınızda çalışan tarayıcı tabanlı bir sohbet arabirimi için Open WebUI'yi Foundry Local'a bağlayın.

  1. Bir model başlatın ve terminali açık bırakın:

    foundry model run qwen2.5-0.5b

  2. Yerel uç nokta URL'nizi alın:

    foundry service status

    Uç nokta URL'sini kopyalayın. Foundry Local, hizmet her başlatıldığında dinamik bir bağlantı noktası atar.

  3. Open WebUI'yi yükleyip başlatın, ardından tarayıcınızda açınhttp://localhost:8080.

  4. Open WebUI'yi Foundry Local'a bağlama:

    1. Ayarlar>Yönetici Ayarları>Bağlantıları'na gidin ve Doğrudan Bağlantılar'ı etkinleştirin.
    2. Ayarlar>Bağlantıları Doğrudan Bağlantıları>Yönet'e gidin ve öğesini seçin+.
    3. URL'yihttp://localhost:PORT/v1 (2. adımdaki bağlantı noktasıyla değiştirinPORT) ve Kimlik Doğrulama'yıYok olarak ayarlayın.
    4. Select Save.

  5. Açılan listeden bir model seçin ve sohbet etmeye başlayın.

Tip

Hiçbir model görünmüyorsa, bir terminalde çalıştırın foundry model run <model> ve Open WebUI'yi yeniden yükleyin. Bağlantı başarısız olursa bağlantı noktasını ile foundry service statusonaylayın.

Yerel Dökümhaneyi Yükseltme

Foundry Local'ı yükseltmek için işletim sisteminizin komutunu çalıştırın.

  • Windows: 
    winget upgrade --id Microsoft.FoundryLocal
  • macOS: 
    brew upgrade foundrylocal

Foundry Local'ı Kaldır

Foundry Local'ı kaldırmak için işletim sisteminizin komutunu çalıştırın.

  • Windows: 
    winget uninstall Microsoft.FoundryLocal
  • macOS: 
    brew rm foundrylocal
brew untap microsoft/foundrylocal
brew cleanup --scrub

Troubleshooting

Hizmet bağlantısı sorunları

gibi foundry model listbir komut çalıştırdığınızda bu hatayı görürseniz:

Exception: Request to local service failed.
Uri: http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check service status with 'foundry service status'.

Hizmeti yeniden başlatın:

foundry service restart

Bu komut, hizmetin çalıştığı ancak bağlantı noktası bağlama sorunu nedeniyle erişilemediği durumları düzeltir.

Daha fazla sorun giderme kılavuzu için bkz . En iyi yöntemler ve sorun giderme.

  • Last updated on