Dökümhane Yerel CLI referansı

Önemli

  • Foundry Local CLI önizleme aşamasındadır. Genel önizleme sürümleri, etkin dağıtımdaki özelliklere erken access sağlar.
  • Özellikler, yaklaşımlar ve işlemler, Genel Kullanılabilirlik (GA) öncesinde değişebilir veya sınırlı özelliklere sahip olabilir.

Bu makalede, Foundry Yerel komut satırı arabirimi (CLI) için kapsamlı bir başvuru sağlanır. CLI modelleri yönetmenize, yerel sunucuyu denetlemenize ve yerel önbelleğinizi korumanıza yardımcı olmak için komutları mantıksal kategoriler halinde düzenler.

Önkoşullar

  • Foundry Local'ı yükleyin.
  • CLI'nın foundry kullanılabildiği yerel terminal.
  • İlk kez indirmeler (yürütme sağlayıcıları ve modelleri) için internet erişiminizin olduğundan emin olun.
  • Azure RBAC: Uygulanamaz (yerel olarak çalışır).
  • Windows bir Intel NPU'nuz varsa en iyi NPU hızlandırması için Intel NPU sürücüsünü yükleyin.

Foundry Local'ı yükleme

İşletim sisteminiz için paket yöneticisini kullanarak Foundry Local'ı yükleyin.

  • Windows: Terminali açın ve şunu çalıştırın:
    winget install Microsoft.FoundryLocal
  • macOS: Bir terminal açın ve şunu çalıştırın: 
    brew tap microsoft/foundrylocal
brew install foundrylocal
    Alternatif olarak, yükleyiciyi foundry-samples GitHub deposundan indirin.

Yüklemeyi doğrulayın:

foundry --version

Yazılım yüklemek için yönetici haklarına sahip olduğunuzdan emin olun.

Tip

Yüklemeden sonra bir hizmet bağlantısı hatası görürseniz (örneğin, Request to local service failed) komutunu çalıştırın foundry server restart.

Hızlı doğrulama

CLI'nın yüklendiğini ve hizmete ulaşılabilir olduğunu onaylamak için bu komutları çalıştırın.

  1. CLI yardımı göster:

     foundry --help

    Bu komut kullanım bilgilerini ve kullanılabilir komut gruplarının listesini yazdırır.

    Referans: Genel Bakış

  2. Sunucu durumunu denetleyin:

döküm sunucusu durumu '''

Bu komut, Dökümhane Yerel daemon'unun çalışıp çalışmadığını yazdırır ve yerel uç noktasını içerir.

Başvuru: Sunucu komutları

Genel bakış

Komutları ve seçenekleri keşfetmek için yerleşik yardımı kullanın.

CLI komutları aşağıdaki gruplar halinde düzenler:

  • Model: model, cache
  • Çalıştır: run, chat, complete, transcribe
  • Sunucu: server
  • Kurulum: config
  • Yardım: status, report

Aşağıdaki tabloda en üst düzey komutlar özetlemektedir:

Komut Tanım
foundry model Yerel modelleri bulur, inceler, indirir, yükler ve kaldırır.
foundry chat <model> Etkileşimli bir yerel sohbet oturumu başlatır.
foundry complete <model> <prompt> Durum bilgisi olmayan bir metin tamamlama oluşturur.
foundry run <model> Sohbete veya transkripsiyona otomatik yönlendirmeye sahip bir model çalıştırır.
foundry server Yerel Foundry daemon'unu başlatır, durdurur, yeniden başlatır, inceler ve sorunlarını giderir.
foundry cache İndirilen model önbelleği girdilerini inceler ve yönetir.
foundry config Kalıcı Döküm CLI ayarlarını görüntüler ve düzenler.
foundry status Sistem, hizmet, model ve bağlantı tanılamalarını gösterir.
foundry report Tanılamayla ilgili önceden doldurulmuş bir GitHub sorunu açar.
foundry transcribe Etkileşimli bir yerel konuşma transkripsiyonu oturumu başlatır veya bir dosyanın dökümünü alır.

Model komutları

Aşağıdaki tabloda modelleri yönetme ve çalıştırmayla ilgili komutlar özetlemektedir:

Uyarı

Bağımsız değişkeni model veya model kimliğine göre belirtebilirsiniz. Diğer ad kullanma:

  • Kullanılabilir donanımınız için en iyi modeli otomatik olarak seçer. Örneğin, kullanılabilir bir Nvidia GPU'nuz varsa, Foundry Local en iyi GPU modelini seçer. Desteklenen bir NPU'nuz varsa, Foundry Local NPU modelini seçer.
  • Model kimliğini hatırlamanıza gerek kalmadan daha kısa bir ad kullanmanıza olanak tanır.

Belirli bir modeli çalıştırmak istiyorsanız model kimliğini kullanın. Örneğin, kullanılabilir donanımınızdan bağımsız olarak CPU üzerinde komutunu çalıştırmak qwen2.5-0.5b için şunu kullanın: foundry model run qwen2.5-0.5b-instruct-generic-cpu.

Komut Tanım
foundry model --help Modelle ilgili tüm kullanılabilir komutları ve bunların kullanımını görüntüler.
foundry model run <model> Belirtilen bir modeli çalıştırır, önbelleğe alınmadıysa indirir ve bir etkileşim başlatır.
foundry model list Yerel kullanım için kullanılabilir tüm modelleri listeler. İlk çalıştırmada, donanımınız için yürütme sağlayıcılarını (IP' ler) indirir.
foundry model list --filter <key>=<value> Belirtilen ölçütlere göre filtrelenen modelleri listeler (cihaz, görev, diğer ad, sağlayıcı).
foundry model info <model> Belirli bir modelle ilgili ayrıntılı bilgileri görüntüler.
foundry model info <model> --license Belirli bir modelin lisans bilgilerini görüntüler.
foundry model download <model> Bir modeli çalıştırmadan yerel önbelleğe indirir.
foundry model load <model> Hizmete bir model yükler.
foundry model unload <model> Hizmetten bir modeli kaldırır.

Model listesinin sıralaması

Diğer ad için birden çok model kimliği değişkeni kullanılabilir olduğunda, model listesi modelleri öncelik sırasına göre gösterir. Listedeki ilk model, modele alias ile belirttiğinizde çalıştırılan modeldir.

Model listesi filtreleme

foundry model list komutu, --filter seçeneğini kullanarak modelleri filtrelemeyi destekler. Anahtar-değer çiftlerini kullanarak modelleri tek bir özniteliğe göre filtreleyebilirsiniz.

foundry model list --filter <key>=<value>

Bu komut, filtre anahtarı ve değeriyle eşleşen modelleri yazdırır.

Başvuru: Liste modelini filtreleme

Uyarı

Yüklemeden sonra ilk kez çalıştırdığınızda foundry model list , Foundry Local makinenizin donanım yapılandırması için ilgili yürütme sağlayıcılarını (IP' ler) otomatik olarak indirir. Model listesi görüntülenmeden önce indirme işleminin tamamlandığını gösteren bir ilerleme çubuğu görürsünüz.

Desteklenen filtre anahtarları:

device - Donanım Cihaz Türü

Modelleri, üzerinde çalıştıkları donanım cihazına göre filtreler.

Olası değerler:

  • CPU - Merkezi işleme birimi modelleri
  • GPU - Grafik işleme birimi modelleri
  • NPU - Sinir işleme birimi modelleri

sağlayıcı - Yürütme Sağlayıcısı

Modelleri yürütme sağlayıcısına veya çalışma zamanına göre filtreler.

Olası değerler:

  • CPUExecutionProvider - CPU tabanlı yürütme
  • CUDAExecutionProvider - NVIDIA CUDA GPU yürütme
  • WebGpuExecutionProvider - WebGPU yürütme
  • QNNExecutionProvider - Qualcomm Sinir Ağı İşlemcisi (NPU)
  • OpenVINOExecutionProvider - Intel OpenVINO çalıştırma
  • NvTensorRTRTXExecutionProvider - NVIDIA TensorRT yürütme
  • VitisAIExecutionProvider - AMD Vitis AI çalıştırma

görev - Model Görev Türü

Modelleri amaçlanan kullanım örneğine veya görevine göre filtreler.

Ortak değerler:

  • chat-completion: Konuşma yapay zekası modelleri
  • text-generation: Metin oluşturma modelleri

takma ad - Model Takma Adı

Modelleri alias kimliğine göre filtreler. Joker karakter eşleştirmeyi son ek * ile destekler.

Örnek değerler:

  • phi4-cpu
  • qwen2.5-coder-0.5b-instruct-generic-cpu
  • deepseek-r1-distill-qwen-1.5b-generic-cpu
  • phi-4-mini-instruct-generic-cpu

Özel filtre özellikleri

Olumsuzlama Desteği: Herhangi bir değere önüne ! ekleyerek eşleşen modelleri dışlayın.

foundry model list --filter device=!GPU

Bu komut GPU modellerini sonuçlardan dışlar.

Referans: Özel filtre özellikleri

Joker Karakter Eşleştirme (yalnızca diğer ad): Diğer adlarla filtreleme yaparken ön ekleri eşleştirmek için * ekleyin.

foundry model list --filter alias=qwen*

Bu komut, diğer adı ile qwenbaşlayan modelleri döndürür.

Referans: Özel filtre özellikleri

Examples

foundry model list --filter device=GPU
foundry model list --filter task=chat-completion
foundry model list --filter provider=CUDAExecutionProvider

Bu örnekler model listesini cihaza, göreve ve yürütme sağlayıcısına göre filtreler.

Başvuru: Liste modelini filtreleme

Uyarı

  • Tüm karşılaştırmalar büyük/küçük harf fark etmeksizin yapılır.
  • Komut başına yalnızca bir filtre kullanılabilir.
  • Tanınmayan filtre anahtarları hataya neden olur.

Modeli etkileşimli olarak çalıştırma

Modeli çalıştırın ve doğrudan terminalde bu modelle etkileşim kurun:

foundry model run qwen2.5-0.5b

Foundry Local modeli ilk çalıştırmada indirir, ardından etkileşimli bir oturum başlatır. Yanıt almak için bir istem girin:

Why is the sky blue?

Foundry Yerel çalıştırma komutunun çıktısının ekran görüntüsü.

Tip

değerini katalogdaki herhangi bir model diğer adıyla değiştirin qwen2.5-0.5b . Kullanılabilir modelleri görüntülemek için komutunu çalıştırın foundry model list . Foundry Local, donanımınızla en iyi eşleşen değişkeni indirir; örneğin, NVIDIA GPU'ları için CUDA değişkeni veya Qualcomm NPU'ları için bir NPU değişkeni.

Sunucu komutları

Aşağıdaki tabloda, Foundry Local hizmetini yönetme ve çalıştırmayla ilgili komutlar özetlemektedir:

Komut Tanım
foundry server --help Sunucuyla ilgili tüm kullanılabilir komutları ve bunların kullanımını görüntüler.
foundry server start Foundry Local daemon ve OpenAI uyumlu yerel hizmeti başlatır.
foundry server start --port <port> Belirtilen TCP bağlantı noktasında yerel hizmeti başlatır. İşletim sistemi tarafından atanan bir bağlantı noktası için kullanın 0 .
foundry server start --idle-timeout <minutes> Belirtilen etkin olmayan dakika sayısından sonra daemon'un durdurulur. Daemon'ı çalışır durumda tutmak için kullanın 0 .
foundry server stop Foundry Yerel daemon'unu durdurur.
foundry server restart Foundry Yerel daemon'unu ve yerel hizmeti yeniden başlatır.
foundry server restart --port <port> --idle-timeout 0 Belirtilen TCP bağlantı noktasında yerel hizmeti yeniden başlatır ve daemon'un çalışır durumda kalmasını sağlar.
foundry server status Daemon durumunu, yerel hizmet URL'lerini, işlem kimliğini, çalışma süresini ve günlük konumunu görüntüler.
foundry server logs Foundry Yerel daemon ve SDK günlüklerini görüntüler.

Sabit bağlantı noktası yerel sunucusu

Yerel hizmeti sabit bir bağlantı noktasında başlatmak ve daemon'ı çalışır durumda tutmak için ile kullanın --port--idle-timeout 0:

foundry server start --port 39839 --idle-timeout 0

Daemon zaten çalışıyorsa ve yeni bir bağlantı noktası uygulamanız gerekiyorsa, aynı seçeneklerle yeniden başlatın:

foundry server restart --port 39839 --idle-timeout 0

Yerel uç nokta URL'sini doğrulamak için şunu çalıştırın:

foundry server status

Önbellek komutları

Aşağıdaki tabloda, modellerin depolandığı yerel önbelleği yönetmeye yönelik komutlar özetlenir:

Komut Tanım
foundry cache --help Önbellekle ilgili tüm kullanılabilir komutları ve bunların kullanımını gösterir.
foundry cache location Geçerli önbellek dizinini gösterir.
foundry cache list Yerel önbellekte depolanan tüm modelleri listeler.
foundry cache cd <path> Önbellek dizinini belirtilen yola değiştirir.
foundry cache remove <model> Modeli yerel önbellekten kaldırır.

Yürütme sağlayıcıları

Yürütme sağlayıcıları, modelleri cihazınızda mümkün olduğunca verimli bir şekilde çalıştıran donanıma özgü hızlandırma kitaplıklarıdır.

Yerleşik yürütme sağlayıcıları

Foundry Local, CPU yürütme sağlayıcısını, WebGPU yürütme sağlayıcısını ve CUDA yürütme sağlayıcısını içerir.

CPU yürütme sağlayıcısı herhangi bir CPU üzerinde çalışmak için Microsoft Doğrusal Cebir Alt Yordamları (MLAS) kullanır ve Foundry Local için CPU geri dönüşüdür.

WebGPU yürütme sağlayıcısı, herhangi bir GPU'da hızlandırma için web tabanlı API'nin yerel uygulaması olan Dawn kullanır ve Foundry Local için GPU geri dönüşüdür.

CUDA yürütme sağlayıcısı, NVIDIA GPU'larında hızlandırma için NVIDIA CUDA kullanır. Önerilen en düşük sürücü sürümü 32.0.15.5585 ve CUDA sürüm 12.5 olan bir NVIDIA GeForce RTX 30 serisi ve üzeri gerekir. Şu lisans koşullarına tabidir: NVIDIA Yazılım Geliştirme Setleri için Lisans Sözleşmesi— EULA.

Eklenti yürütme sağlayıcıları

Aşağıdaki tabloda listelenen yürütme sağlayıcıları, cihaz ve sürücü uyumluluğuna bağlı olarak Windows dinamik indirme ve kayıt için kullanılabilir. Belirtilen lisans koşullarına tabidir.

Foundry Local, ilk çalıştırmada bu yürütme sağlayıcılarını otomatik olarak indirir. Eklenti yürütme sağlayıcıları, yeni sürümler kullanılabilir olduğunda otomatik olarak güncelleştirilir.

Ad (Satıcı) Requirements Lisans koşulları
NvTensorRTRTXExecutionProvider (NVIDIA) Önerilen en düşük sürücü sürümü 32.0.15.5585 ve CUDA sürüm 12.5 ile NVIDIA GeForce RTX 30XX ve sonraki sürümleri NVIDIA Yazılım Geliştirme Setleri için Lisans Sözleşmesi—EULA
OpenVINOExecutionProvider (İstihbarat) CPU: Intel TigerLake (11. Nesil) ve en az önerilen sürücü 32.0.100.9565 ile sonraki sürümler
GPU: Intel AlderLake (12. Nesil) ve sonraki sürümler, en az tavsiye edilen sürücü 32.0.101.1029 ile.
NPU: Intel ArrowLake (15. Nesil) ve sonraki sürümler için en az önerilen sürücü 32.0.100.4239		 Intel OBL Dağıtım Ticari Kullanım Lisans Sözleşmesi v2025.02.12
QNNExecutionProvider (Qualcomm) Snapdragon(R) X Elite - X1Exxxxx - Qualcomm(R) Hexagon(TM) NPU için en düşük sürücü sürümü 30.0.140.0 ve üzeri sürümler
Snapdragon(R) X Plus - X1Pxxxxx - Qualcomm(R) Hexagon(TM) NPU, en az 30.0.140.0 ve daha yeni sürücülerle uyumludur.		 QNN Lisansını görüntülemek için Qualcomm® Nöral İşleme SDK'sını indirin, ZIP'i ayıklayın ve LICENSE.pdf dosyasını açın.
VitisAIExecutionProvider (AMD) Min: Adrenalin Edition 25.6.3 ile birlikte NPU sürücüsü 32.00.0203.280
Max: Adrenalin Edition 25.9.1 ile NPU sürücüsü 32.00.0203.297		 Ek lisans gerekmez

Yerel sunucuyla Open WebUI kullanma

Tamamen cihazınızda çalışan tarayıcı tabanlı bir sohbet arabirimi için Open WebUI'yi Foundry Local'a bağlayın.

  1. Bir model başlatın ve terminali açık bırakın:

    foundry model run qwen2.5-0.5b

  2. Yerel uç nokta URL'nizi alın:

döküm sunucusu durumu


Copy the endpoint URL. Foundry Local assigns a dynamic port each time the service starts.

1. Install and launch [Open WebUI](https://github.com/open-webui/open-webui), then open `http://localhost:8080` in your browser.

1. Connect Open WebUI to Foundry Local:

1. Go to **Settings** > **Admin Settings** > **Connections** and enable **Direct Connections**.
1. Go to **Settings** > **Connections** > **Manage Direct Connections** and select **+**.
1. Set **URL** to `http://localhost:PORT/v1` (replace `PORT` with the port from step 2) and **Auth** to **None**.
1. Select **Save**.

1. Select a model from the dropdown and start chatting.

> [!TIP]
> If no models appear, run `foundry model run <model>` in a terminal and reload Open WebUI. If the connection fails, confirm the port with `foundry server status`.

## Upgrade Foundry Local

Run the command for your operating system to upgrade Foundry Local.

- **Windows**:
```bash
winget upgrade --id Microsoft.FoundryLocal
  • macOS: 
    brew upgrade foundrylocal

Foundry Local'ı Kaldır

Foundry Local'ı kaldırmak için işletim sisteminizin komutunu çalıştırın.

  • Windows: 
    winget uninstall Microsoft.FoundryLocal
  • macOS: 
    brew rm foundrylocal
brew untap microsoft/foundrylocal
brew cleanup --scrub

Sorun giderme

Hizmet bağlantısı sorunları

gibi foundry model listbir komut çalıştırdığınızda bu hatayı görürseniz:

Exception: Request to local service failed.
Uri: http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check service status with 'foundry server status'.

Hizmeti yeniden başlatın:

foundry server restart

Bu komut, sunucunun çalıştığı ancak bağlantı noktası bağlama sorunu nedeniyle erişilebilir olmadığı durumları düzeltir.

Daha fazla sorun giderme kılavuzu için bkz . En iyi yöntemler ve sorun giderme.

  • Last updated on