Dökümhane Yerel CLI referansı

Önemli

• Foundry Local CLI önizleme aşamasındadır. Genel önizleme sürümleri, etkin dağıtımdaki özelliklere erken access sağlar.
• Özellikler, yaklaşımlar ve işlemler, Genel Kullanılabilirlik (GA) öncesinde değişebilir veya sınırlı özelliklere sahip olabilir.

Bu makalede, Foundry Yerel komut satırı arabirimi (CLI) için kapsamlı bir başvuru sağlanır. CLI modelleri yönetmenize, yerel sunucuyu denetlemenize ve yerel önbelleğinizi korumanıza yardımcı olmak için komutları mantıksal kategoriler halinde düzenler.

Önkoşullar

• Foundry Local'ı yükleyin.
• CLI'nın foundry kullanılabildiği yerel terminal.
• İlk kez indirmeler (yürütme sağlayıcıları ve modelleri) için internet erişiminizin olduğundan emin olun.
• Azure RBAC: Uygulanamaz (yerel olarak çalışır).
• Windows bir Intel NPU'nuz varsa en iyi NPU hızlandırması için Intel NPU sürücüsünü yükleyin.

Foundry Local'ı yükleme

İşletim sisteminiz için paket yöneticisini veya yükleyiciyi kullanarak Foundry Local'ı yükleyin.

• Windows: Bir terminal açın ve şunu çalıştırın:

  winget install Microsoft.FoundryLocal
  

• macOS Apple Silicon: Bir terminal açın ve şunu çalıştırın:

  brew tap microsoft/foundrylocal
  brew install foundrylocal
  

  Alternatif olarak, geçerli macOS'yi .pkg veya .zipFoundry Local CLI sürüm varlıklarından indirin. dosyasını indirirseniz .pkg, macOS Yükleyicisi ile açın.

Yüklemeyi doğrulayın:

foundry --version

Yazılım yüklemek için yönetici haklarına sahip olduğunuzdan emin olun.

Tip

Yüklemeden sonra bir sunucu bağlantısı hatası görürseniz (örneğin, Request to local service failed) komutunu çalıştırın foundry server restart.

Hızlı doğrulama

CLI'nın yüklendiğini ve yerel sunucunun erişilebilir olduğunu onaylamak için bu komutları çalıştırın.

1. CLI yardımı göster:

   foundry --help
   

   Bu komut kullanım bilgilerini ve kullanılabilir komut gruplarının listesini yazdırır.

   Referans: Genel Bakış

2. Sunucu durumunu denetleyin:

   foundry server status
   

   Bu komut, Dökümhane Yerel daemon'unun çalışıp çalışmadığını yazdırır ve yerel uç noktasını içerir.

   Başvuru: Sunucu komutları

Genel bakış

Komutları ve seçenekleri keşfetmek için yerleşik yardımı kullanın.

CLI komutları aşağıdaki gruplar halinde düzenler:

• Model: model, cache
• Çalıştır: run, chat, complete, transcribe
• Sunucu: server
• Kurulum: config
• Yardım: status, report

Aşağıdaki tabloda en üst düzey komutlar özetlemektedir:

Komut	Tanım
foundry model	Yerel modelleri bulur, inceler, indirir, yükler ve kaldırır.
foundry chat <model>	Etkileşimli bir yerel sohbet oturumu başlatır.
foundry complete <model> <prompt>	Durum bilgisi olmayan bir metin tamamlama oluşturur.
foundry run <model>	Sohbete veya transkripsiyona otomatik yönlendirmeye sahip bir model çalıştırır.
foundry server	Yerel Foundry daemon'unu başlatır, durdurur, yeniden başlatır, inceler ve sorunlarını giderir.
foundry cache	İndirilen model önbelleği girdilerini inceler ve yönetir.
foundry config	Kalıcı Döküm CLI ayarlarını görüntüler ve düzenler.
foundry status	Sistem, sunucu, model ve bağlantı tanılamalarını gösterir.
foundry report	Tanılamayla ilgili önceden doldurulmuş bir GitHub sorunu açar.
foundry transcribe	Etkileşimli bir yerel konuşma transkripsiyonu oturumu başlatır veya bir dosyanın dökümünü alır.

Model komutları

Aşağıdaki tabloda modelleri yönetme ve çalıştırmayla ilgili komutlar özetlemektedir:

Uyarı

Bağımsız değişkeni model veya model kimliğine göre belirtebilirsiniz. Diğer ad kullanma:

• Kullanılabilir donanımınız için en iyi modeli otomatik olarak seçer. Örneğin, kullanılabilir bir Nvidia GPU'nuz varsa, Foundry Local en iyi GPU modelini seçer. Desteklenen bir NPU'nuz varsa, Foundry Local NPU modelini seçer.
• Model kimliğini hatırlamanıza gerek kalmadan daha kısa bir ad kullanmanıza olanak tanır.

Belirli bir modeli çalıştırmak istiyorsanız model kimliğini kullanın. Örneğin, kullanılabilir donanımınızdan bağımsız olarak CPU üzerinde komutunu çalıştırmak qwen2.5-0.5b için kullanın foundry run qwen2.5-0.5b-instruct-generic-cpu.

Komut	Tanım
foundry model --help	Modelle ilgili tüm kullanılabilir komutları ve bunların kullanımını görüntüler.
foundry model list	Yerel kullanım için kullanılabilir tüm modelleri listeler. İlk çalıştırmada, donanımınız için yürütme sağlayıcılarını (IP' ler) indirir.
foundry model info <model>	Belirli bir modelle ilgili ayrıntılı bilgileri görüntüler.
foundry model download <model>	Bir modeli çalıştırmadan yerel önbelleğe indirir.
foundry model load <model>	Modeli yerel daemon'a yükler.
foundry model unload <model>	Modeli yerel daemon'dan kaldırır.

Model listesinin sıralaması

Diğer ad için birden çok model kimliği değişkeni kullanılabilir olduğunda, model listesi modelleri öncelik sırasına göre gösterir. Listedeki ilk model, modele alias ile belirttiğinizde çalıştırılan modeldir.

Model listesi filtreleme

Sonuçları daraltmak veya genişletmek için için foundry model list açık seçeneklerini kullanın.

Uyarı

Yüklemeden sonra ilk kez çalıştırdığınızda foundry model list , Foundry Local makinenizin donanım yapılandırması için ilgili yürütme sağlayıcılarını (IP' ler) otomatik olarak indirir. Model listesi görüntülenmeden önce indirme işleminin tamamlandığını gösteren bir ilerleme çubuğu görürsünüz.

Seçenek	Tanım
--device <kind>	Modelleri cihaz türüne göre filtreler: cpu, gpuveya npu.
--type <task>	Modelleri göreve göre filtreler: chat, speechveya embedding.
--search <query>	Modelleri arama sorgusuna göre filtreler.
--cached	Listeyi önbelleğe alınmış modeller olarak filtreler.
--loaded	Listeyi yüklenen modellere göre filtreler.
--variants	Model çeşitlemelerini listeye ekler.
--limit <n>	Çıktıdaki satır sayısını sınırlar.
-v, --verbose	Lisans, Görünen Ad ve Model Kimliği sütunlarını içerir.

Examples

foundry model list --device gpu
foundry model list --type chat
foundry model list --search qwen
foundry model list --cached
foundry model list --loaded
foundry model list --variants
foundry model list --limit 20
foundry model list --verbose

Bu örnekler, desteklenen seçenekleri kullanarak model listesini filtreler veya genişletir.

Başvuru: Liste modelini filtreleme

Modeli etkileşimli olarak çalıştırma

Modeli çalıştırın ve doğrudan terminalde bu modelle etkileşim kurun:

foundry chat qwen2.5-0.5b

Foundry Local modeli ilk çalıştırmada indirir, ardından etkileşimli bir oturum başlatır. Yanıt almak için bir istem girin:

Why is the sky blue?

Tip

değerini katalogdaki herhangi bir model diğer adıyla değiştirin qwen2.5-0.5b . Kullanılabilir modelleri görüntülemek için komutunu çalıştırın foundry model list . Foundry Local, donanımınızla en iyi eşleşen değişkeni indirir; örneğin, NVIDIA GPU'ları için CUDA değişkeni veya Qualcomm NPU'ları için bir NPU değişkeni.

Sunucu komutları

Aşağıdaki tabloda, Foundry Yerel sunucusunu yönetme ve çalıştırmayla ilgili komutlar özetlenmiştir:

Komut	Tanım
foundry server --help	Sunucuyla ilgili tüm kullanılabilir komutları ve bunların kullanımını görüntüler.
foundry server start	Foundry Local daemon ve OpenAI uyumlu yerel hizmeti başlatır.
foundry server start --port <port>	Belirtilen TCP bağlantı noktasında yerel hizmeti başlatır. İşletim sistemi tarafından atanan bir bağlantı noktası için kullanın 0 .
foundry server start --idle-timeout <minutes>	Belirtilen etkin olmayan dakika sayısından sonra daemon'un durdurulur. Daemon'ı çalışır durumda tutmak için kullanın 0 .
foundry server stop	Foundry Yerel daemon'unu durdurur.
foundry server restart	Foundry Yerel daemon'unu ve yerel hizmeti yeniden başlatır.
foundry server restart --port <port> --idle-timeout 0	Belirtilen TCP bağlantı noktasında yerel hizmeti yeniden başlatır ve daemon'un çalışır durumda kalmasını sağlar.
foundry server status	Daemon durumunu, yerel hizmet URL'lerini, işlem kimliğini, çalışma süresini ve günlük konumunu görüntüler.
foundry server logs	Foundry Yerel daemon ve SDK günlüklerini görüntüler.

Sunucu günlükleri seçenekleri

şu seçenekleri ile foundry server logskullanın:

Seçenek	Tanım
-n, --lines <n>	Belirtilen son günlük satırı sayısını gösterir. Varsayılan değer: 50.
-f, --follow	Eklenen yeni günlük satırlarını akışa alır.

Sabit bağlantı noktası yerel sunucusu

Yerel hizmeti sabit bir bağlantı noktasında başlatmak ve daemon'ı çalışır durumda tutmak için ile kullanın --port--idle-timeout 0:

foundry server start --port 39839 --idle-timeout 0

Daemon zaten çalışıyorsa ve yeni bir bağlantı noktası uygulamanız gerekiyorsa, aynı seçeneklerle yeniden başlatın:

foundry server restart --port 39839 --idle-timeout 0

Yerel uç nokta URL'sini doğrulamak için şunu çalıştırın:

foundry server status

Önbellek komutları

Aşağıdaki tabloda, modellerin depolandığı yerel önbelleği yönetmeye yönelik komutlar özetlenir:

Komut	Tanım
foundry cache --help	Önbellekle ilgili tüm kullanılabilir komutları ve bunların kullanımını gösterir.
foundry cache location	Geçerli önbellek dizinini gösterir.
foundry cache list	Yerel önbellekte depolanan tüm modelleri listeler.
foundry cache cd <path>	Önbellek dizinini belirtilen yola değiştirir.
foundry cache remove [<model>]	Önbelleğe alınmış modeli kaldırır. atlarsanız <model>, komut onaydan sonra önbelleğe alınan tüm modelleri kaldırır.

Onay olmadan önbelleğe alınmış bir modeli kaldırmak için kullanın foundry cache remove <model> --force .

Yürütme sağlayıcıları

Yürütme sağlayıcıları, modelleri cihazınızda mümkün olduğunca verimli bir şekilde çalıştıran donanıma özgü hızlandırma kitaplıklarıdır.

Yerleşik yürütme sağlayıcıları

Foundry Local, CPU yürütme sağlayıcısını, WebGPU yürütme sağlayıcısını ve CUDA yürütme sağlayıcısını içerir.

CPU yürütme sağlayıcısı herhangi bir CPU üzerinde çalışmak için Microsoft Doğrusal Cebir Alt Yordamları (MLAS) kullanır ve Foundry Local için CPU geri dönüşüdür.

WebGPU yürütme sağlayıcısı, herhangi bir GPU'da hızlandırma için web tabanlı API'nin yerel uygulaması olan Dawn kullanır ve Foundry Local için GPU geri dönüşüdür.

CUDA yürütme sağlayıcısı, NVIDIA GPU'larında hızlandırma için NVIDIA CUDA kullanır. Önerilen en düşük sürücü sürümü 32.0.15.5585 ve CUDA sürüm 12.5 olan bir NVIDIA GeForce RTX 30 serisi ve üzeri gerekir. Şu lisans koşullarına tabidir: NVIDIA Yazılım Geliştirme Setleri için Lisans Sözleşmesi— EULA.

Eklenti yürütme sağlayıcıları

Aşağıdaki tabloda listelenen yürütme sağlayıcıları, cihaz ve sürücü uyumluluğuna bağlı olarak Windows dinamik indirme ve kayıt için kullanılabilir. Belirtilen lisans koşullarına tabidir.

Foundry Local, ilk çalıştırmada bu yürütme sağlayıcılarını otomatik olarak indirir. Eklenti yürütme sağlayıcıları, yeni sürümler kullanılabilir olduğunda otomatik olarak güncelleştirilir.

Ad (Satıcı)	Requirements	Lisans koşulları
NvTensorRTRTXExecutionProvider (NVIDIA)	Önerilen en düşük sürücü sürümü 32.0.15.5585 ve CUDA sürüm 12.5 ile NVIDIA GeForce RTX 30XX ve sonraki sürümleri	NVIDIA Yazılım Geliştirme Setleri için Lisans Sözleşmesi—EULA
OpenVINOExecutionProvider (İstihbarat)	CPU: Intel TigerLake (11. Nesil) ve en az önerilen sürücü 32.0.100.9565 ile sonraki sürümler GPU: Intel AlderLake (12. Nesil) ve sonraki sürümler, en az tavsiye edilen sürücü 32.0.101.1029 ile. NPU: Intel ArrowLake (15. Nesil) ve sonraki sürümler için en az önerilen sürücü 32.0.100.4239	Intel OBL Dağıtım Ticari Kullanım Lisans Sözleşmesi v2025.02.12
QNNExecutionProvider (Qualcomm)	Snapdragon(R) X Elite - X1Exxxxx - Qualcomm(R) Hexagon(TM) NPU için en düşük sürücü sürümü 30.0.140.0 ve üzeri sürümler Snapdragon(R) X Plus - X1Pxxxxx - Qualcomm(R) Hexagon(TM) NPU, en az 30.0.140.0 ve daha yeni sürücülerle uyumludur.	QNN Lisansını görüntülemek için Qualcomm® Nöral İşleme SDK'sını indirin, ZIP'i ayıklayın ve LICENSE.pdf dosyasını açın.
VitisAIExecutionProvider (AMD)	Min: Adrenalin Edition 25.6.3 ile birlikte NPU sürücüsü 32.00.0203.280 Max: Adrenalin Edition 25.9.1 ile NPU sürücüsü 32.00.0203.297	Ek lisans gerekmez

Yerel sunucuyla Open WebUI kullanma

Tamamen cihazınızda çalışan tarayıcı tabanlı bir sohbet arabirimi için Open WebUI'yi Foundry Local'a bağlayın.

1. Bir model başlatın ve terminali açık bırakın:

   foundry run qwen2.5-0.5b
   

2. Yerel uç nokta URL'nizi alın:

   foundry server status
   

   Uç nokta URL'sini kopyalayın. Foundry Local, sunucu her başlatıldığında dinamik bir bağlantı noktası atar.

3. Open WebUI'yi yükleyip başlatın, ardından tarayıcınızda açınhttp://localhost:8080.

4. Open WebUI'yi Foundry Local'a bağlama:

   1. Ayarlar>Yönetici Ayarları>Bağlantıları'na gidin ve Doğrudan Bağlantılar'ı etkinleştirin.
   2. Ayarlar>Bağlantıları Doğrudan Bağlantıları>Yönet'e gidin ve öğesini seçin+.
   3. URL'yihttp://localhost:PORT/v1 (2. adımdaki bağlantı noktasıyla değiştirinPORT) ve Kimlik Doğrulama'yıYok olarak ayarlayın.
   4. Kaydetseçeneğini seçin.

5. Açılan listeden bir model seçin ve sohbet etmeye başlayın.

Tip

Hiçbir model görünmüyorsa, bir terminalde çalıştırın foundry run <model> ve Open WebUI'yi yeniden yükleyin. Bağlantı başarısız olursa bağlantı noktasını ile foundry server statusonaylayın.

Yerel Dökümhaneyi Yükseltme

Foundry Local'ı yükseltmek için işletim sisteminizin komutunu çalıştırın.

• Windows:

  winget upgrade --id Microsoft.FoundryLocal
  

• macOS Apple Silicon: Foundry Local 0.8.x sürümünden yükseltme yapıyorsanız, yükseltmeden önce eski hizmeti durdurun:

  foundry service stop
  brew update
  brew upgrade microsoft/foundrylocal/foundrylocal
  

  Zaten geçerli önizleme CLI'sindeyseniz şunu çalıştırın:

  brew update
  brew upgrade microsoft/foundrylocal/foundrylocal
  

Foundry Local'ı Kaldır

Windows üzerinde Foundry Local'ı kaldırmak için şunu çalıştırın:

winget uninstall Microsoft.FoundryLocal

Sorun giderme

Sunucu bağlantısı sorunları

gibi foundry model listbir komut çalıştırdığınızda bu hatayı görürseniz:

Exception: Request to local service failed.
Uri: http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check server status with 'foundry server status'.

Sunucuyu yeniden başlatın:

foundry server restart

Bu komut, sunucunun çalıştığı ancak bağlantı noktası bağlama sorunu nedeniyle erişilebilir olmadığı durumları düzeltir.

Daha fazla sorun giderme kılavuzu için bkz . En iyi yöntemler ve sorun giderme.