Aracılığıyla paylaş

Foundry Local'ı kullanmaya başlama

Önemli

  • Foundry Local önizleme aşamasındadır. Genel önizleme sürümleri, etkin dağıtımdaki özelliklere erken erişim sağlar.
  • Özellikler, yaklaşımlar ve işlemler, Genel Kullanılabilirlik (GA) öncesinde değişebilir veya sınırlı özelliklere sahip olabilir.

Bu kılavuzda, cihazınızda yapay zeka modellerini çalıştırmak için Foundry Local'ın nasıl ayarlanacağı gösterilmektedir.

Önkoşullar

Sisteminizin Foundry Local'ı çalıştırmak için aşağıdaki gereksinimleri karşılaması gerekir:

  • İşletim Sistemi: Windows 10 (x64), Windows 11 (x64/ARM), Windows Server 2025, macOS.
  • Donanım: En az 8 GB RAM ve 3 GB boş disk alanı. Önerilen 16 GB RAM ve 15 GB boş disk alanı.
  • Ağ: Modelleri ve yürütme sağlayıcılarını indirmek için İnternet bağlantısı. Modeli indirdikten sonra önbelleğe alınmış modelleri çevrimdışı çalıştırabilirsiniz.
  • Hızlandırma (isteğe bağlı): NVIDIA GPU (2000 serisi veya üzeri), AMD GPU (6000 serisi veya üzeri), AMD NPU, Intel iGPU, Intel NPU (32 GB veya daha fazla bellek), Qualcomm Snapdragon X Elite (8 GB veya daha fazla bellek), Qualcomm NPU veya Apple silikon.

Bu hızlı başlangıçtaki komutları kullanarak Foundry Local'ı yüklemek için:

  • Windows'ta winget kullanılabilir olduğundan emin olun.
  • macOS'ta, brew seçeneğini kullanıyorsanız Homebrew'ı yükleyin.

Uyarı

Yeni NPU'lar yalnızca Windows 24H2 veya üzerini çalıştıran sistemlerde desteklenir. Windows'da Intel NPU kullanıyorsanız, Foundry Local'da NPU hızlandırmasını etkinleştirmek için Intel NPU sürücüsünü yükleyin.

Yazılım yüklemek için yönetici haklarına sahip olduğunuzdan emin olun.

Tavsiye

Yüklemeden sonra bir hizmet bağlantısı hatası görürseniz (örneğin, 'Yerel hizmete istek başarısız oldu'), komutunu çalıştırın foundry service restart.

Hızlı Başlangıç

Foundry Local ile hızlı bir şekilde çalışmaya başlayın:

1. Seçenek: Hızlı CLI kurulumu

  1. Foundry Local'ı yükleyin.

    • Windows: Bir terminal açın ve aşağıdaki komutu çalıştırın. 
      winget install Microsoft.FoundryLocal
    • macOS: Bir terminal açın ve aşağıdaki komutu çalıştırın. 
      brew tap microsoft/foundrylocal
brew install foundrylocal
      Alternatif olarak yükleyiciyi Foundry Local GitHub deposundan indirebilirsiniz.

    Referans: Dökümhane Yerel belgeleri

  2. Yüklemeyi doğrulayın. Koş!

    foundry --version

    Yüklü sürüm numarasını görmeniz gerekir.

    Referans: Dökümhane Yerel CLI referansı

  3. İlk modelinizi çalıştırın. Bir terminal açın ve şu komutu çalıştırın:

    foundry model run qwen2.5-0.5b

    Foundry Local modeli indirir ve bu işlem İnternet hızınıza bağlı olarak birkaç dakika sürebilir ve ardından çalıştırır. Model başlatıldıktan sonra komut satırı arabirimini (CLI) kullanarak modelle etkileşime geçin. Örneğin, şunları sorabilirsiniz:

    Why is the sky blue?

    Terminalde modelden bir yanıt görürsünüz: Foundry Yerel çalıştırma komutu çıkışının ekran görüntüsü.

Referans: Dökümhane Yerel CLI referansı

Seçenek 2: Başlangıç projelerini indirme

Pratik ve uygulamalı öğrenme için gerçek dünya senaryolarını gösteren başlangıç projelerinden birini indirin:

Her proje şunları içerir:

  • Adım adım kurulum yönergeleri
  • Tam kaynak kodu
  • Yapılandırma örnekleri
  • En iyi yöntemler

Tavsiye

Bu başlangıç projeleri , nasıl yapılır kılavuzlarındaki senaryolarla uyumlu ve anında pratik değer sağlar.

Tavsiye

değerini katalogdaki herhangi bir model adıyla değiştirin qwen2.5-0.5b (kullanılabilir modelleri görüntülemek için komutunu çalıştırın foundry model list ). Foundry Local, sisteminizin donanım ve yazılım yapılandırmasına en uygun değişkeni indirir. Örneğin, NVIDIA GPU'nuz varsa, Foundry Local CUDA sürümünü indirir. Qualcomm NPU'nuz varsa, Foundry Local NPU değişkenini indirir. GPU veya NPU'nuz yoksa, Foundry Local CPU sürümünü indirir.

İlk kez foundry model list çalıştırdığınızda, Foundry Local donanımınız için uygulama sağlayıcılarını indirirken bir indirme ilerleme çubuğu görürsünüz.

Referans: Dökümhane Yerel CLI referansı

Komutları keşfet

Foundry CLI komutları şu ana kategorilerde düzenler:

  • Model: Modelleri yönetme ve çalıştırma komutları.
  • Hizmet: Dökümhane Yerel hizmetini yönetmeye yönelik komutlar.
  • Önbellek: Yerel model önbelleğini yönetme komutları (yerel diske indirilen modeller).

Tüm komutları görüntülemek için şunu kullanın:

foundry --help

foundry model --help

dökümhane --help

foundry service --help

Önbellek komutlarını görüntüle:

foundry cache --help

Referans: Dökümhane Yerel CLI referansı

İsteğe bağlı: En son GPT OSS 20B modelini çalıştırma

gpt-oss-20b Modeli çalıştırın:

foundry model run gpt-oss-20b

Önemli

Model cihazınız için kullanılamıyorsa, daha küçük bir model çalıştırın (örneğin, qwen2.5-0.5b).

CUDA çeşidi için genellikle 16 GB VRAM veya daha fazlasına sahip bir NVIDIA GPU'ya ihtiyacınız vardır.

Foundry Local sürüm 0.6.87 veya üzeri bu model için destek ekler. Sürümünüzü şu şekilde denetleyin:

foundry --version

Referans: Dökümhane Yerel CLI referansı

Tavsiye

Tüm CLI komutları hakkında ayrıntılı bilgi için Foundry Local CLI başvurusu'na bakın.

Yerel Dökümhaneyi Yükseltme

Foundry Local'ı yükseltmek için işletim sisteminizin komutunu çalıştırın.

  • Windows: Terminalde şunu çalıştırın: 
    winget upgrade --id Microsoft.FoundryLocal
  • macOS: Terminalde şunu çalıştırın: 
    brew upgrade foundrylocal

Foundry Local'ı Kaldır

Foundry Local'ı kaldırmak için işletim sisteminizin komutunu çalıştırın:

  • Windows: Bir terminal açın ve şunu çalıştırın: 
    winget uninstall Microsoft.FoundryLocal
  • macOS: Bir terminal açın ve şunu çalıştırın: 
    brew rm foundrylocal
brew untap microsoft/foundrylocal
brew cleanup --scrub

Sorun giderme

Hizmet bağlantısı sorunları

foundry model list veya benzer bir komutu çalıştırdığınızda bu hatayı görürseniz:

foundry model list

Exception: Request to local service failed.
Uri: http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check service status with 'foundry service status'.

Hizmeti yeniden başlatmak için şu komutu çalıştırın:

foundry service restart

Bu komut, hizmetin çalıştığı ancak bağlantı noktası bağlama sorunu nedeniyle erişilemediği durumları düzeltir.

Başvuru: En iyi uygulamalar ve sorun giderme

İlgili içerik

  • Last updated on