Dökümhane Yerel

Foundry Local, standart Agent Framework Python Agent deneyimini kullanmaya devam ederken yerel makinenizde desteklenen Microsoft Foundry modellerini çalıştırmanıza olanak tanır.

Uyarı

Foundry Local şu anda .NET'da desteklenmiyor.

Önkoşullar

Yerel modelde Agent Framework'ü çalıştırmadan önce Foundry Local ve yerel çalışma zamanı bileşenlerini yükleyin. Seçilen modelin indirilmesi ve yüklenmesi gerekebileceğinden ilk çalıştırma biraz zaman alabilir.

Installation

pip install agent-framework-foundry-local --pre

Konfigürasyon

Varsayılan yerel modeli şu şekilde ayarlayın:

FOUNDRY_LOCAL_MODEL="phi-4-mini"

Ayrıca modeli ile FoundryLocalClient(model="phi-4-mini")açıkça geçirebilirsiniz.

Uyarı

FoundryLocalClient ad alanında agent_framework.foundry yaşar. Yerel bir sohbet istemcisidir, bu nedenle genellikle standart Agentile eşleştirilir.

Yerel aracı oluşturma

import asyncio

from agent_framework import Agent
from agent_framework.foundry import FoundryLocalClient

async def main():
    agent = Agent(
        client=FoundryLocalClient(model="phi-4-mini"),
        name="LocalAgent",
        instructions="You are a helpful local assistant.",
    )
    result = await agent.run("What's the weather like in Seattle?")
    print(result)

asyncio.run(main())

Model özellikleri

Her yerel model aynı özellikleri desteklemez. İşlev çağrısı ve yapılandırılmış çıkışlar seçilen modele bağlıdır. Yardımcı FoundryLocalClient.manager , bir aracı çalıştırmadan önce yerel kataloğu ve desteklenen özellikleri incelemek için kullanılabilir.

Ek çalışma zamanı denetimleri için , FoundryLocalClientdeviceve bootstrapgibi prepare_modelseçenekleri de destekler.

Sonraki Adımlar

Anthropic