Foundry Local

A Foundry Local lehetővé teszi, hogy támogatott Microsoft Öntödei modelleket futtasson a helyi gépen, miközben továbbra is a standard Agent Framework Python Agent felületet használja.

Megjegyzés:

A Foundry Local jelenleg nem támogatott a .NET.

Előfeltételek

Az Ügynök-keretrendszer helyi modellen való futtatása előtt telepítse az Foundry Local és annak helyi futtatókörnyezeti összetevőit. Az első futtatás eltarthat egy ideig, mert előfordulhat, hogy a kiválasztott modellt le kell tölteni és be kell tölteni.

Telepítés

pip install agent-framework-foundry-local --pre

Konfiguráció

Állítsa be az alapértelmezett helyi modellt a következővel:

FOUNDRY_LOCAL_MODEL="phi-4-mini"

A modellt explicit módon FoundryLocalClient(model="phi-4-mini")is átadhatja.

Megjegyzés:

FoundryLocalClient a agent_framework.foundry névtérben él. Ez egy helyi csevegőügyfél, ezért általában egy standard Agentügyféllel párosítja.

Helyi ügynök létrehozása

import asyncio

from agent_framework import Agent
from agent_framework.foundry import FoundryLocalClient

async def main():
    agent = Agent(
        client=FoundryLocalClient(model="phi-4-mini"),
        name="LocalAgent",
        instructions="You are a helpful local assistant.",
    )
    result = await agent.run("What's the weather like in Seattle?")
    print(result)

asyncio.run(main())

Modell képességei

Nem minden helyi modell támogatja ugyanazokat a funkciókat. A függvényhívás és a strukturált kimenetek a kiválasztott modelltől függenek. A FoundryLocalClient.manager segéd segítségével az ügynök futtatása előtt megvizsgálhatja a helyi katalógust és a támogatott képességeket.

További futtatókörnyezet-vezérlők esetén az olyan beállításokat is támogatja, FoundryLocalClient mint az device, bootstrapés prepare_modela .

Következő lépések

Anthropic