Gieterij Lokaal

Met Foundry Local kunt u ondersteunde Microsoft Foundry-modellen uitvoeren op uw lokale computer terwijl u nog steeds de standaard Python-ervaring van Agent Framework Agent gebruikt.

Opmerking

Foundry Local wordt momenteel niet ondersteund in .NET.

Vereiste voorwaarden

Installeer Foundry Local en de lokale runtime-onderdelen voordat u Agent Framework uitvoert op basis van een lokaal model. De eerste uitvoering kan enige tijd duren omdat het geselecteerde model mogelijk moet worden gedownload en geladen.

Installation

pip install agent-framework-foundry-local --pre

Configuratie

Stel het standaard lokale model in met:

FOUNDRY_LOCAL_MODEL="phi-4-mini"

U kunt het model ook expliciet doorgeven met FoundryLocalClient(model="phi-4-mini").

Opmerking

FoundryLocalClient woont in de agent_framework.foundry naamruimte. Het is een lokale chatclient, dus u koppelt het meestal aan een standaard Agent.

Een lokale agent maken

import asyncio

from agent_framework import Agent
from agent_framework.foundry import FoundryLocalClient

async def main():
    agent = Agent(
        client=FoundryLocalClient(model="phi-4-mini"),
        name="LocalAgent",
        instructions="You are a helpful local assistant.",
    )
    result = await agent.run("What's the weather like in Seattle?")
    print(result)

asyncio.run(main())

Modelmogelijkheden

Niet elk lokaal model ondersteunt dezelfde functies. Functie-aanroepen en gestructureerde uitvoer zijn afhankelijk van het geselecteerde model. De FoundryLocalClient.manager helper kan worden gebruikt om de lokale catalogus en ondersteunde mogelijkheden te inspecteren voordat u een agent uitvoert.

Voor aanvullende runtime-besturingselementen ondersteunt FoundryLocalClient u ook opties zoals device, bootstrapen prepare_model.

Volgende stappen 

Microsoft Foundry Provider