Gjuteriet Local

Med Foundry Local kan du köra Microsoft Foundry-modeller som stöds på den lokala datorn medan du fortfarande använder standardmiljön för Agent Framework Python Agent.

Anmärkning

Foundry Local stöds för närvarande inte i .NET.

Förutsättningar

Installera Foundry Local och dess lokala körningskomponenter innan du kör Agent Framework mot en lokal modell. Den första körningen kan ta en stund eftersom den valda modellen kan behöva laddas ned och läsas in.

Installation

pip install agent-framework-foundry-local --pre

Configuration

Ange den lokala standardmodellen med:

FOUNDRY_LOCAL_MODEL="phi-4-mini"

Du kan också skicka modellen explicit med FoundryLocalClient(model="phi-4-mini").

Anmärkning

FoundryLocalClient bor i agent_framework.foundry namnområdet. Det är en lokal chattklient, så du parkopplar den vanligtvis med en standard Agent.

Skapa en lokal agent

import asyncio

from agent_framework import Agent
from agent_framework.foundry import FoundryLocalClient

async def main():
    agent = Agent(
        client=FoundryLocalClient(model="phi-4-mini"),
        name="LocalAgent",
        instructions="You are a helpful local assistant.",
    )
    result = await agent.run("What's the weather like in Seattle?")
    print(result)

asyncio.run(main())

Tools

FoundryLocalClient är en lokal chattklient som är kopplad till en standard Agent, så de verktyg som stöds är de som den valda lokala modellen faktiskt kan anropa – de tillhandahålls inte av en värdbaserad körning. Värdbaserade foundry-verktygstyper (get_code_interpreter_tool, get_web_search_toolosv.) är inte tillgängliga på FoundryLocalClient.

Verktyg	Status	Notes
Funktionsverktyg	⚠️	Stöds endast om den valda lokala modellen stöder funktionsanrop. Använd FoundryLocalClient.manager för att granska modellfunktioner.
Godkännande av verktyg	✅	Tillhandahålls av ramverkets funktionsanropande chattklient; fungerar med valfritt funktionsverktygsanrop.
Kodtolkare	❌	Ingen värdbaserad körning.
Filsökning	❌	Ingen värdbaserad körning.
Webbsökning	❌	Ingen värdbaserad körning.
Värdhanterade MCP-verktyg	❌	Inte exponerad av den lokala körningen.
Lokala MCP-verktyg	✅	Körs i din process och fungerar med alla chattklienter.

Modellfunktioner

Alla lokala modeller har inte stöd för samma funktioner. Funktionsanrop och strukturerade utdata beror på den valda modellen. Hjälpen FoundryLocalClient.manager kan användas för att inspektera den lokala katalogen och funktioner som stöds innan du kör en agent.

För ytterligare körningskontroller FoundryLocalClient har även stöd för alternativ som device, bootstrapoch prepare_model.

Anmärkning

Go-stöd för den här funktionen kommer snart. Se Agent Framework Go-lagringsplatsen för den senaste statusen.

Nästa steg

Anthropic