Pengecoran Lokal

Foundry Local memungkinkan Anda menjalankan model Microsoft Foundry yang didukung di komputer lokal Anda saat masih menggunakan pengalaman Agent Framework Python Agent standar.

Nota

Foundry Local saat ini tidak didukung di .NET.

Prasyarat

Instal Foundry Local dan komponen runtime lokalnya sebelum menjalankan Agent Framework terhadap model lokal. Proses pertama dapat memakan waktu cukup lama karena model yang dipilih mungkin perlu diunduh dan dimuat.

Penginstalan

pip install agent-framework-foundry-local --pre

Configuration

Atur model lokal default dengan:

FOUNDRY_LOCAL_MODEL="phi-4-mini"

Anda juga dapat meneruskan model secara eksplisit dengan FoundryLocalClient(model="phi-4-mini").

Nota

FoundryLocalClient tinggal di agent_framework.foundry namespace layanan. Ini adalah klien obrolan lokal, jadi Anda biasanya memasangkannya dengan standar Agent.

Membuat agen lokal

import asyncio

from agent_framework import Agent
from agent_framework.foundry import FoundryLocalClient

async def main():
    agent = Agent(
        client=FoundryLocalClient(model="phi-4-mini"),
        name="LocalAgent",
        instructions="You are a helpful local assistant.",
    )
    result = await agent.run("What's the weather like in Seattle?")
    print(result)

asyncio.run(main())

Tools

FoundryLocalClient adalah klien obrolan lokal yang dipasangkan dengan standar Agent, sehingga alat yang didukung adalah yang benar-benar dapat dipanggil oleh model lokal yang dipilih — mereka tidak disediakan oleh runtime yang dihosting. Jenis alat Foundry yang dihosting (get_code_interpreter_tool, get_web_search_tool, dll.) tidak tersedia di FoundryLocalClient.

Alat	Status	Notes
Peralatan Fungsional	⚠️	Didukung hanya jika model lokal yang dipilih mendukung panggilan fungsi. Gunakan FoundryLocalClient.manager untuk memeriksa kemampuan model.
Persetujuan Alat	✅	Disediakan oleh klien chat pemanggil fungsi milik framework; kompatibel dengan panggilan alat/fungsi apa pun.
Penerjemah Kode	❌	Tidak ada runtime yang dihosting.
Pencarian File	❌	Tidak ada runtime yang dihosting.
Pencarian Web	❌	Tidak ada runtime yang dihosting.
Alat MCP yang Dihosting	❌	Tidak diekspos oleh runtime lokal.
Alat MCP Lokal	✅	Berjalan dalam proses Anda dan bekerja dengan klien obrolan apa pun.

Kemampuan model

Tidak setiap model lokal mendukung fitur yang sama. Pemanggilan fungsi dan output terstruktur bergantung pada model yang dipilih. Pembantu FoundryLocalClient.manager dapat digunakan untuk memeriksa katalog lokal dan kemampuan yang didukung sebelum Anda menjalankan agen.

Untuk kontrol runtime tambahan, FoundryLocalClient juga mendukung opsi seperti device, , bootstrapdan prepare_model.

Nota

Dukungan Go untuk fitur ini akan segera hadir. Lihat repositori Agent Framework Go untuk status terbaru.

Langkah berikutnya

Anthropic