Ollama

Ollama, açık kaynak modelleri yerel olarak çalıştırmanıza ve bunları Agent Framework ile kullanmanıza olanak tanır. Bu, verileri şirket içinde tutmanız gereken geliştirme, test ve senaryolar için idealdir.

Aşağıdaki örnekte Ollama kullanarak aracı oluşturma gösterilmektedir:

using System;
using Microsoft.Agents.AI;
using Microsoft.Extensions.AI;

// Create an Ollama agent using Microsoft.Extensions.AI.Ollama
// Requires: dotnet add package Microsoft.Extensions.AI.Ollama --prerelease
var chatClient = new OllamaChatClient(
    new Uri("http://localhost:11434"),
    modelId: "llama3.2");

AIAgent agent = chatClient.AsAIAgent(
    instructions: "You are a helpful assistant running locally via Ollama.");

Console.WriteLine(await agent.RunAsync("What is the largest city in France?"));

Önkoşullar

Örnek çalıştırmadan önce Ollama'nın yerel olarak yüklendiğinden ve model indirildiğinden emin olun:

ollama pull llama3.2

Uyarı

Tüm modeller işlev çağrılarını desteklemez. Araç kullanımı için veya llama3.2öğesini deneyinqwen3:4b.

Installation

Yerel Ollama

pip install agent-framework-ollama --pre

OpenAI Uyumlu

pip install agent-framework

Konfigürasyon

Yerel Ollama

OLLAMA_MODEL="llama3.2"

Yerel istemci varsayılan olarak öğesine http://localhost:11434 bağlanır. İstemciye geçirerek host bunu geçersiz kılabilirsiniz.

OpenAI Uyumlu

OLLAMA_ENDPOINT="http://localhost:11434/v1/"
OLLAMA_MODEL="llama3.2"

Ollama Aracıları Oluşturma

Yerel Ollama

OllamaChatClient işlev araçları ve akış için tam destek ile yerel Ollama tümleştirmesi sağlar.

import asyncio
from agent_framework.ollama import OllamaChatClient

async def main():
    agent = OllamaChatClient().as_agent(
        name="HelpfulAssistant",
        instructions="You are a helpful assistant running locally via Ollama.",
    )
    result = await agent.run("What is the largest city in France?")
    print(result)

asyncio.run(main())

OpenAI Uyumlu

Ollama örneğinize işaret eden özel bir temel URL ile de kullanabilirsiniz OpenAIChatClient .

import asyncio
import os
from agent_framework.openai import OpenAIChatClient

async def main():
    agent = OpenAIChatClient(
        api_key="ollama",  # Placeholder, Ollama doesn't require an API key
        base_url=os.environ["OLLAMA_ENDPOINT"],
        model=os.environ["OLLAMA_MODEL"],
    ).as_agent(
        name="HelpfulAssistant",
        instructions="You are a helpful assistant running locally via Ollama.",
    )
    result = await agent.run("What is the largest city in France?")
    print(result)

asyncio.run(main())

İşlev Araçları

Yerel Ollama

import asyncio
from datetime import datetime
from agent_framework.ollama import OllamaChatClient

def get_time(location: str) -> str:
    """Get the current time."""
    return f"The current time in {location} is {datetime.now().strftime('%I:%M %p')}."

async def main():
    agent = OllamaChatClient().as_agent(
        name="TimeAgent",
        instructions="You are a helpful time agent.",
        tools=get_time,
    )
    result = await agent.run("What time is it in Seattle?")
    print(result)

asyncio.run(main())

OpenAI Uyumlu

import asyncio
import os
from datetime import datetime
from agent_framework.openai import OpenAIChatClient

def get_time(location: str) -> str:
    """Get the current time."""
    return f"The current time in {location} is {datetime.now().strftime('%I:%M %p')}."

async def main():
    agent = OpenAIChatClient(
        api_key="ollama",
        base_url=os.environ["OLLAMA_ENDPOINT"],
        model=os.environ["OLLAMA_MODEL"],
    ).as_agent(
        name="TimeAgent",
        instructions="You are a helpful time agent.",
        tools=get_time,
    )
    result = await agent.run("What time is it in Seattle?")
    print(result)

asyncio.run(main())

Yayın

async def streaming_example():
    agent = OllamaChatClient().as_agent(
        instructions="You are a helpful assistant.",
    )
    print("Agent: ", end="", flush=True)
    async for chunk in agent.run("Tell me about Python.", stream=True):
        if chunk.text:
            print(chunk.text, end="", flush=True)
    print()

Sonraki Adımlar

GitHub Yardımcı Pilotu