Ollama

Met Ollama kunt u opensource-modellen lokaal uitvoeren en gebruiken met Agent Framework. Dit is ideaal voor ontwikkeling, testen en scenario's waarbij u gegevens on-premises moet bewaren.

In het volgende voorbeeld ziet u hoe u een agent maakt met behulp van Ollama:

using System;
using Microsoft.Agents.AI;
using Microsoft.Extensions.AI;

// Create an Ollama agent using Microsoft.Extensions.AI.Ollama
// Requires: dotnet add package Microsoft.Extensions.AI.Ollama --prerelease
var chatClient = new OllamaChatClient(
    new Uri("http://localhost:11434"),
    modelId: "llama3.2");

AIAgent agent = chatClient.AsAIAgent(
    instructions: "You are a helpful assistant running locally via Ollama.");

Console.WriteLine(await agent.RunAsync("What is the largest city in France?"));

Opmerking

Python-ondersteuning voor Ollama is beschikbaar via de OpenAI-compatibele API. Gebruik de OpenAIChatClient met een aangepaste basis-URL die verwijst naar uw Ollama-exemplaar.

Volgende stappen

Overzicht van providers