Ollama

Ollama umożliwia lokalne uruchamianie modeli typu open source i używanie ich z platformą Agent Framework. Jest to idealne rozwiązanie w przypadku programowania, testowania i scenariuszy, w których należy przechowywać dane lokalnie.

W poniższym przykładzie pokazano, jak utworzyć agenta przy użyciu narzędzia Ollama:

using System;
using Microsoft.Agents.AI;
using Microsoft.Extensions.AI;

// Create an Ollama agent using Microsoft.Extensions.AI.Ollama
// Requires: dotnet add package Microsoft.Extensions.AI.Ollama --prerelease
var chatClient = new OllamaChatClient(
    new Uri("http://localhost:11434"),
    modelId: "llama3.2");

AIAgent agent = chatClient.AsAIAgent(
    instructions: "You are a helpful assistant running locally via Ollama.");

Console.WriteLine(await agent.RunAsync("What is the largest city in France?"));

Uwaga / Notatka

Obsługa języka Python dla platformy Ollama jest dostępna za pośrednictwem interfejsu API zgodnego z interfejsem OpenAI. Użyj elementu OpenAIChatClient z niestandardowym podstawowym adresem URL wskazującym wystąpienie usługi Ollama.

Dalsze kroki

Omówienie dostawców