Ollama

Ollama позволяет локально запускать модели с открытым исходным кодом и использовать их с агентом Framework. Это идеально подходит для разработки, тестирования и сценариев, в которых необходимо хранить данные в локальной среде.

В следующем примере показано, как создать агент с помощью Ollama:

using System;
using Microsoft.Agents.AI;
using Microsoft.Extensions.AI;

// Create an Ollama agent using Microsoft.Extensions.AI.Ollama
// Requires: dotnet add package Microsoft.Extensions.AI.Ollama --prerelease
var chatClient = new OllamaChatClient(
    new Uri("http://localhost:11434"),
    modelId: "llama3.2");

AIAgent agent = chatClient.AsAIAgent(
    instructions: "You are a helpful assistant running locally via Ollama.");

Console.WriteLine(await agent.RunAsync("What is the largest city in France?"));

Замечание

Поддержка Python для Ollama доступна через API, совместимый с OpenAI. OpenAIChatClient Используйте настраиваемый базовый URL-адрес, указывающий на экземпляр Ollama.

Дальнейшие шаги

Обзор поставщиков