다음을 통해 공유

Ollama

Ollama를 사용하면 오픈 소스 모델을 로컬로 실행하고 에이전트 프레임워크와 함께 사용할 수 있습니다. 온-프레미스 데이터를 유지해야 하는 개발, 테스트 및 시나리오에 적합합니다.

다음 예제에서는 Ollama를 사용하여 에이전트를 만드는 방법을 보여줍니다.

using System;
using Microsoft.Agents.AI;
using Microsoft.Extensions.AI;

// Create an Ollama agent using Microsoft.Extensions.AI.Ollama
// Requires: dotnet add package Microsoft.Extensions.AI.Ollama --prerelease
var chatClient = new OllamaChatClient(
    new Uri("http://localhost:11434"),
    modelId: "llama3.2");

AIAgent agent = chatClient.AsAIAgent(
    instructions: "You are a helpful assistant running locally via Ollama.");

Console.WriteLine(await agent.RunAsync("What is the largest city in France?"));

비고

Ollama에 대한 Python 지원은 OpenAI 호환 API를 통해 사용할 수 있습니다. OpenAIChatClient Ollama 인스턴스를 가리키는 사용자 지정 기본 URL과 함께 사용합니다.

다음 단계:

공급자 개요

  • Last updated on