ONNX

ONNX Runtime GenAI, .NET Agent Framework uygulamasının uyumlu bir modeli yerel olarak çalıştırmasına olanak tanır. Bunu çevrimdışı geliştirme, cihaz içi çıkarım veya model yürütmenin konakta kalması gereken dağıtımlar için kullanın.

Uyarı

Geçerli ONNX istemcisi işlev çağrısını desteklemiyor. Aracıya geçirilen işlev araçları yoksayılır.

Prerequisites

• .NET 8 veya üzeri.
• ONNX Runtime GenAI için dışarı aktarılan bir model.
• Seçilen model için yeterli yerel bellek ve uyumlu bir yürütme sağlayıcısı.

Paketleri yükleme

dotnet add package Microsoft.ML.OnnxRuntimeGenAI
dotnet add package Microsoft.Agents.AI --prerelease

Configuration

ONNX_MODEL_PATH="<path-to-onnx-runtime-genai-model-directory>"

ONNX destekli aracı oluşturma

ONNX Runtime GenAI için dışarı aktarılan bir modeli indirin ve model dizinine gidin ONNX_MODEL_PATH .

// E.g. C:\repos\Phi-4-mini-instruct-onnx\cpu_and_mobile\cpu-int4-rtn-block-32-acc-level-4
var modelPath = Environment.GetEnvironmentVariable("ONNX_MODEL_PATH") ?? throw new InvalidOperationException("ONNX_MODEL_PATH is not set.");

// Get a chat client for ONNX and use it to construct an AIAgent.
using OnnxRuntimeGenAIChatClient chatClient = new(modelPath);
AIAgent agent = chatClient.AsAIAgent(instructions: "You are good at telling jokes.", name: "Joker");

// Invoke the agent and output the text result.
Console.WriteLine(await agent.RunAsync("Tell me a joke about a pirate."));

Model dosyaları, yürütme sağlayıcısı, niceleme ve kullanılabilir bellek, donanım uyumluluğunu ve performansını belirler. Yeniden dağıtmadan önce model lisansını gözden geçirin.

Tools

Geçerli ONNX istemcisi işlev çağrısını veya sağlayıcı tarafından barındırılan araçları desteklemez.

Sonraki Adımlar

Dapr