Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
In diesem Lernprogramm erstellen Sie einen interaktiven Chat-Assistenten, der vollständig auf Ihrem Gerät ausgeführt wird. Der Assistent verwaltet den Unterhaltungskontext über mehrere Interaktionen hinweg. Er kann sich also daran erinnern, was Sie früher in der Unterhaltung diskutiert haben. Sie verwenden das Foundry Local SDK, um ein Modell auszuwählen, eine Systemaufforderung zu definieren und die Antworten Token für Token im Datenstrom zu übertragen.
In diesem Tutorial erfahren Sie, wie:
- Einrichten eines Projekts und Installieren des Foundry Local SDK
- Durchsuchen des Modellkatalogs und Auswählen eines Modells
- Definieren Sie eine Systemaufforderung zur Gestaltung des Verhaltens des Assistenten
- Implementieren einer mehrteiligen Unterhaltung mit Nachrichtenverlauf
- Streamingantworten für eine reagierende Benutzererfahrung
- Bereinigen von Ressourcen, wenn die Unterhaltung endet
Voraussetzungen
- Ein Windows, macOS oder Linux-Computer mit mindestens 8 GB RAM.
Beispielrepository
Den vollständigen Beispielcode für diesen Artikel finden Sie in den Foundry-Beispielen GitHub Repository. Um das Repository zu klonen und zum Beispielprojekt zu wechseln, verwenden Sie folgenden Befehl:
git clone https://github.com/microsoft-foundry/foundry-samples.git
cd foundry-samples/samples/csharp/foundry-local/tutorial-chat-assistant
Pakete installieren
dotnet add package Microsoft.AI.Foundry.Local
dotnet add package OpenAI
Die C#-Beispiele im GitHub Repository sind vorkonfigurierte Projekte. Wenn Sie von Grund auf neu erstellen, sollten Sie die Referenz zum Foundry Local SDK lesen, um weitere Details zum Einrichten Ihres C#-Projekts mit Foundry Local zu erhalten.
Durchsuchen des Katalogs und Auswählen eines Modells
Das Foundry Local SDK stellt einen Modellkatalog bereit, der alle verfügbaren Modelle auflistet. In diesem Schritt initialisieren Sie das SDK und wählen ein Modell für Ihren Chat-Assistenten aus.
öffnen Sie
Program.cs, und ersetzen Sie den Inhalt durch den folgenden Code, um das SDK zu initialisieren und ein Modell auszuwählen.CancellationToken ct = CancellationToken.None; var config = new Configuration { AppName = "foundry_local_samples", LogLevel = Microsoft.AI.Foundry.Local.LogLevel.Information }; using var loggerFactory = LoggerFactory.Create(builder => { builder.SetMinimumLevel(Microsoft.Extensions.Logging.LogLevel.Information); }); var logger = loggerFactory.CreateLogger<Program>(); // Initialize the singleton instance await FoundryLocalManager.CreateAsync(config, logger); var mgr = FoundryLocalManager.Instance; // Download and register all execution providers. var currentEp = ""; await mgr.DownloadAndRegisterEpsAsync((epName, percent) => { if (epName != currentEp) { if (currentEp != "") Console.WriteLine(); currentEp = epName; } Console.Write($"\r {epName.PadRight(30)} {percent,6:F1}%"); }); if (currentEp != "") Console.WriteLine(); // Select and load a model from the catalog var catalog = await mgr.GetCatalogAsync(); var model = await catalog.GetModelAsync("qwen2.5-0.5b") ?? throw new Exception("Model not found"); await model.DownloadAsync(progress => { Console.Write($"\rDownloading model: {progress:F2}%"); if (progress >= 100f) Console.WriteLine(); }); await model.LoadAsync(); Console.WriteLine("Model loaded and ready."); // Create one stateful native chat session for the conversation. using var chatSession = new ChatSession(model); chatSession.SetStreaming(true);Die Methode
GetModelAsyncakzeptiert einen Modellalias, bei dem es sich um einen kurzen Anzeigenamen handelt, der einem bestimmten Modell im Katalog zugeordnet ist. DieDownloadAsyncMethode ruft die Modellgewichtung in Den lokalen Cache ab undLoadAsyncmacht das Modell zur Ableitung bereit.
Definieren einer Systemaufforderung
Eine Systemaufforderung legt die Persönlichkeit und das Verhalten des Assistenten fest. Es ist die erste Nachricht im Unterhaltungsverlauf, und das Modell verweist darauf während der gesamten Unterhaltung.
Fügen Sie eine Systemaufforderung hinzu, um zu gestalten, wie der Assistent reagiert:
// Start the conversation with a system prompt
var systemPrompt = "You are a helpful, friendly assistant. Keep your responses " +
"concise and conversational. If you don't know something, say so.";
Tipp
Experimentieren Sie mit verschiedenen Systemaufforderungen, um das Verhalten des Assistenten zu ändern. Sie können sie beispielsweise anweisen, als Piraten, Lehrer oder Domänenexperte zu reagieren.
Implementieren einer mehrteiligen Unterhaltung
Ein Chat-Assistent muss den Kontext über mehrere Austausch hinweg pflegen. Sie erreichen dies, indem Sie eine Liste aller Nachrichten (System, Benutzer und Assistent) beibehalten und die vollständige Liste mit jeder Anforderung senden. Das Modell verwendet diesen Verlauf, um kontextbezogene Antworten zu generieren.
Fügen Sie eine Unterhaltungsschleife hinzu, die:
- Liest Benutzereingaben aus der Konsole.
- Fügt die Benutzernachricht an den Verlauf an.
- Sendet den vollständigen Verlauf an das Modell.
- Fügt die Antwort des Assistenten für den nächsten Durchgang zum Verlauf hinzu.
while (true)
{
Console.Write("You: ");
var userInput = Console.ReadLine();
if (string.IsNullOrWhiteSpace(userInput) ||
userInput.Equals("quit", StringComparison.OrdinalIgnoreCase) ||
userInput.Equals("exit", StringComparison.OrdinalIgnoreCase))
{
break;
}
using var request = new Request();
if (chatSession.TurnCount == 0)
{
request.AddItem(MessageItem.System(systemPrompt));
}
request.AddItem(MessageItem.User(userInput));
// Stream the response token by token
Console.Write("Assistant: ");
await using var streamingResponse = chatSession.ProcessStreamingRequestAsync(request, ct);
await foreach (var item in streamingResponse)
{
using (item)
{
if (item is TextItem { Type: TextItemType.Default } text)
{
Console.Write(text.Text);
Console.Out.Flush();
}
}
}
using var finalResponse = await streamingResponse.FinalResponse;
Console.WriteLine("\n");
}
Jeder Aufruf von CompleteChatAsync erhält den vollständigen Nachrichtenverlauf. Dies ist, wie das Modell "merkt sich" vorherige Wendungen – es speichert den Zustand nicht zwischen Aufrufen.
Hinzufügen von Streaming-Antworten
Streaming druckt jedes Token bei seiner Generierung, wodurch der Assistent einen reaktionsfähigeren Eindruck erweckt. Ersetzen Sie den Aufruf CompleteChatAsync durch CompleteChatStreamingAsync, um das Antworttoken nach und nach zu streamen.
Aktualisieren Sie die Gesprächsschleife zur Nutzung von Streaming.
// Stream the response token by token
Console.Write("Assistant: ");
await using var streamingResponse = chatSession.ProcessStreamingRequestAsync(request, ct);
await foreach (var item in streamingResponse)
{
using (item)
{
if (item is TextItem { Type: TextItemType.Default } text)
{
Console.Write(text.Text);
Console.Out.Flush();
}
}
}
using var finalResponse = await streamingResponse.FinalResponse;
Console.WriteLine("\n");
Die gestreamte Version sammelt die vollständige Antwort, damit sie nach Abschluss des Streams dem Gesprächsverlauf hinzugefügt werden kann.
Vollständiger Code
Ersetzen Sie den Inhalt von Program.cs durch den folgenden vollständigen Code:
using Microsoft.AI.Foundry.Local;
using Microsoft.Extensions.Logging;
CancellationToken ct = CancellationToken.None;
var config = new Configuration
{
AppName = "foundry_local_samples",
LogLevel = Microsoft.AI.Foundry.Local.LogLevel.Information
};
using var loggerFactory = LoggerFactory.Create(builder =>
{
builder.SetMinimumLevel(Microsoft.Extensions.Logging.LogLevel.Information);
});
var logger = loggerFactory.CreateLogger<Program>();
// Initialize the singleton instance
await FoundryLocalManager.CreateAsync(config, logger);
var mgr = FoundryLocalManager.Instance;
// Download and register all execution providers.
var currentEp = "";
await mgr.DownloadAndRegisterEpsAsync((epName, percent) =>
{
if (epName != currentEp)
{
if (currentEp != "") Console.WriteLine();
currentEp = epName;
}
Console.Write($"\r {epName.PadRight(30)} {percent,6:F1}%");
});
if (currentEp != "") Console.WriteLine();
// Select and load a model from the catalog
var catalog = await mgr.GetCatalogAsync();
var model = await catalog.GetModelAsync("qwen2.5-0.5b")
?? throw new Exception("Model not found");
await model.DownloadAsync(progress =>
{
Console.Write($"\rDownloading model: {progress:F2}%");
if (progress >= 100f) Console.WriteLine();
});
await model.LoadAsync();
Console.WriteLine("Model loaded and ready.");
// Create one stateful native chat session for the conversation.
using var chatSession = new ChatSession(model);
chatSession.SetStreaming(true);
// Start the conversation with a system prompt
var systemPrompt = "You are a helpful, friendly assistant. Keep your responses " +
"concise and conversational. If you don't know something, say so.";
Console.WriteLine("\nChat assistant ready! Type 'quit' to exit.\n");
while (true)
{
Console.Write("You: ");
var userInput = Console.ReadLine();
if (string.IsNullOrWhiteSpace(userInput) ||
userInput.Equals("quit", StringComparison.OrdinalIgnoreCase) ||
userInput.Equals("exit", StringComparison.OrdinalIgnoreCase))
{
break;
}
using var request = new Request();
if (chatSession.TurnCount == 0)
{
request.AddItem(MessageItem.System(systemPrompt));
}
request.AddItem(MessageItem.User(userInput));
// Stream the response token by token
Console.Write("Assistant: ");
await using var streamingResponse = chatSession.ProcessStreamingRequestAsync(request, ct);
await foreach (var item in streamingResponse)
{
using (item)
{
if (item is TextItem { Type: TextItemType.Default } text)
{
Console.Write(text.Text);
Console.Out.Flush();
}
}
}
using var finalResponse = await streamingResponse.FinalResponse;
Console.WriteLine("\n");
}
// Clean up - unload the model
chatSession.Dispose();
await model.UnloadAsync();
Console.WriteLine("Model unloaded. Goodbye!");
Führen Sie den Chat-Assistenten aus:
dotnet run
Es wird eine ähnliche Ausgabe angezeigt wie:
Downloading model: 100.00%
Model loaded and ready.
Chat assistant ready! Type 'quit' to exit.
You: What is photosynthesis?
Assistant: Photosynthesis is the process plants use to convert sunlight, water, and carbon
dioxide into glucose and oxygen. It mainly happens in the leaves, inside structures
called chloroplasts.
You: Why is it important for other living things?
Assistant: It's essential because photosynthesis produces the oxygen that most living things
breathe. It also forms the base of the food chain — animals eat plants or eat other
animals that depend on plants for energy.
You: quit
Model unloaded. Goodbye!
Beachten Sie, wie sich der Assistent aus früheren Wendungen an den Kontext erinnert – wenn Sie fragen, "Warum ist es wichtig für andere Lebewesen?", weiß es, dass Sie immer noch über Photosynthese sprechen.
Beispielrepository
Der vollständige Beispielcode für diesen Artikel ist in den Gießereibeispielen GitHub Repository verfügbar. So klonen Sie das Repository, und navigieren Sie zur Beispielverwendung:
git clone https://github.com/microsoft-foundry/foundry-samples.git
cd foundry-samples/samples/javascript/foundry-local/tutorial-chat-assistant
Pakete installieren
npm install foundry-local-sdk openai
Durchsuchen des Katalogs und Auswählen eines Modells
Das Foundry Local SDK stellt einen Modellkatalog bereit, der alle verfügbaren Modelle auflistet. In diesem Schritt initialisieren Sie das SDK und wählen ein Modell für Ihren Chat-Assistenten aus.
Erstellen Sie eine Datei namens
index.js.Fügen Sie den folgenden Code hinzu, um das SDK zu initialisieren und ein Modell auszuwählen:
// Initialize the Foundry Local SDK const manager = FoundryLocalManager.create({ appName: 'foundry_local_samples', logLevel: 'info' }); // Download and register all execution providers. let currentEp = ''; await manager.downloadAndRegisterEps((epName, percent) => { if (epName !== currentEp) { if (currentEp !== '') process.stdout.write('\n'); currentEp = epName; } process.stdout.write(`\r ${epName.padEnd(30)} ${percent.toFixed(1).padStart(5)}%`); }); if (currentEp !== '') process.stdout.write('\n'); // Select and load a model from the catalog const model = await manager.catalog.getModel('qwen2.5-0.5b'); await model.download((progress) => { process.stdout.write(`\rDownloading model: ${progress.toFixed(2)}%`); }); console.log('\nModel downloaded.'); await model.load(); console.log('Model loaded and ready.'); // Create a stateful native chat session const chatSession = new ChatSession(model); chatSession.setOptions({ search: { temperature: 0.7, maxOutputTokens: 512 } });Die Methode
getModelakzeptiert einen Modellalias, bei dem es sich um einen kurzen Anzeigenamen handelt, der einem bestimmten Modell im Katalog zugeordnet ist. DiedownloadMethode ruft die Modellgewichtung in Den lokalen Cache ab undloadmacht das Modell zur Ableitung bereit.
Definieren einer Systemaufforderung
Eine Systemaufforderung legt die Persönlichkeit und das Verhalten des Assistenten fest. Es ist die erste Nachricht im Unterhaltungsverlauf, und das Modell verweist darauf während der gesamten Unterhaltung.
Fügen Sie eine Systemaufforderung hinzu, um zu gestalten, wie der Assistent reagiert:
// Start the conversation with a system prompt
const systemPrompt =
'You are a helpful, friendly assistant. Keep your responses ' +
'concise and conversational. If you don\'t know something, say so.';
let firstTurn = true;
Tipp
Experimentieren Sie mit verschiedenen Systemaufforderungen, um das Verhalten des Assistenten zu ändern. Sie können sie beispielsweise anweisen, als Piraten, Lehrer oder Domänenexperte zu reagieren.
Implementieren einer mehrteiligen Unterhaltung
Ein Chat-Assistent muss den Kontext über mehrere Austausch hinweg pflegen. Sie erreichen dies, indem Sie eine Liste aller Nachrichten (System, Benutzer und Assistent) beibehalten und die vollständige Liste mit jeder Anforderung senden. Das Modell verwendet diesen Verlauf, um kontextbezogene Antworten zu generieren.
Fügen Sie eine Unterhaltungsschleife hinzu, die:
- Liest Benutzereingaben aus der Konsole.
- Fügt die Benutzernachricht an den Verlauf an.
- Sendet den vollständigen Verlauf an das Modell.
- Fügt die Antwort des Assistenten für den nächsten Durchgang zum Verlauf hinzu.
while (true) {
const userInput = await askQuestion('You: ');
if (userInput.trim().toLowerCase() === 'quit' ||
userInput.trim().toLowerCase() === 'exit') {
break;
}
const request = new Request();
if (firstTurn) {
request.addItem(Item.systemMessage(systemPrompt));
firstTurn = false;
}
request.addItem(Item.userMessage(userInput));
// Stream the response token by token
process.stdout.write('Assistant: ');
const stream = chatSession.processStreamingRequest(request);
for await (const item of stream) {
if (item.type === 'text' && item.textType === 'default') {
process.stdout.write(item.text);
}
}
await stream.response;
console.log('\n');
}
Jeder Aufruf von completeChat erhält den vollständigen Nachrichtenverlauf. Dies ist, wie das Modell "merkt sich" vorherige Wendungen – es speichert den Zustand nicht zwischen Aufrufen.
Hinzufügen von Streaming-Antworten
Streaming druckt jedes Token bei seiner Generierung, wodurch der Assistent einen reaktionsfähigeren Eindruck erweckt. Ersetzen Sie den Aufruf completeChat durch completeStreamingChat, um das Antworttoken nach und nach zu streamen.
Aktualisieren Sie die Gesprächsschleife zur Nutzung von Streaming.
// Stream the response token by token
process.stdout.write('Assistant: ');
const stream = chatSession.processStreamingRequest(request);
for await (const item of stream) {
if (item.type === 'text' && item.textType === 'default') {
process.stdout.write(item.text);
}
}
await stream.response;
console.log('\n');
Die gestreamte Version sammelt die vollständige Antwort, damit sie nach Abschluss des Streams dem Gesprächsverlauf hinzugefügt werden kann.
Vollständiger Code
Erstellen Sie eine Datei mit dem Namen index.js , und fügen Sie den folgenden vollständigen Code hinzu:
import {
ChatSession,
FoundryLocalManager,
Item,
Request
} from 'foundry-local-sdk';
import * as readline from 'readline';
// Initialize the Foundry Local SDK
const manager = FoundryLocalManager.create({
appName: 'foundry_local_samples',
logLevel: 'info'
});
// Download and register all execution providers.
let currentEp = '';
await manager.downloadAndRegisterEps((epName, percent) => {
if (epName !== currentEp) {
if (currentEp !== '') process.stdout.write('\n');
currentEp = epName;
}
process.stdout.write(`\r ${epName.padEnd(30)} ${percent.toFixed(1).padStart(5)}%`);
});
if (currentEp !== '') process.stdout.write('\n');
// Select and load a model from the catalog
const model = await manager.catalog.getModel('qwen2.5-0.5b');
await model.download((progress) => {
process.stdout.write(`\rDownloading model: ${progress.toFixed(2)}%`);
});
console.log('\nModel downloaded.');
await model.load();
console.log('Model loaded and ready.');
// Create a stateful native chat session
const chatSession = new ChatSession(model);
chatSession.setOptions({
search: { temperature: 0.7, maxOutputTokens: 512 }
});
// Start the conversation with a system prompt
const systemPrompt =
'You are a helpful, friendly assistant. Keep your responses ' +
'concise and conversational. If you don\'t know something, say so.';
let firstTurn = true;
// Set up readline for console input
const rl = readline.createInterface({
input: process.stdin,
output: process.stdout
});
const askQuestion = (prompt) => new Promise((resolve) => {
if (rl.closed) return resolve('quit');
const onClose = () => resolve('quit');
rl.once('close', onClose);
try {
rl.question(prompt, (answer) => {
rl.off('close', onClose);
resolve(answer);
});
} catch {
rl.off('close', onClose);
resolve('quit');
}
});
console.log('\nChat assistant ready! Type \'quit\' to exit.\n');
while (true) {
const userInput = await askQuestion('You: ');
if (userInput.trim().toLowerCase() === 'quit' ||
userInput.trim().toLowerCase() === 'exit') {
break;
}
const request = new Request();
if (firstTurn) {
request.addItem(Item.systemMessage(systemPrompt));
firstTurn = false;
}
request.addItem(Item.userMessage(userInput));
// Stream the response token by token
process.stdout.write('Assistant: ');
const stream = chatSession.processStreamingRequest(request);
for await (const item of stream) {
if (item.type === 'text' && item.textType === 'default') {
process.stdout.write(item.text);
}
}
await stream.response;
console.log('\n');
}
// Clean up - unload the model
chatSession.dispose();
await model.unload();
console.log('Model unloaded. Goodbye!');
rl.close();
Führen Sie den Chat-Assistenten aus:
node index.js
Es wird eine ähnliche Ausgabe angezeigt wie:
Downloading model: 100.00%
Model downloaded.
Model loaded and ready.
Chat assistant ready! Type 'quit' to exit.
You: What is photosynthesis?
Assistant: Photosynthesis is the process plants use to convert sunlight, water, and carbon
dioxide into glucose and oxygen. It mainly happens in the leaves, inside structures
called chloroplasts.
You: Why is it important for other living things?
Assistant: It's essential because photosynthesis produces the oxygen that most living things
breathe. It also forms the base of the food chain — animals eat plants or eat other
animals that depend on plants for energy.
You: quit
Model unloaded. Goodbye!
Beachten Sie, wie sich der Assistent aus früheren Wendungen an den Kontext erinnert – wenn Sie fragen, "Warum ist es wichtig für andere Lebewesen?", weiß es, dass Sie immer noch über Photosynthese sprechen.
Beispielrepository
Der vollständige Beispielcode für diesen Artikel ist in den Gießereibeispielen GitHub Repository verfügbar. So klonen Sie das Repository, und navigieren Sie zur Beispielverwendung:
git clone https://github.com/microsoft-foundry/foundry-samples.git
cd foundry-samples/samples/python/foundry-local/tutorial-chat-assistant
Pakete installieren
pip install foundry-local-sdk openai
Durchsuchen des Katalogs und Auswählen eines Modells
Das Foundry Local SDK stellt einen Modellkatalog bereit, der alle verfügbaren Modelle auflistet. In diesem Schritt initialisieren Sie das SDK und wählen ein Modell für Ihren Chat-Assistenten aus.
Erstellen Sie eine Datei namens
main.py.Fügen Sie den folgenden Code hinzu, um das SDK zu initialisieren und ein Modell auszuwählen:
# Initialize the Foundry Local SDK config = Configuration(app_name="foundry_local_samples") FoundryLocalManager.initialize(config) manager = FoundryLocalManager.instance # Discover and register execution providers that are not already available. missing_eps = [ep.name for ep in manager.discover_eps() if not ep.is_registered] if missing_eps: manager.download_and_register_eps(missing_eps) # Select and load a model from the catalog. model = manager.catalog.get_model("qwen2.5-0.5b") if model is None: raise RuntimeError("Model 'qwen2.5-0.5b' was not found in the catalog.") if not model.is_cached: model.download( lambda progress: print( f"\rDownloading model: {progress:.2f}%", end="", flush=True ) ) print() model.load() print("Model loaded and ready.")Die Methode
get_modelakzeptiert einen Modellalias, bei dem es sich um einen kurzen Anzeigenamen handelt, der einem bestimmten Modell im Katalog zugeordnet ist. DiedownloadMethode ruft die Modellgewichtung in Den lokalen Cache ab undloadmacht das Modell zur Ableitung bereit.
Definieren einer Systemaufforderung
Eine Systemaufforderung legt die Persönlichkeit und das Verhalten des Assistenten fest. Es ist die erste Nachricht im Unterhaltungsverlauf, und das Modell verweist darauf während der gesamten Unterhaltung.
Fügen Sie eine Systemaufforderung hinzu, um zu gestalten, wie der Assistent reagiert:
# Start the conversation with a system prompt.
system_prompt = (
"You are a helpful, friendly assistant. Keep your responses "
"concise and conversational. If you don't know something, say so."
)
Tipp
Experimentieren Sie mit verschiedenen Systemaufforderungen, um das Verhalten des Assistenten zu ändern. Sie können sie beispielsweise anweisen, als Piraten, Lehrer oder Domänenexperte zu reagieren.
Implementieren einer mehrteiligen Unterhaltung
Ein Chat-Assistent muss den Kontext über mehrere Austausch hinweg pflegen. Sie erreichen dies, indem Sie eine Liste aller Nachrichten (System, Benutzer und Assistent) beibehalten und die vollständige Liste mit jeder Anforderung senden. Das Modell verwendet diesen Verlauf, um kontextbezogene Antworten zu generieren.
Fügen Sie eine Unterhaltungsschleife hinzu, die:
- Liest Benutzereingaben aus der Konsole.
- Fügt die Benutzernachricht an den Verlauf an.
- Sendet den vollständigen Verlauf an das Modell.
- Fügt die Antwort des Assistenten für den nächsten Durchgang zum Verlauf hinzu.
while True:
user_input = input("You: ")
if user_input.strip().lower() in ("quit", "exit"):
break
# The stateful session retains earlier turns automatically.
with Request() as request:
if first_turn:
request.add_item(MessageItem.system(system_prompt))
first_turn = False
request.add_item(MessageItem.user(user_input))
print("Assistant: ", end="", flush=True)
with session.process_streaming_request(request) as stream:
for item in stream:
if (
isinstance(item, TextItem)
and item.type == TextItemType.DEFAULT
):
print(item.text, end="", flush=True)
print("\n")
Jeder Aufruf von complete_chat erhält den vollständigen Nachrichtenverlauf. Dies ist, wie das Modell "merkt sich" vorherige Wendungen – es speichert den Zustand nicht zwischen Aufrufen.
Hinzufügen von Streaming-Antworten
Streaming druckt jedes Token bei seiner Generierung, wodurch der Assistent einen reaktionsfähigeren Eindruck erweckt. Ersetzen Sie den Aufruf complete_chat durch complete_streaming_chat, um das Antworttoken nach und nach zu streamen.
Aktualisieren Sie die Gesprächsschleife zur Nutzung von Streaming.
# The stateful session retains earlier turns automatically.
with Request() as request:
if first_turn:
request.add_item(MessageItem.system(system_prompt))
first_turn = False
request.add_item(MessageItem.user(user_input))
print("Assistant: ", end="", flush=True)
with session.process_streaming_request(request) as stream:
for item in stream:
if (
isinstance(item, TextItem)
and item.type == TextItemType.DEFAULT
):
print(item.text, end="", flush=True)
print("\n")
Die gestreamte Version sammelt die vollständige Antwort, damit sie nach Abschluss des Streams dem Gesprächsverlauf hinzugefügt werden kann.
Vollständiger Code
Erstellen Sie eine Datei mit dem Namen main.py , und fügen Sie den folgenden vollständigen Code hinzu:
from foundry_local_sdk import (
ChatSession,
Configuration,
FoundryLocalManager,
MessageItem,
Request,
RequestOptions,
SearchOptions,
TextItem,
TextItemType,
)
def main():
# Initialize the Foundry Local SDK
config = Configuration(app_name="foundry_local_samples")
FoundryLocalManager.initialize(config)
manager = FoundryLocalManager.instance
# Discover and register execution providers that are not already available.
missing_eps = [ep.name for ep in manager.discover_eps() if not ep.is_registered]
if missing_eps:
manager.download_and_register_eps(missing_eps)
# Select and load a model from the catalog.
model = manager.catalog.get_model("qwen2.5-0.5b")
if model is None:
raise RuntimeError("Model 'qwen2.5-0.5b' was not found in the catalog.")
if not model.is_cached:
model.download(
lambda progress: print(
f"\rDownloading model: {progress:.2f}%", end="", flush=True
)
)
print()
model.load()
print("Model loaded and ready.")
try:
# Start the conversation with a system prompt.
system_prompt = (
"You are a helpful, friendly assistant. Keep your responses "
"concise and conversational. If you don't know something, say so."
)
print("\nChat assistant ready! Type 'quit' to exit.\n")
with ChatSession(model) as session:
session.set_options(
RequestOptions(
search=SearchOptions(temperature=0.7, max_output_tokens=512)
)
)
session.set_streaming(True)
first_turn = True
while True:
user_input = input("You: ")
if user_input.strip().lower() in ("quit", "exit"):
break
# The stateful session retains earlier turns automatically.
with Request() as request:
if first_turn:
request.add_item(MessageItem.system(system_prompt))
first_turn = False
request.add_item(MessageItem.user(user_input))
print("Assistant: ", end="", flush=True)
with session.process_streaming_request(request) as stream:
for item in stream:
if (
isinstance(item, TextItem)
and item.type == TextItemType.DEFAULT
):
print(item.text, end="", flush=True)
print("\n")
finally:
# Clean up - unload the model
if model.is_loaded:
model.unload()
manager.close()
print("Model unloaded. Goodbye!")
if __name__ == "__main__":
main()
Führen Sie den Chat-Assistenten aus:
python main.py
Es wird eine ähnliche Ausgabe angezeigt wie:
Downloading model: 100.00%
Model loaded and ready.
Chat assistant ready! Type 'quit' to exit.
You: What is photosynthesis?
Assistant: Photosynthesis is the process plants use to convert sunlight, water, and carbon
dioxide into glucose and oxygen. It mainly happens in the leaves, inside structures
called chloroplasts.
You: Why is it important for other living things?
Assistant: It's essential because photosynthesis produces the oxygen that most living things
breathe. It also forms the base of the food chain — animals eat plants or eat other
animals that depend on plants for energy.
You: quit
Model unloaded. Goodbye!
Beachten Sie, wie sich der Assistent aus früheren Wendungen an den Kontext erinnert – wenn Sie fragen, "Warum ist es wichtig für andere Lebewesen?", weiß es, dass Sie immer noch über Photosynthese sprechen.
Beispielrepository
Der vollständige Beispielcode für diesen Artikel ist in den Gießereibeispielen GitHub Repository verfügbar. So klonen Sie das Repository, und navigieren Sie zur Beispielverwendung:
git clone https://github.com/microsoft-foundry/foundry-samples.git
cd foundry-samples/samples/rust/foundry-local/tutorial-chat-assistant
Pakete installieren
cargo add foundry-local-sdk
cargo add tokio --features full
cargo add tokio-stream anyhow
Durchsuchen des Katalogs und Auswählen eines Modells
Das Foundry Local SDK stellt einen Modellkatalog bereit, der alle verfügbaren Modelle auflistet. In diesem Schritt initialisieren Sie das SDK und wählen ein Modell für Ihren Chat-Assistenten aus.
öffnen Sie
src/main.rs, und ersetzen Sie den Inhalt durch den folgenden Code, um das SDK zu initialisieren und ein Modell auszuwählen.// Initialize the Foundry Local SDK let manager = FoundryLocalManager::create(FoundryLocalConfig::new("foundry_local_samples"))?; manager .download_and_register_eps_with_progress(None, { let mut current_ep = String::new(); move |ep_name: &str, percent: f64| { if ep_name != current_ep { if !current_ep.is_empty() { println!(); } current_ep = ep_name.to_string(); } print!("\r {ep_name:<30} {percent:5.1}%"); io::stdout().flush().ok(); } }) .await?; println!(); let model = manager.catalog().get_model("qwen2.5-0.5b").await?; if !model.is_cached().await? { println!("Downloading model..."); model .download(Some(|progress: f64| { print!("\r {progress:.1}%"); io::stdout().flush().ok(); })) .await?; println!(); } model.load().await?; let session = ChatSession::new(&model).await?; session .set_options(RequestOptions { search: SearchOptions { temperature: Some(0.7), max_output_tokens: Some(512), ..Default::default() }, ..Default::default() }) .await?; println!("Model loaded and ready.");Die Methode
get_modelakzeptiert einen Modellalias, bei dem es sich um einen kurzen Anzeigenamen handelt, der einem bestimmten Modell im Katalog zugeordnet ist. DiedownloadMethode ruft die Modellgewichtung in Den lokalen Cache ab undloadmacht das Modell zur Ableitung bereit.
Definieren einer Systemaufforderung
Eine Systemaufforderung legt die Persönlichkeit und das Verhalten des Assistenten fest. Es ist die erste Nachricht im Unterhaltungsverlauf, und das Modell verweist darauf während der gesamten Unterhaltung.
Fügen Sie eine Systemaufforderung hinzu, um zu gestalten, wie der Assistent reagiert:
let system_prompt = "You are a helpful, friendly assistant. Keep your responses concise and \
conversational. If you don't know something, say so.";
Tipp
Experimentieren Sie mit verschiedenen Systemaufforderungen, um das Verhalten des Assistenten zu ändern. Sie können sie beispielsweise anweisen, als Piraten, Lehrer oder Domänenexperte zu reagieren.
Implementieren einer mehrteiligen Unterhaltung
Ein Chat-Assistent muss den Kontext über mehrere Austausch hinweg pflegen. Sie erreichen dies, indem Sie einen Vektor aller Nachrichten (System, Benutzer und Assistent) beibehalten und die vollständige Liste mit jeder Anforderung senden. Das Modell verwendet diesen Verlauf, um kontextbezogene Antworten zu generieren.
Fügen Sie eine Unterhaltungsschleife hinzu, die:
- Liest Benutzereingaben aus der Konsole.
- Fügt die Benutzernachricht an den Verlauf an.
- Sendet den vollständigen Verlauf an das Modell.
- Fügt die Antwort des Assistenten für den nächsten Durchgang zum Verlauf hinzu.
loop {
print!("You: ");
io::stdout().flush()?;
let mut input = String::new();
stdin.lock().read_line(&mut input)?;
let input = input.trim();
if input.eq_ignore_ascii_case("quit") || input.eq_ignore_ascii_case("exit") {
break;
}
if input.is_empty() {
continue;
}
let mut items = Vec::new();
if session.turn_count() == 0 {
items.push(Item::system_message(vec![Item::text(system_prompt)]));
}
items.push(Item::user_message(vec![Item::text(input)]));
print!("Assistant: ");
io::stdout().flush()?;
let mut stream = session.process_streaming_request(Request::from_items(items));
while let Some(item) = stream.next().await {
if let Item::Text {
text,
kind: TextKind::Default,
} = item?
{
print!("{text}");
io::stdout().flush()?;
}
}
println!("\n");
}
Jeder Aufruf von complete_chat erhält den vollständigen Nachrichtenverlauf. Dies ist, wie das Modell "merkt sich" vorherige Wendungen – es speichert den Zustand nicht zwischen Aufrufen.
Hinzufügen von Streaming-Antworten
Streaming druckt jedes Token bei seiner Generierung, wodurch der Assistent einen reaktionsfähigeren Eindruck erweckt. Ersetzen Sie den Aufruf complete_chat durch complete_streaming_chat, um das Antworttoken nach und nach zu streamen.
Aktualisieren Sie die Gesprächsschleife zur Nutzung von Streaming.
print!("Assistant: ");
io::stdout().flush()?;
let mut stream = session.process_streaming_request(Request::from_items(items));
while let Some(item) = stream.next().await {
if let Item::Text {
text,
kind: TextKind::Default,
} = item?
{
print!("{text}");
io::stdout().flush()?;
}
}
println!("\n");
Die gestreamte Version sammelt die vollständige Antwort, damit sie nach Abschluss des Streams dem Gesprächsverlauf hinzugefügt werden kann.
Vollständiger Code
Ersetzen Sie den Inhalt von src/main.rs durch den folgenden vollständigen Code:
use foundry_local_sdk::{
ChatSession, FoundryLocalConfig, FoundryLocalManager, Item, Request, RequestOptions,
SearchOptions, TextKind,
};
use std::io::{self, BufRead, Write};
use tokio_stream::StreamExt;
#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
// Initialize the Foundry Local SDK
let manager = FoundryLocalManager::create(FoundryLocalConfig::new("foundry_local_samples"))?;
manager
.download_and_register_eps_with_progress(None, {
let mut current_ep = String::new();
move |ep_name: &str, percent: f64| {
if ep_name != current_ep {
if !current_ep.is_empty() {
println!();
}
current_ep = ep_name.to_string();
}
print!("\r {ep_name:<30} {percent:5.1}%");
io::stdout().flush().ok();
}
})
.await?;
println!();
let model = manager.catalog().get_model("qwen2.5-0.5b").await?;
if !model.is_cached().await? {
println!("Downloading model...");
model
.download(Some(|progress: f64| {
print!("\r {progress:.1}%");
io::stdout().flush().ok();
}))
.await?;
println!();
}
model.load().await?;
let session = ChatSession::new(&model).await?;
session
.set_options(RequestOptions {
search: SearchOptions {
temperature: Some(0.7),
max_output_tokens: Some(512),
..Default::default()
},
..Default::default()
})
.await?;
println!("Model loaded and ready.");
let system_prompt = "You are a helpful, friendly assistant. Keep your responses concise and \
conversational. If you don't know something, say so.";
println!("\nChat assistant ready! Type 'quit' to exit.\n");
let stdin = io::stdin();
loop {
print!("You: ");
io::stdout().flush()?;
let mut input = String::new();
stdin.lock().read_line(&mut input)?;
let input = input.trim();
if input.eq_ignore_ascii_case("quit") || input.eq_ignore_ascii_case("exit") {
break;
}
if input.is_empty() {
continue;
}
let mut items = Vec::new();
if session.turn_count() == 0 {
items.push(Item::system_message(vec![Item::text(system_prompt)]));
}
items.push(Item::user_message(vec![Item::text(input)]));
print!("Assistant: ");
io::stdout().flush()?;
let mut stream = session.process_streaming_request(Request::from_items(items));
while let Some(item) = stream.next().await {
if let Item::Text {
text,
kind: TextKind::Default,
} = item?
{
print!("{text}");
io::stdout().flush()?;
}
}
println!("\n");
}
drop(session);
model.unload().await?;
println!("Model unloaded. Goodbye!");
Ok(())
}
Führen Sie den Chat-Assistenten aus:
cargo run
Es wird eine ähnliche Ausgabe angezeigt wie:
Downloading model: 100.00%
Model loaded and ready.
Chat assistant ready! Type 'quit' to exit.
You: What is photosynthesis?
Assistant: Photosynthesis is the process plants use to convert sunlight, water, and carbon
dioxide into glucose and oxygen. It mainly happens in the leaves, inside structures
called chloroplasts.
You: Why is it important for other living things?
Assistant: It's essential because photosynthesis produces the oxygen that most living things
breathe. It also forms the base of the food chain — animals eat plants or eat other
animals that depend on plants for energy.
You: quit
Model unloaded. Goodbye!
Beachten Sie, wie sich der Assistent aus früheren Wendungen an den Kontext erinnert – wenn Sie fragen, "Warum ist es wichtig für andere Lebewesen?", weiß es, dass Sie immer noch über Photosynthese sprechen.
Beispielrepository
Klonen Sie das GitHub-Repository mit den Foundry-Beispielen und wechseln Sie zum C++-Beispiel:
git clone https://github.com/microsoft-foundry/foundry-samples.git
cd foundry-samples/samples/cpp/foundry-local/tutorial-chat-assistant
Pakete installieren
Für die C++-Beispiele ist Folgendes erforderlich:
Konfigurieren und erstellen Sie das Beispiel:
cmake -S . -B build
cmake --build build --config Release
Während der Konfiguration stellt das Beispiel Version 2.2.1 des Microsoft.AI.Foundry.Local.Runtime NuGet-Pakets unter build/_packages wieder her. Das Paket enthält die C++-Header und systemeigene Bibliotheken für Windows, Linux und macOS. Sie benötigen kein separates WinML-Paket.
Die CMake-Konfiguration wählt die Laufzeitressourcen für Ihr Betriebssystem und die Architektur aus und kopiert die erforderlichen nativen Bibliotheken neben der ausführbaren Datei. Führen Sie unter macOS und Linux die ausführbare Datei aus build aus. Führen Sie unter Windows die .exe-Datei aus build aus.
Durchsuchen des Katalogs und Auswählen eines Modells
Initialisieren Sie das SDK, wählen Sie ein KI-Modell aus dem Katalog aus, laden Sie es herunter und laden Sie es:
Configuration config("foundry_local_cpp_tutorial_chat");
Manager manager(std::move(config));
auto model = SelectChatModel(manager.GetCatalog());
if (!model) {
throw std::runtime_error("No supported CPU chat model was found.");
}
if (!model->IsCached()) {
model->Download([](float progress) {
std::cout << "\rDownloading model: " << static_cast<int>(progress) << "%" << std::flush;
return 0;
});
std::cout << "\n";
}
model->Load();
Definieren einer Systemaufforderung
Fügen Sie eine Systemaufforderung hinzu, um zu gestalten, wie der Assistent reagiert:
Request system_prompt{
SystemMessage(
"You are a concise, friendly local assistant. State when you are unsure."),
};
session.ProcessRequest(system_prompt);
Implementieren einer mehrteiligen Unterhaltung
Verwalten Sie den Konversationsverlauf und senden Sie ihn mit jeder Anfrage:
std::cout << "Enter a message, or type 'exit'.\n";
for (std::string input; std::cout << "You: " && std::getline(std::cin, input);) {
if (input == "exit" || input == "quit") {
break;
}
if (input.empty()) {
continue;
}
EnableStreaming(session);
Request request{UserMessage(input)};
std::cout << "Assistant: ";
session.ProcessRequest(request);
std::cout << "\n";
}
Hinzufügen von Streaming-Antworten
Stream-Antworttext, während das Modell ihn generiert:
void EnableStreaming(ChatSession& session) {
session.SetStreamingCallback([](Item item) {
if (item.GetType() == FOUNDRY_LOCAL_ITEM_TEXT &&
item.GetText().type == FOUNDRY_LOCAL_TEXT_ITEM_TYPE_DEFAULT) {
std::cout << item.GetText().text << std::flush;
}
return 0;
});
}
Vollständiger Code
#include <foundry_local/foundry_local_cpp.h>
#include <iostream>
#include <memory>
#include <string>
using namespace foundry_local;
std::unique_ptr<IModel> SelectChatModel(ICatalog& catalog) {
for (const std::string alias : {"qwen2.5-0.5b", "qwen3.5-0.8b"}) {
auto model = catalog.GetModel(alias);
if (!model) {
continue;
}
for (const auto& variant : model->GetVariants()) {
const auto info = variant->GetInfo();
if (info.DeviceType() == FOUNDRY_LOCAL_DEVICE_CPU &&
(info.Task() == "chat-completion" || info.Task() == "coding")) {
model->SelectVariant(*variant);
return model;
}
}
}
return nullptr;
}
void EnableStreaming(ChatSession& session);
int main() {
try {
Configuration config("foundry_local_cpp_tutorial_chat");
Manager manager(std::move(config));
auto model = SelectChatModel(manager.GetCatalog());
if (!model) {
throw std::runtime_error("No supported CPU chat model was found.");
}
if (!model->IsCached()) {
model->Download([](float progress) {
std::cout << "\rDownloading model: " << static_cast<int>(progress) << "%" << std::flush;
return 0;
});
std::cout << "\n";
}
model->Load();
{
ChatSession session(*model);
session.SetOptions({
.search = {.temperature = 0.2F, .max_output_tokens = 512, .seed = 42},
});
Request system_prompt{
SystemMessage(
"You are a concise, friendly local assistant. State when you are unsure."),
};
session.ProcessRequest(system_prompt);
std::cout << "Enter a message, or type 'exit'.\n";
for (std::string input; std::cout << "You: " && std::getline(std::cin, input);) {
if (input == "exit" || input == "quit") {
break;
}
if (input.empty()) {
continue;
}
EnableStreaming(session);
Request request{UserMessage(input)};
std::cout << "Assistant: ";
session.ProcessRequest(request);
std::cout << "\n";
}
}
model->Unload();
manager.Shutdown();
} catch (const Error& error) {
std::cerr << "Foundry Local error [" << error.Code() << "]: " << error.what() << "\n";
return 1;
} catch (const std::exception& error) {
std::cerr << "Error: " << error.what() << "\n";
return 1;
}
return 0;
}
void EnableStreaming(ChatSession& session) {
session.SetStreamingCallback([](Item item) {
if (item.GetType() == FOUNDRY_LOCAL_ITEM_TEXT &&
item.GetText().type == FOUNDRY_LOCAL_TEXT_ITEM_TYPE_DEFAULT) {
std::cout << item.GetText().text << std::flush;
}
return 0;
});
}
Führen Sie den Chat-Assistenten aus:
./build/tutorial-chat-assistant
Bereinigen von Ressourcen
Die Gewichtungen des Modells verbleiben im lokalen Cache, nachdem Sie ein Modell entladen haben. Dies bedeutet, dass beim nächsten Ausführen der Anwendung der Downloadschritt übersprungen wird und das Modell schneller geladen wird. Es ist keine zusätzliche Bereinigung erforderlich, es sei denn, Sie möchten Speicherplatz freigeben.