LLM-Tool

2025-05-19

Mit dem Tool für große Sprachmodelle (LLM) im Eingabeaufforderungsfluss können Sie häufig verwendete große Sprachmodelle wie OpenAI oder Azure OpenAI in Azure AI Foundry Models oder jedes von der Azure AI-Modellinference-API unterstützte Sprachmodell für die Verarbeitung natürlicher Sprachen nutzen.

Der Eingabeaufforderungsfluss bietet einige verschiedene APIs für große Sprachmodelle:

Vervollständigung: Die Vervollständigungsmodelle von OpenAI generieren Text basierend auf bereitgestellten Prompts.
Chat: Die Chatmodelle von OpenAI und die Azure AI-Chatmodelle erleichtern interaktive Unterhaltungen mit textbasierten Eingaben und Antworten.

Hinweis

Wir haben die embedding Option aus der EINSTELLUNG der LLM-Tool-API entfernt. Sie können eine Einbettungs-API mit dem Einbettungstool verwenden. Für die Azure OpenAI-Verbindung wird nur die schlüsselbasierte Authentifizierung unterstützt. Verwenden Sie keine Nicht-Ascii-Zeichen im Ressourcengruppennamen der Azure OpenAI-Ressource, der Aufforderungsfluss hat diesen Fall nicht unterstützt.

Voraussetzungen

Erstellen Sie die OpenAI-Ressourcen:

OpenAI:
- Registrieren Sie Ihr Konto auf der OpenAI-Website.
- Melden Sie sich an, und suchen Sie Ihren persönlichen API-Schlüssel.
Azure OpenAI:
- Erstellen Sie Azure OpenAI-Ressourcen mit diesen Anweisungen.
In Standardbereitstellungen bereitgestellte Modelle
- Erstellen Sie einen Endpunkt mit dem Modell aus dem Katalog, den Sie interessieren , und stellen Sie ihn mit einer Standardbereitstellung bereit.
- Um Modelle zu verwenden, die für die standardmäßige Bereitstellung bereitgestellt werden, die von der Azure AI-Modell-Ableitungs-API unterstützt wird, z. B. Mistral, Cohere, Meta Llama oder Microsoft Family of Models (u. a.), müssen Sie eine Verbindung in Ihrem Projekt mit Ihrem Endpunkt erstellen.

Verbindungen

Richten Sie Verbindungen zu bereitgestellten Ressourcen im Prompt Flow ein.

type	Name	API-Schlüssel	API-Typ	API-Version
OpenAI	Erforderlich	Erforderlich	-	-
Azure OpenAI – API-Schlüssel	Erforderlich	Erforderlich	Erforderlich	Erforderlich
Azure OpenAI – Microsoft Entra ID	Erforderlich	-	-	Erforderlich
Serverloses Modell	Erforderlich	Erforderlich	-	-

Tipp

Um den Microsoft Entra ID-Authentifizierungstyp für die Azure OpenAI-Verbindung zu verwenden, müssen Sie entweder die Cognitive Services OpenAI User oder Cognitive Services OpenAI Contributor role and den Benutzer oder einer vom Benutzer zugewiesenen verwalteten Identität zuweisen.
Erfahren Sie mehr darüber, wie Sie angeben, wie Sie die Benutzeridentität zum Übermitteln der Flowausführung verwenden.
Erfahren Sie mehr über das Konfigurieren von Azure OpenAI mit verwalteten Identitäten.

Eingaben

In den folgenden Abschnitten werden verschiedene Eingaben angezeigt.

Textvervollständigung

Name	type	Beschreibung	Erforderlich
prompt	Zeichenfolge	Text-Prompt für das Sprachmodell.	Ja
Modell, deployment_name	Zeichenfolge	Zu verwendende Sprachmodell.	Ja
maximale_Anzahl_von_Tokens	Integer	Maximale Anzahl von Token, die im Abschluss generiert werden sollen. Der Standardwert ist 16.	Nein
Temperatur	Schweben	Die Zufälligkeit des generierten Texts Der Standardwert ist 1.	Nein
Stopp	Liste	Die Stoppsequenz für den generierten Text Der Standardwert lautet null.	Nein
Suffix	Zeichenfolge	Am Ende des Abschlusses angefügter Text.	Nein
top_p	Schweben	Die Wahrscheinlichkeit, dass das erste Ergebnis aus den generierten Token verwendet wird Der Standardwert ist 1.	Nein
logprobs	Integer	Anzahl der zu generierenden Protokollwahrscheinlichkeiten. Der Standardwert lautet null.	Nein
Echo	Boolescher Wert	Wert, der angibt, ob die Eingabeaufforderung in der Antwort zurückgegeben werden soll. Der Standardwert ist "false".	Nein
presence_penalty	Schweben	Wert, der das Verhalten des Modells für wiederholte Ausdrücke steuert. Standard ist "0".	Nein
frequency_penalty	Schweben	Wert, der das Verhalten des Modells zum Generieren seltener Ausdrücke steuert. Standard ist "0".	Nein
best_of	Integer	Die Anzahl der besten Zugänge, die generiert werden sollen. Der Standardwert ist 1.	Nein
logit_bias	Wörterbuch	Logit-Verzerrung für das Sprachmodell. Der Standardwert ist ein leeres Wörterbuch.	Nein

Plaudern

Name	type	Beschreibung	Erforderlich
prompt	Zeichenfolge	Textaufforderung, die vom Sprachmodell für eine Antwort verwendet wird.	Ja
Modell, deployment_name	Zeichenfolge	Zu verwendende Sprachmodell. Dieser Parameter ist nicht erforderlich, wenn das Modell in einer Standardbereitstellung bereitgestellt wird.	Ja*
maximale_Anzahl_von_Tokens	Integer	Die maximale Anzahl von Token, die in der Antwort generiert werden. Der Standardwert ist „inf“.	Nein
Temperatur	Schweben	Die Zufälligkeit des generierten Texts Der Standardwert ist 1.	Nein
Stopp	Liste	Die Stoppsequenz für den generierten Text Der Standardwert lautet null.	Nein
top_p	Schweben	Die Wahrscheinlichkeit, dass das erste Ergebnis aus den generierten Token verwendet wird Der Standardwert ist 1.	Nein
presence_penalty	Schweben	Wert, der das Verhalten des Modells für wiederholte Ausdrücke steuert. Standard ist "0".	Nein
frequency_penalty	Schweben	Wert, der das Verhalten des Modells zum Generieren seltener Ausdrücke steuert. Standard ist "0".	Nein
logit_bias	Wörterbuch	Logit-Verzerrung für das Sprachmodell. Der Standardwert ist ein leeres Wörterbuch.	Nein

Ausgaben

Programmierschnittstelle (API)	Rückgabetyp	Beschreibung
Fertigstellung	Zeichenfolge	Text eines vorhergesagten Abschlusses
Plaudern	Zeichenfolge	Text einer Antwort einer Unterhaltung

Verwenden des LLM-Tools

Richten Sie die Verbindungen mit OpenAI-Ressourcen oder einer Standardbereitstellung ein, und wählen Sie sie aus.
Konfigurieren Sie die API für große Sprachenmodelle und die zugehörigen Parameter.
Bereiten Sie die Eingabeaufforderung mithilfe des Leitfadens vor.