Freigeben über

LLM-Tool für Flows in Azure KI Studio

  • Artikel

Wichtig

Einige der in diesem Artikel beschriebenen Features sind möglicherweise nur in der Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

Für die Verwendung großer Sprachmodelle (LLM) für die Verarbeitung natürlicher Sprachen nutzen Sie das Prompt Flow LLM-Tool.

Hinweis

Informationen zum Konvertieren von Text in dichte Vektordarstellungen für verschiedene Verarbeitungsaufgaben in natürlicher Sprache finden Sie unter Einbettungstool.

Voraussetzungen

Bereiten Sie einen Prompt wie in der Prompttool-Dokumentation beschrieben vor. Das LLM-Tool und das Prompt-Tol unterstützen beide Jinja-Vorlagen. Weitere Informationen und bewährte Methoden finden Sie unter Prompt-Engineering-Techniken.

Erstellen mit dem LLM-Tool

  1. Erstellen oder öffnen Sie einen Flow in Azure KI Studio. Weitere Informationen finden Sie unter Erstellen eines Flows.

  2. Wählen Sie + LLM aus, um Ihrem Flow das LLM-Tool hinzuzufügen.

    Screenshot, der das LLM-Tool zeigt, das einem Flow in Azure KI Studio hinzugefügt wurde.

  3. Wählen Sie die Verbindung mit einer Ihrer bereitgestellten Ressourcen aus. Wählen Sie z. B. Default_AzureOpenAI aus.

  4. Wählen Sie in der Dropdownliste APIChat oder Abschluss aus.

  5. Geben Sie Werte für die Eingabeparameter des LLM-Tools ein, die in der Eingabentabelle für Textvervollständigung beschrieben werden. Wenn Sie die Chat-API ausgewählt haben, lesen Sie die Chateingabentabelle. Wenn Sie die Abschluss-API ausgewählt haben, lesen Sie die Eingabentabelle für Textvervollständigung. Informationen zum Vorbereiten der Prompt-Eingabe finden Sie unter Voraussetzungen.

  6. Fügen Sie ihrem Flow nach Bedarf weitere Tools hinzu. Oder wählen Sie Ausführen aus, um den Flow auszuführen.

  7. Die Ausgaben werden in der Ausgabentabelle beschrieben.

Eingaben

Die folgenden Eingabeparameter sind verfügbar:

Eingaben für Textvervollständigung

Name Typ Beschreibung Erforderlich
prompt Zeichenfolge Text-Prompt für das Sprachmodell. Ja
model, deployment_name Zeichenfolge Das zu verwendende Sprachmodell Ja
max_tokens integer Die maximale Anzahl von Token, die in der Vervollständigung generiert werden. Der Standardwert ist 16. Nein
Temperatur float Die Zufälligkeit des generierten Texts. Der Standardwert ist 1. Nein
stop list Die Stoppsequenz für den generierten Text. Der Standardwert lautet null. Nein
Suffix Zeichenfolge Der an das Ende der Vervollständigung angefügte Text. No
top_p float Die Wahrscheinlichkeit, dass das erste Ergebnis aus den generierten Token verwendet wird. Der Standardwert ist 1. Nein
logprobs integer Anzahl der zu generierenden Protokollwahrscheinlichkeiten. Der Standardwert lautet null. Nein
Echo boolean Der Wert, der angibt, ob der Prompt in der Antwort zurückgegeben werden soll. Standardwert ist „falsch“. Nein
presence_penalty float Der Wert, der das Verhalten des Modells in Bezug auf wiederholte Ausdrücke steuert. Standard ist "0". Nein
frequency_penalty float Der Wert, der das Verhalten des Modells beim Generieren seltener Ausdrücke steuert. Standard ist "0". Nein
best_of integer Die Anzahl der zu generierenden optimalen Vervollständigungen. Der Standardwert ist 1. Nein
logit_bias dictionary Die Logit-Verzerrung für das Sprachmodell. Der Standardwert ist ein leeres Wörterbuch. Nein

Chateingaben

Name Typ Beschreibung Erforderlich
prompt Zeichenfolge Der Text-Prompt, auf den das Sprachmodell antworten soll. Ja
model, deployment_name Zeichenfolge Das zu verwendende Sprachmodell Ja
max_tokens integer Die maximale Anzahl von Token, die in der Antwort generiert werden. Der Standardwert ist „inf“. Nein
Temperatur float Die Zufälligkeit des generierten Texts. Der Standardwert ist 1. Nein
stop list Die Stoppsequenz für den generierten Text. Der Standardwert lautet null. Nein
top_p float Die Wahrscheinlichkeit, dass das erste Ergebnis aus den generierten Token verwendet wird. Der Standardwert ist 1. Nein
presence_penalty float Der Wert, der das Verhalten des Modells in Bezug auf wiederholte Ausdrücke steuert. Standard ist "0". Nein
frequency_penalty float Der Wert, der das Verhalten des Modells beim Generieren seltener Ausdrücke steuert. Standard ist "0". Nein
logit_bias dictionary Die Logit-Verzerrung für das Sprachmodell. Der Standardwert ist ein leeres Wörterbuch. Nein

Ausgaben

Die Ausgabe variiert je nach der API, die Sie für Eingaben ausgewählt haben.

API Rückgabetyp BESCHREIBUNG
Completion Zeichenfolge Der Text einer vorhergesagten Vervollständigung.
Chat Zeichenfolge Der Text einer Antwort der Unterhaltung.

Nächste Schritte