Outil LLM

L’outil LLM (Large Language Model) dans le flux d’invite vous permet de tirer parti de modèles de langage volumineux largement utilisés comme OpenAI ou Azure OpenAI Service, ou tout modèle de langage pris en charge par l’API d’inférence du modèle Azure AI pour le traitement en langage naturel.

Le flux d’invite fournit quelques API des grands modèles de langage différentes :

• Achèvement : Les modèles d’achèvement d’OpenAI génèrent du texte en fonction des invites fournies.
• Conversation : les modèles de conversation d’OpenAI et les modèles de conversation Azure AI facilitent les conversations interactives avec des entrées et des réponses textuelles.

Remarque

Nous avons supprimé l’option embedding du paramètre d’API de l’outil LLM. Vous pouvez utiliser une API d’incorporation avec l’outil d’incorporation. Seule l’authentification basée sur des clés est prise en charge pour la connexion Azure OpenAI. N’utilisez pas de caractères non ascii dans le nom du groupe de ressources de la ressource Azure OpenAI, le flux d’invite n’a pas pris en charge ce cas.

Prérequis

Créer des ressources OpenAI :

• OpenAI :

  • Inscrivez votre compte sur le site web OpenAI.
  • Connectez-vous et recherchez votre clé API personnelle.

• Azure OpenAI :

  • Créez des ressources Azure OpenAI avec ces instructions.

• Modèles déployés sur des points de terminaison d’API serverless

  • Créez un point de terminaison avec le modèle à partir du catalogue qui vous intéresse et déployez-le avec un point de terminaison d’API serverless.
  • Pour utiliser des modèles déployés sur des points de terminaison d’API serverless pris en charge par l’API d’inférence de modèle Azure AI, comme Mistral, Cohere, Meta Llama ou la famille de modèles Microsoft (entre autres), vous devez créer une connexion dans votre projet à votre point de terminaison

Connexions

Configurez des connexions aux ressources provisionnées dans le flux d’invite.

Type	Nom	Clé API	Type de l’API	Version de l'API
OpenAI	Obligatoire	Requis	-	-
Azure OpenAI - Clé API	Requis	Obligatoire	Obligatoire	Requis
Azure OpenAI - Microsoft Entra ID	Requis	-	-	Requis
Modèle serverless	Requis	Requis	-	-

Conseil

• Pour utiliser le type d’authentification d’ID Microsoft Entra pour la connexion Azure OpenAI, vous devez affecter le Cognitive Services OpenAI User ou Cognitive Services OpenAI Contributor role à l’identité managée affectée par l’utilisateur ou l’utilisateur.
• En savoir plus sur comment spécifier l’identité de l’utilisateur(-trice) pour envoyer l’exécution du flux.
• Pour plus d’informations, consultez Guide pratique pour configurer Azure OpenAI Service avec des identités managées.

Entrées

Les sections suivantes affichent différentes entrées.

Saisie semi-automatique de texte

Nom	Type	Description	Obligatoire
prompt	string	Invite de texte pour le modèle de langage.	Oui
modèle, deployment_name	string	Modèle de langage à utiliser.	Oui
max_tokens	entier	Nombre maximal de jetons à générer dans la saisie semi-automatique. Valeur par défaut : 16.	Non
température	virgule flottante	Caractère aléatoire du texte généré. 1 constitue la valeur par défaut.	Non
stop	list	Séquence d’arrêt pour le texte généré. La valeur par défaut est Null.	Non
suffix	string	Texte ajouté à la fin de la saisie semi-automatique.	Non
top_p	virgule flottante	Probabilité d’utiliser le meilleur choix parmi les jetons générés. 1 constitue la valeur par défaut.	Non
logprobs	entier	Nombre de probabilités de journal à générer. La valeur par défaut est Null.	Non
echo	boolean	Valeur qui indique s’il faut renvoyer l’invite dans la réponse. La valeur par défaut est false.	Non
presence_penalty	virgule flottante	Valeur qui contrôle le comportement du modèle pour les expressions répétées. La valeur par défaut est 0.	Non
frequency_penalty	virgule flottante	Valeur qui contrôle le comportement du modèle pour générer des expressions rares. La valeur par défaut est 0.	Non
best_of	entier	Nombre de meilleures saisies semi-automatiques à générer. 1 constitue la valeur par défaut.	Non
logit_bias	dictionnaire	Biais logit pour le modèle de langage. La valeur par défaut est un dictionnaire vide.	Non

Conversation

Nom	Type	Description	Obligatoire
prompt	string	Invite de texte utilisée par le modèle de langue pour une réponse.	Oui
modèle, deployment_name	string	Modèle de langage à utiliser. Ce paramètre n’est pas obligatoire si le modèle est déployé sur un point de terminaison d’API serverless.	Oui*
max_tokens	entier	Nombre maximal de jetons à générer dans la réponse. La valeur par défaut est inf.	Non
température	virgule flottante	Caractère aléatoire du texte généré. 1 constitue la valeur par défaut.	Non
stop	list	Séquence d’arrêt pour le texte généré. La valeur par défaut est Null.	Non
top_p	virgule flottante	Probabilité d’utiliser le meilleur choix parmi les jetons générés. 1 constitue la valeur par défaut.	Non
presence_penalty	virgule flottante	Valeur qui contrôle le comportement du modèle pour les expressions répétées. La valeur par défaut est 0.	Non
frequency_penalty	virgule flottante	Valeur qui contrôle le comportement du modèle pour générer des expressions rares. La valeur par défaut est 0.	Non
logit_bias	dictionnaire	Biais logit pour le modèle de langage. La valeur par défaut est un dictionnaire vide.	Non

Sorties

API	Type renvoyé	Description
Completion	string	Texte d’une saisie semi-automatique prédite
Conversation instantanée	string	Texte d’une réponse de conversation

Utiliser l’outil LLM

1. Configurez et sélectionnez les connexions aux ressources OpenAI ou à un point de terminaison d’API serverless.
2. Configurez l’API de modèle de langage volumineux et ses paramètres.
3. Préparer l’invite en suivant les instructions.