Partager via

Importer une API de modèle de langage compatible OpenAI

S’APPLIQUE À : tous les niveaux de Gestion des API

Vous pouvez importer des points de terminaison de modèle de langage compatibles OpenAI dans votre instance Gestion des API en tant qu’API. Par exemple, vous pouvez gérer un LLM que vous auto-hébergez ou qui est hébergé sur un fournisseur d’inférence autre que les services Azure AI. Utilisez des stratégies de passerelle IA et d’autres fonctionnalités dans Gestion des API pour simplifier l’intégration, améliorer l’observabilité et améliorer le contrôle des points de terminaison de modèle.

En savoir plus sur la gestion des API IA dans Gestion des API :

Types d’API de modèle de langage

Gestion des API prend en charge deux types d’API de modèle de langage pour ce scénario. Choisissez l’option appropriée pour votre déploiement de modèle. L’option détermine comment les clients appellent l’API et comment l’instance Gestion des API achemine les requêtes vers le service IA.

  • Compatible OpenAI - Points de terminaison de modèle de langage compatibles avec l’API d’OpenAI. Les exemples incluent certains modèles exposés par des fournisseurs d'inférence, tels que Hugging Face Text Generation Inference (TGI).

    Gestion des API configure un point de terminaison de saisie semi-automatique compatible OpenAI.

  • Passthrough - Autres points de terminaison de modèle de langage qui ne sont pas compatibles avec l’API d’OpenAI. Les exemples incluent des modèles déployés dans Amazon Bedrock ou d’autres fournisseurs.

    Gestion des API configure des opérations génériques pour les verbes HTTP courants. Les clients peuvent ajouter des chemins aux opérations génériques, et Gestion des API transmet les requêtes au serveur principal.

Conditions préalables

  • Une instance existante de gestion d’API. Si vous ne l’avez pas déjà fait, créez-en un.
  • Un déploiement de modèle de langage auto-hébergé ou non fourni par Azure avec un point de terminaison d’API.

Importer l’API du modèle de langage à l’aide du portail

Pour importer une API de modèle de langage dans Gestion des API :

  1. Dans le portail Azure, accédez à votre instance Gestion des API.

  2. Dans le menu de gauche, sous API, sélectionnez API>+ Ajouter une API.

  3. Sous Définir une nouvelle API, sélectionnez API De modèle de langage.

    Capture d’écran de la création d’une API compatible OpenAI dans le portail.

  4. Sous l’onglet Configurer l’API :

    1. Entrez un Nom d’affichage et une Description facultative pour l’API.
    2. Entrez l’URL du point de terminaison de l’API LLM.
    3. Sélectionnez éventuellement un ou plusieurs produits à associer à l’API.
    4. Dans Path, ajoutez un chemin d’accès que votre instance Gestion des API utilise pour accéder aux points de terminaison de l’API LLM.
    5. Dans Type, sélectionnez Créer une API OpenAI ou Créer une API passthrough. Pour plus d’informations, consultez les types d’API du modèle de langage .
    6. Dans la clé Access, entrez le nom d’en-tête d’autorisation et la clé API utilisés pour accéder à l’API LLM, si nécessaire.
    7. Cliquez sur Suivant.

    Capture d’écran de la configuration de l’API du modèle de langage dans le portail.

  5. Sous l’onglet Gérer la consommation de jetons , entrez éventuellement des paramètres ou acceptez les paramètres par défaut qui définissent les stratégies suivantes pour faciliter la surveillance et la gestion de l’API :

  6. Sous l’onglet Appliquer la mise en cache sémantique , entrez éventuellement des paramètres ou acceptez les valeurs par défaut qui définissent les stratégies pour optimiser les performances et réduire la latence pour l’API :

  7. Sur la sécurité du contenu IA, entrez éventuellement des paramètres ou acceptez les paramètres par défaut pour configurer le service Azure AI Content Safety pour bloquer les invites avec du contenu non sécurisé :

  8. Sélectionnez Révision.

  9. Une fois que vos paramètres sont validés, sélectionnez Créer.

Tester l’API LLM

Pour vous assurer que votre API LLM fonctionne comme prévu, testez-la dans la console de test Gestion des API.

  1. Sélectionnez l’API que vous avez créée à l’étape précédente.

  2. Sélectionnez l’onglet Test.

  3. Sélectionnez une opération compatible avec le déploiement du modèle. La page affiche des champs pour les paramètres et les en-têtes.

  4. Entrez les paramètres et les en-têtes en fonction des besoins. Selon l’opération, vous devrez peut-être configurer ou mettre à jour un corps de requête.

    Remarque

    Dans la console de test, Gestion des API renseigne automatiquement un en-tête Ocp-Apim-Subscription-Key, et configure la clé d’abonnement de l’abonnement avec accès complet intégré. Cette clé permet d’accéder à toutes les API dans l’instance Gestion des API. Vous pouvez éventuellement afficher l’en-tête Ocp-Apim-Subscription-Key en sélectionnant l’icône « œil » en regard de la requête HTTP.

  5. Sélectionnez Envoyer.

    Lorsque le test réussit, le backend répond avec un code de réponse HTTP réussi et quelques données. Les données d’utilisation des jetons sont ajoutées à la réponse pour vous aider à surveiller et à gérer la consommation de jetons de votre modèle linguistique.

Contenu connexe