Delen via

Een openAI-compatibele taalmodel-API importeren

Van toepassing op: Alle API Management-lagen

U kunt openAI-compatibele taalmodeleindpunten als API's importeren in uw API Management-exemplaar. U kunt bijvoorbeeld een LLM beheren die u zelf host of die wordt gehost op een andere deductieprovider dan Azure AI-services. Gebruik AI-gatewaybeleid en andere mogelijkheden in API Management om integratie te vereenvoudigen, waarneembaarheid te verbeteren en de controle over de modeleindpunten te verbeteren.

Meer informatie over het beheren van AI-API's in API Management:

Taalmodel API-typen

API Management ondersteunt twee typen API's voor taalmodellen voor dit scenario. Kies de optie die geschikt is voor uw modelimplementatie. De optie bepaalt hoe clients de API aanroepen en hoe het API Management-exemplaar aanvragen routeert naar de AI-service.

  • OpenAI-compatibel - Taalmodeleindpunten die compatibel zijn met de API van OpenAI. Voorbeelden hiervan zijn bepaalde modellen die worden blootgesteld door inferentieproviders, zoals Hugging Face Text Generation Inference (TGI).

    API Management configureert een eindpunt voor voltooiing van een openAI-compatibele chat.

  • Passthrough : andere eindpunten voor taalmodellen die niet compatibel zijn met de API van OpenAI. Voorbeelden hiervan zijn modellen die zijn geïmplementeerd in Amazon Bedrock of andere providers.

    API Management configureert jokertekenbewerkingen voor algemene HTTP-woorden. Clients kunnen paden toevoegen aan de jokertekenbewerkingen en API Management geeft aanvragen door aan de back-end.

Vereiste voorwaarden

Taalmodel-API importeren met behulp van de portal

Een taalmodel-API importeren in API Management:

  1. Blader in Azure Portal naar uw API Management-exemplaar.

  2. Selecteer in het linkermenu onder API'sAPI's, >.

  3. Selecteer onder Een nieuwe API definiërende taalmodel-API.

    Schermopname van het maken van een openAI-compatibele API in de portal.

  4. Op het tabblad API configureren :

    1. Voer een weergavenaam en een optionele beschrijving voor de API in.
    2. Voer de URL in naar het LLM API-eindpunt.
    3. Selecteer eventueel een of meer producten die u aan de API wilt koppelen.
    4. Voeg in Pad een pad toe dat uw API Management-exemplaar gebruikt voor toegang tot de LLM API-eindpunten.
    5. In Type, selecteer de OpenAI-API maken of de passthrough-API maken. Zie Taalmodel-API-typen voor meer informatie.
    6. Voer in De Toegangssleutel de naam van de autorisatieheader en API-sleutel in die worden gebruikt voor toegang tot de LLM-API, indien nodig.
    7. Kies Volgende.

    Schermopname van de API-configuratie van taalmodel in de portal.

  5. Voer op het tabblad Tokenverbruik beheren optioneel instellingen in of accepteer standaardwaarden die het volgende beleid definiëren om de API te bewaken en te beheren:

  6. Voer op het tabblad Semantisch opslaan in cache toepassen instellingen in of accepteer standaardwaarden waarmee het beleid wordt gedefinieerd om de prestaties te optimaliseren en latentie voor de API te verminderen:

  7. Voer op de veiligheid van AI-inhoud optioneel instellingen in of accepteer standaardwaarden voor het configureren van de Azure AI Content Safety-service om prompts met onveilige inhoud te blokkeren:

  8. Selecteer Beoordelen.

  9. Nadat de instellingen zijn gevalideerd, selecteert u Maken.

De LLM-API testen

Test deze in de API Management-testconsole om ervoor te zorgen dat uw LLM-API werkt zoals verwacht.

  1. Selecteer de API die u in de vorige stap hebt gemaakt.

  2. Selecteer het tabblad Testen.

  3. Selecteer een bewerking die compatibel is met de modelimplementatie. Op de pagina worden velden voor parameters en headers weergegeven.

  4. Voer indien nodig parameters en headers in. Afhankelijk van de bewerking moet u mogelijk een aanvraagbody configureren of bijwerken.

    Opmerking

    In de testconsole vult API Management automatisch een Ocp-Apim-Subscription-Key-header in en configureert de abonnementssleutel van het ingebouwde abonnement voor alle toegang. Met deze sleutel hebt u toegang tot elke API in het API Management-exemplaar. U kunt desgewenst de header Ocp-Apim-Subscription-Key weergeven door het pictogram 'oog' naast de HTTP-aanvraag te selecteren.

  5. Klik op Verzenden.

    Wanneer de test is geslaagd, reageert de back-end met een geslaagde HTTP-antwoordcode en enkele gegevens. Toegevoegd aan het antwoord zijn tokengebruiksgegevens om u te helpen bij het bewaken en beheren van het tokenverbruik van uw taalmodel.

Verwante inhoud