Compartir a través de

Importación de una API de modelo de lenguaje compatible con OpenAI

SE APLICA A: Todos los niveles de API Management

Puede importar puntos de conexión de modelos de lenguaje compatibles con OpenAI a su instancia de Administración de API como APIs. Por ejemplo, es posible que quiera administrar un LLM que usted mismo aloje o que esté hospedado en un proveedor de inferencia distinto de los servicios de Azure AI. Use directivas de puerta de enlace de IA y otras funcionalidades de API Management para simplificar la integración, mejorar la observabilidad y mejorar el control sobre los puntos de conexión del modelo.

Obtenga más información sobre cómo administrar las API de IA en API Management:

Tipos de API del modelo de lenguaje

API Management admite dos tipos de API de modelo de lenguaje para este escenario. Elija la opción adecuada para la implementación del modelo. La opción determina cómo los clientes llaman a la API y cómo la instancia de API Management enruta las solicitudes al servicio de IA.

  • Compatible con OpenAI : puntos de conexión del modelo de lenguaje compatibles con la API de OpenAI. Algunos ejemplos incluyen determinados modelos expuestos por proveedores de inferencia como Hugging Face Text Generation Inference (TGI).

    API Management configura un punto de conexión de finalizaciones de chat compatibles con OpenAI.

  • Paso a través: Otros puntos de conexión del modelo de lenguaje que no son compatibles con la API de OpenAI. Algunos ejemplos son los modelos implementados en Amazon Bedrock u otros proveedores.

    API Management configura operaciones comodín para verbos HTTP comunes. Los clientes pueden anexar rutas de acceso a las operaciones con caracteres comodín y API Management pasa solicitudes al back-end.

Prerrequisitos

  • Una instancia existente de API Management. Créelo si aún no lo ha hecho.
  • Implementación de modelos de lenguaje autohospedados o no proporcionados por Azure con un punto de conexión de API.

Importación de la API del modelo de lenguaje mediante el portal

Para importar una API de modelo de lenguaje a API Management:

  1. Vaya a la instancia de API Management en Azure Portal.

  2. En el menú de la izquierda, en API, seleccioneAPI >+ Agregar API.

  3. En Definir una nueva API, seleccione Language Model API.

    Captura de pantalla de la creación de una API compatible con OpenAI en el portal.

  4. En la pestaña Configurar API :

    1. Escriba un Nombre para mostrar y una Descripción opcional para la API.
    2. Escriba la dirección URL al punto de conexión de la API de LLM.
    3. Opcionalmente, seleccione uno o varios productos para asociarlos a la API.
    4. En Ruta de acceso, anexe una ruta de acceso que la instancia de API Management usa para acceder a los puntos de conexión de la API de LLM.
    5. En Tipo, seleccione Create OpenAI API (Crear API de OpenAI ) o Create a passthrough API (Crear una API de acceso directo). Consulte Tipos de API de modelo de lenguaje para obtener más información.
    6. En Clave de acceso, escriba el nombre del encabezado de autorización y la clave de API que se usan para acceder a la API de LLM, si es necesario.
    7. Seleccione Siguiente.

    Captura de pantalla de la configuración de la API del modelo de lenguaje en el portal.

  5. En la pestaña Administrar consumo de tokens , escriba la configuración o acepte valores predeterminados que definan las siguientes directivas para ayudar a supervisar y administrar la API:

  6. En la pestaña Aplicar almacenamiento en caché semántico , opcionalmente escriba la configuración o acepte valores predeterminados que definan las directivas para ayudar a optimizar el rendimiento y reducir la latencia de la API:

  7. En la seguridad del contenido de AI, puede ingresar la configuración de forma opcional o aceptar los valores predeterminados para configurar el servicio de seguridad del contenido de Azure AI para bloquear las indicaciones con contenido peligroso.

  8. Seleccione Revisar.

  9. Una vez validada la configuración, seleccione Crear.

Prueba de la API de LLM

Para asegurarse de que la API de LLM funciona según lo previsto, pruébela en la consola de prueba de API Management.

  1. Seleccione la API que creó en los pasos anteriores.

  2. Seleccione la pestaña Prueba.

  3. Seleccione una operación compatible con la implementación del modelo. En la página se muestran los campos de los parámetros y los encabezados.

  4. Escriba los parámetros y los encabezados según sea necesario. En función de la operación, es posible que tenga que configurar o actualizar un cuerpo de la solicitud.

    Nota:

    En la consola de prueba, API Management rellena automáticamente un encabezado Ocp-Apim-Subscription-Key y configura la clave de suscripción de la suscripción de acceso completo integrada. Esta clave permite el acceso a todas las API de la instancia de API Management. Opcionalmente, se puede mostrar el encabezado Ocp-Apim-Subscription-Key si se selecciona el icono de ojo situado junto a la Solicitud HTTP.

  5. Seleccione Enviar.

    Cuando la prueba se realiza correctamente, el back-end responde con un código de respuesta HTTP correcto y algunos datos. Anexados a la respuesta son datos de uso de tokens para ayudarle a supervisar y administrar el consumo de tokens del modelo de idioma.

Contenido relacionado