Creación y administración de una API de modelo unificada

APLICA A: desarrollador | Básico | Básico v2 | Estándar | Estándar v2 | Premium | Premium v2

Puede crear una API de modelo unificada en Azure API Management para exponer varios back-end de LLM a través de un único punto de conexión orientado al cliente. Las aplicaciones cliente usan un formato de API conocido, la API de finalizaciones de chat de OpenAI, mientras que API Management traduce automáticamente las solicitudes a los modelos de back-end mediante openAI Chat Completions API o Anthropic Messages API.

Note

La API del modelo unificado está en versión preliminar y se está implementando actualmente para los clientes. En los niveles clásicos, el acceso anticipado a esta característica está disponible a través del canal de versión preliminar de AI Gateway.

Al centralizar el acceso del modelo detrás de una sola capa de API, puede hacer lo siguiente:

  • Normalice en un solo formato de API para los clientes independientemente de los formatos usados por los modelos de back-end.
  • Unifique la observabilidad, la seguridad y la gobernanza con directivas entre proveedores de modelos.
  • Configure la conmutación por error del modelo entre proveedores de modelos.
  • Desacopla los nombres de modelo de cara al cliente de los nombres de modelo internos usando alias.

Para obtener más información sobre cómo administrar las API de IA en API Management, consulte AI gateway capabilities in Azure API Management.

Backends admitidos

La API de modelo unificado admite los siguientes formatos de API de back-end:

  • API de finalizaciones de chat de OpenAI
  • API de mensajes de Anthropic

Prerequisites

Creación de una API de modelo unificada: Azure portal

Siga estos pasos para crear una API de modelo unificada en API Management.

Al crear la API, API Management configura automáticamente:

  • Un /models punto de conexión para la detección de modelos que muestra todos los modelos configurados.
  • Un único punto de conexión de enrutamiento, como /llm/v1/chat/completions, que acepta solicitudes con formato de finalizaciones de chat de OpenAI.
  • Dar formato a la lógica de traducción para cada modelo de back-end que agregue.
  • Recursos de back-end que dirigen las solicitudes al punto de conexión del proveedor correcto.

Para crear una API de modelo unificada:

  1. En Azure Portal, vaya a la instancia de API Management.

  2. En el menú de la barra lateral, en API, seleccione Modelos>+ Agregar>API de modelo unificado.

    Captura de pantalla del mosaico de la API de modelo unificado en el portal de Azure.

  3. En la pestaña Configurar la API de modelo unificado:

    1. Introduzca un nombre visible para la API. API Management genera automáticamente un Nombre de API basado en el nombre para mostrar, pero puede editarlo si lo desea.
    2. En ruta de acceso de API, escriba la ruta de acceso que los clientes usan para llamar a la API. El valor predeterminado es /llm/v1, lo que genera un punto de conexión para finalizaciones de chat en /llm/v1/chat/completions.
    3. Opcionalmente, seleccione uno o varios productos para asociarlos a la API.
    4. Seleccione Siguiente.

  4. En la pestaña Configurar modelos , seleccione + Agregar para abrir el panel Agregar modelo y, a continuación, configure las siguientes opciones para cada implementación de modelos:

    1. En Configuración de back-end:

      • En Modelo, escriba el nombre del modelo de back-end (por ejemplo, gpt-4o o claude-sonnet-4.6).
      • En formato API, seleccione el formato que espera el modelo de back-end, como OpenAI Chat Completions API o Anthropic Messages API.
      • En URL, escriba la dirección URL del punto de conexión de back-end, por ejemplo, una implementación de modelo en Foundry o, para otros proveedores, la dirección URL del punto de conexión de API del proveedor.

    2. En Credenciales de autorización, seleccione cómo api Management se autentica en el back-end:

      • Encabezados: escriba un nombre de encabezado (por ejemplo, api-key o Authorization) y el valor de encabezado correspondiente (la clave de API o el secreto).
      • Identidad administrada: Para las implementaciones de modelos en Azure, puede usar la identidad administrada asignada por el sistema de la instancia o una identidad administrada asignada por el usuario para autenticarse con el backend.

      Para obtener una explicación de los valores de configuración de la identidad administrada, consulte la referencia de la directiva authentication-managed-identity.

    Captura de pantalla del panel Agregar modelo para agregar la configuración del modelo en el portal.

  5. En la pestaña Administrar consumo de tokens , configure opcionalmente las siguientes directivas para supervisar y administrar el uso de tokens:

  6. En la pestaña Configurar la seguridad del contenido de IA opcionalmente, configure el servicio Seguridad del contenido de Azure AI para bloquear mensajes con contenido no seguro:

  7. Seleccione Revisar y crear y, luego, Crear.

Administrar alias de modelo

Los alias de modelos proporcionan a los clientes un nombre estable e independiente del proveedor para usar al llamar a un modelo. Al asignar un alias como gpt o claude-sonnet, se desacopla el nombre del modelo orientado al cliente de la implementación de back-end real. Al actualizar un modelo o desea ejecutar una prueba de A/B, puede actualizar el destino de alias sin ningún cambio en el código de cliente.

Actualizar o agregar un alias de modelo

Para actualizar un alias de modelo después de crear la API del modelo unificado:

  1. En el portal de Azure, vaya a la instancia de API Management y seleccione APIs.
  2. Seleccione la API del modelo unificado.
  3. Seleccione la pestaña Modelos para actualizar o agregar un alias de modelo.
    • Para actualizar un alias orientado al cliente, seleccione el alias que desea actualizar y, a continuación, actualice la configuración de back-end para especificar el modelo de back-end. Agregue las credenciales de autorización para el nuevo back-end.
    • Para agregar un nuevo modelo, seleccione + Agregar y configure la configuración de back-end, autorización y cliente, tal como se describe en la sección anterior.
  4. Haga clic en Guardar.

Detección de alias de modelo

Los desarrolladores pueden detectar modelos disponibles y sus alias llamando al /models punto de conexión de la API de modelo unificado. API Management devuelve una lista de modelos con sus alias orientados al cliente.

Llamada a la API desde una aplicación cliente

Las aplicaciones cliente pueden llamar a la API del modelo unificado mediante cualquier SDK compatible con OpenAI. Apunte la dirección URL base del SDK en el punto de conexión de API Management y use una clave de suscripción de API Management u otro método de autenticación compatible para la autenticación.

En el ejemplo siguiente se usa el SDK de OpenAI de Python y se pasa una clave de suscripción de API Management en el encabezado para la autenticación. El cuerpo de la solicitud especifica un alias de modelo orientado al cliente configurado en API Management, por ejemplo, gpt o claude-sonnet.:

from openai import OpenAI

client = OpenAI(
    base_url="https://<apim-instance>.azure-api.net/llm/v1",
    api_key="<api-management-subscription-key>",
)

# Specify the client-facing model alias
response = client.chat.completions.create(
    model="gpt",  # or "claude-sonnet", "gemini", or any other configured alias
    messages=[{"role": "user", "content": "What can you do?"}],
)
print(response.choices[0].message.content)

Para cambiar a otro modelo de back-end, cambie solo el model valor. No se requieren otros cambios de código.

Contenido relacionado

  • Last updated on