Nota
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Important
Una nueva experiencia de Unity Gateway ya está disponible de forma general. Es el plano de control empresarial para gobernar endpoints LLM y agentes de codificación con funciones mejoradas. Consulta la gobernanza de la IA con Unity Gateway.
En este artículo, aprendes a configurar AI Gateway (legacy) en un endpoint de servicio de modelos.
Requirements
- Un área de trabajo de Databricks en una región en la que se admite el modelo de servicio. Consulte Disponibilidad de características de modelo de servicio.
- Un modelo de que sirve al punto de conexión. Puede usar uno de los puntos de conexión de pago por token preconfigurados en el área de trabajo o hacer lo siguiente:
- Para crear un punto de conexión para modelos externos, complete los pasos 1 y 2 de Creación de un modelo externo que atiende el punto de conexión.
- Para crear un punto de conexión para el rendimiento aprovisionado, consulte API del modelo básico de rendimiento aprovisionado bajo demanda.
- Para crear un punto de conexión para un modelo personalizado, consulte Creación de un punto de conexión.
- Las operaciones de administrador de puntos de conexión requieren
CAN MANAGEen ese punto de conexión. Consulte las Listas de control de acceso. - Al crearlos, se concede al creador
CAN MANAGEsobre el nuevo punto de conexión. - Para evitar pasar límites de protección o límites de rendimiento, restrinja la creación de puntos de conexión y
CAN MANAGEa los administradores y conceda a otros usuarios solo permisos de consulta en los puntos de conexión aprobados.
Configurar AI Gateway (legacy) usando la interfaz de usuario
En la sección de AI Gateway de la página de creación de endpoints, puedes configurar individualmente las funciones de AI Gateway (legacy). Consulte Características admitidas para conocer qué características están disponibles en los puntos de conexión del modelo de servicio externo y en los puntos de conexión de rendimiento aprovisionado.
La siguiente tabla resume cómo configurar AI Gateway (legacy) durante la creación de endpoints usando la Serving UI. Si prefiere hacerlo programáticamente, consulte el Notebook example.
| Feature | Cómo habilitar | Details |
|---|---|---|
| Seguimiento de uso | Seleccione Habilitar seguimiento de uso para habilitar el seguimiento y la supervisión de las métricas de uso de datos. |
|
| Registro de carga | Seleccione Habilitar tablas de inferencia para registrar automáticamente las solicitudes y respuestas del punto de conexión en tablas delta administradas por Unity Catalog. |
|
| Límites de protección de IA | Consulte Configuración de límites de protección de IA en la interfaz de usuario. |
|
| Límites de tarifas | Seleccione Límites de velocidad para administrar y especificar el número de consultas por minuto (QPM) o tokens por minuto (TPM) que el punto de conexión puede admitir.
|
|
| División de tráfico | En la sección Entidades atendidas , especifique el porcentaje de tráfico que desea enrutar a modelos específicos. Para configurar la división de tráfico en el punto de conexión mediante programación, consulte Servicio de varios modelos externos a un punto de conexión. |
|
| Fallbacks | Seleccione Habilitar reservas en la sección AI Gateway para enviar su solicitud a otros modelos servidos en el punto de conexión como reserva. |
|
En el siguiente diagrama se muestra un ejemplo de solución de contingencia donde,
- Tres entidades servidas se sirven en un modelo de puntos de conexión de servicio.
- La solicitud se enruta originalmente a Entidad servida 3.
- Si la solicitud devuelve una respuesta 200, la solicitud se realizó correctamente en la entidad Served 3 y la solicitud y su respuesta se registran en las tablas de seguimiento de uso y registro de carga del punto de conexión.
- Si la solicitud devuelve un error 429 o 5xx en la entidad Served 3, la solicitud vuelve a la siguiente entidad atendida en el punto de conexión, entidad Served 1.
- Si la solicitud devuelve un error 429 o 5xx en la entidad Served 1, la solicitud vuelve a la siguiente entidad atendida en el punto de conexión, entidad Served 2.
- Si la solicitud devuelve un error 429 o 5xx en la entidad servida 2, se produce un error en la solicitud, ya que este es el número máximo de entidades de respaldo. La solicitud con error y el error de respuesta se registran en las tablas de registro de carga y seguimiento de uso.
Configuración de límites de protección de IA en la interfaz de usuario
Important
Esta característica está en versión preliminar pública.
En la tabla siguiente se muestra cómo configurar las barandillas compatibles.
| Guardrail | Cómo habilitar |
|---|---|
| Safety | Seleccione Seguridad para habilitar las medidas de seguridad para evitar que el modelo interactúe con contenido no seguro y dañino. |
| Detección de información de identificación personal | Seleccione Bloquear o enmascarar datos PII, como nombres, direcciones, números de tarjeta de crédito si se detecta dicha información en las solicitudes y respuestas del punto de conexión. De lo contrario, seleccione Ninguno para que no se produzca ninguna detección de PII. |
Disponibilidad de los registros
Para las tablas served_entities y endpoint_usage, los registros suelen estar disponibles en un plazo de una hora. La entrega de datos para nuevos espacios de trabajo puede tardar más que esto.
Esquemas de tabla para el seguimiento de uso
Las siguientes secciones resumen los esquemas de la tabla de seguimiento de uso para las tablas del sistema system.serving.served_entities y system.serving.endpoint_usage.
system.serving.served_entities esquema de tabla de seguimiento de uso
La tabla del sistema de seguimiento de uso system.serving.served_entities usa el siguiente esquema:
| Nombre de la columna | Description | Type |
|---|---|---|
served_entity_id |
El Id. exclusivo de la entidad servida. | STRING |
account_id |
Identificador de cuenta de cliente para OpenSharing. | STRING |
workspace_id |
Identificador del área de trabajo del cliente del punto de conexión de servicio. | STRING |
created_by |
Nombre del creador. Puede ser un usuario, un principal de servicio, o un nombre de grupo. Para los puntos de conexión de pago por token, esto es System-User |
STRING |
endpoint_name |
Nombre del punto de conexión de servicio. | STRING |
endpoint_id |
Identificador único del punto de conexión de servicio. | STRING |
served_entity_name |
Nombre de la entidad servida. | STRING |
entity_type |
Tipo de la entidad que se sirve. Puede ser FEATURE_SPEC, EXTERNAL_MODEL, FOUNDATION_MODEL o CUSTOM_MODEL |
STRING |
entity_name |
El nombre subyacente de la entidad. Diferente del served_entity_name que es un nombre proporcionado por el usuario. Por ejemplo, entity_name es el nombre del modelo de Unity Catalog. |
STRING |
entity_version |
La versión de la entidad servida. | STRING |
endpoint_config_version |
Versión de la configuración del punto de conexión. | INT |
task |
Tipo de tarea. Puede ser llm/v1/chat, llm/v1/completions o llm/v1/embeddings. |
STRING |
external_model_config |
Configuraciones para modelos externos. Por ejemplo: {Provider: OpenAI} |
STRUCT |
foundation_model_config |
Configuraciones para modelos de base. Por ejemplo: {min_provisioned_throughput: 2200, max_provisioned_throughput: 4400} |
STRUCT |
custom_model_config |
Configuraciones para modelos personalizados. Por ejemplo: { min_concurrency: 0, max_concurrency: 4, compute_type: CPU } |
STRUCT |
feature_spec_config |
Configuraciones para especificaciones de funciones. Por ejemplo: { min_concurrency: 0, max_concurrency: 4, compute_type: CPU } |
STRUCT |
change_time |
Marca de tiempo del cambio para la entidad servida. | TIMESTAMP |
endpoint_delete_time |
Marca de tiempo de eliminación de entidades. El punto de conexión es el contenedor de la entidad atendida. Una vez eliminado el punto de conexión, también se elimina la entidad atendida. | TIMESTAMP |
system.serving.endpoint_usage esquema de tabla de seguimiento de uso
La tabla del sistema de seguimiento de uso system.serving.endpoint_usage usa el siguiente esquema:
| Nombre de la columna | Description | Type |
|---|---|---|
account_id |
Identificador de cuenta del cliente. | STRING |
workspace_id |
Identificador del área de trabajo del cliente del punto de conexión de servicio. | STRING |
client_request_id |
Identificador de solicitud proporcionado por el usuario que se puede especificar en el cuerpo de la solicitud de servicio del modelo. En el caso de los puntos de conexión de modelo personalizados, esto no se admite para las solicitudes superiores a 4MiB. | STRING |
databricks_request_id |
Un identificador de solicitud generado por Azure Databricks asociado a todas las solicitudes de servicio de modelos. | STRING |
requester |
Identificador del usuario o entidad de servicio cuyos permisos se usan para la solicitud de invocación del punto de conexión de servicio. | STRING |
status_code |
El código de estado HTTP devuelto por el modelo. | INTEGER |
request_time |
Marca de tiempo a la que se recibió la solicitud. | TIMESTAMP |
input_token_count |
Recuento de tokens de la entrada. Será 0 para las solicitudes de modelo personalizadas. | LONG |
output_token_count |
Recuento de tokens de la salida. Será 0 para las solicitudes de modelo personalizadas. | LONG |
input_character_count |
Recuento de caracteres de la cadena de entrada o de la solicitud. Será 0 para las solicitudes de modelo personalizadas. | LONG |
output_character_count |
Recuento de caracteres de la cadena de salida de la respuesta. Será 0 para las solicitudes de modelo personalizadas. | LONG |
usage_context |
Mapa proporcionado por el usuario que contiene identificadores del usuario final o de la aplicación cliente que realiza la llamada al punto de conexión. Consulte Definición adicional del uso con usage_context. En el caso de los puntos de conexión de modelo personalizados, esto no se admite para las solicitudes superiores a 4MiB. |
MAP |
request_streaming |
Indica si la solicitud está en modo de transmisión. | BOOLEAN |
served_entity_id |
Identificador único que se usa para combinar con la tabla de dimensiones de system.serving.served_entities para buscar información sobre el punto de conexión y la entidad servida. |
STRING |
Definición adicional del uso con usage_context
Al consultar un modelo externo con el seguimiento de uso habilitado, puede proporcionar el usage_context parámetro con el tipo Map[String, String]. La asignación de contexto de uso aparece en la tabla de seguimiento de uso de la columna usage_context. El tamaño del usage_context mapa no puede superar los 10 KiB.
{
"messages": [
{
"role": "user",
"content": "What is Databricks?"
}
],
"max_tokens": 128,
"usage_context":
{
"use_case": "external",
"project": "project1",
"priority": "high",
"end_user_to_charge": "abcde12345",
"a_b_test_group": "group_a"
}
}
Si usa el cliente de OpenAI Python, puede especificar el usage_context incluyéndolo en el parámetro extra_body.
from openai import OpenAI
client = OpenAI(
api_key="dapi-your-databricks-token",
base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)
response = client.chat.completions.create(
model="databricks-claude-sonnet-4-5",
messages=[{"role": "user", "content": "What is Databricks?"}],
temperature=0,
extra_body={"usage_context": {"project": "project1"}},
)
answer = response.choices[0].message.content
print("Answer:", answer)
Los administradores de cuentas pueden agregar filas diferentes en función del contexto de uso para obtener información y pueden unir esta información con la información de la tabla de registro de carga. Por ejemplo, puede agregar end_user_to_charge a usage_context para realizar el seguimiento de la atribución de costes para los usuarios finales.
Supervisión del uso del punto de conexión
Para supervisar el uso del punto de conexión, puede combinar las tablas del sistema y las tablas de inferencia para el punto de conexión.
Combinar tablas del sistema
Este ejemplo se aplica a puntos de conexión externos, de rendimiento aprovisionado, de pago por token y de modelo personalizado.
Para combinar las tablas del endpoint_usage sistema y served_entities , use el siguiente código SQL:
SELECT * FROM system.serving.endpoint_usage as eu
JOIN system.serving.served_entities as se
ON eu.served_entity_id = se.served_entity_id
WHERE created_by = "\<user_email\>";
Actualizar las funciones de AI Gateway (heredado) en los endpoints
Puedes actualizar las funciones de AI Gateway (legacy) en endpoints de servidor de modelos que antes las tenían activadas y en endpoints que no las tenían activadas previamente. Las actualizaciones a las configuraciones de AI Gateway (legacy) tardan unos 20-40 segundos en aplicarse, aunque las actualizaciones que limitan la velocidad pueden tardar hasta 60 segundos.
A continuación se muestra cómo actualizar las funciones de AI Gateway (legacy) en un endpoint de servicio de modelos utilizando la interfaz de servicio.
En la sección Puerta de enlace de la página del punto de conexión, puede ver qué características están habilitadas. Para actualizar estas características, haga clic en Editar AI Gateway.
Ejemplo de cuaderno
El siguiente cuaderno muestra cómo habilitar y utilizar programáticamente las funciones de Databricks AI Gateway (legacy) para gestionar y gobernar modelos de proveedores. Consulte PUT /api/2.0/serving-endpoints/{name}/ai-gateway para detalles del REST API.