Introducción a Mosaic AI Gateway

En este artículo se describe Mosaic AI Gateway, la solución Databricks para gobernar y supervisar el acceso a los modelos de IA generativos admitidos y sus puntos de conexión de servicio de modelos asociados.

¿Qué es Mosaic AI Gateway?

Mosaic AI Gateway está diseñado para simplificar el uso y la administración de modelos y agentes de IA generativos dentro de una organización. Es un servicio centralizado que aporta la gobernanza, la supervisión y la preparación de producción para modelar los puntos de conexión de servicio. También le permite ejecutar, proteger y controlar el tráfico de inteligencia artificial para democratizar y acelerar la adopción de la inteligencia artificial para su organización.

Todos los datos se registran en tablas delta en Unity Catalog.

Para empezar a visualizar información a partir de los datos de AI Gateway, descargue el panel de AI Gateway de ejemplo desde GitHub. Este panel aprovecha los datos de las tablas de inferencia de registro de carga y seguimiento de uso.

Después de descargar el archivo JSON, importe el panel en el área de trabajo. Para obtener instrucciones sobre cómo importar paneles, consulte Importar un archivo de panel.

Características admitidas

En la tabla siguiente se definen las características disponibles de AI Gateway y qué tipos de modelo de puntos de conexión de servicio los admiten.

Característica	Definición	Punto de conexión externo del modelo	Punto de conexión de rendimiento aprovisionado de las API de Foundation Model	Punto de conexión de pago por token de las API de Foundation Model	Agentes de Mosaic AI	Punto de conexión del modelo personalizado
Limitación de permisos y tarifas	Controla quién tiene acceso y el nivel de dicho acceso.	Compatible	Compatible	Compatible	No está soportado	Compatible
Registro de carga	Supervisa y audita los datos que se envían a las API de modelo mediante tablas de inferencia.	Compatible	Compatible	Compatible	Compatible	Compatible
Seguimiento de uso	Supervisa el uso operativo en los puntos de conexión y los costos asociados mediante las tablas del sistema.	Compatible	Compatible	Compatible	No está soportado	Compatible
Límites de protección de IA	Evitar datos no deseados y no seguros en solicitudes y respuestas. Consulte Límites de protección de IA.	Compatible	Compatible	Compatible	No está soportado	No está soportado
Alternativas	Minimiza las interrupciones de producción durante la implementación y después de esta.	Compatible	No está soportado	No está soportado	No está soportado	No está soportado
División del tráfico	Equilibrio de carga del tráfico entre modelos.	Compatible	Compatible	No está soportado	No está soportado	Compatible

Mosaic AI Gateway incurre en cargos por característica habilitada. Entre las características de pago se incluyen el registro de carga y el seguimiento de uso. Las características como los permisos de consulta, la limitación de velocidad, las alternativas y la división de tráfico son gratuitas. Las nuevas características están sujetas a cargos.

Límites de protección de IA

Importante

Esta característica está en versión preliminar pública.

Los límites de protección de IA permiten a los usuarios configurar y aplicar el cumplimiento de los datos en el nivel de modelo de puntos de conexión de servicio y reducir el contenido dañino en las solicitudes enviadas al modelo subyacente. Las solicitudes y respuestas incorrectas se bloquean y se devuelve un mensaje predeterminado al usuario. Consulte cómo configurar límites de protección en un modelo de puntos de conexión de servicio.

Importante

El servicio de moderación AI Guardrails tiene una dependencia de los modelos de pago por token de las APIs de Foundation Model. Esta dependencia limita la disponibilidad del servicio de moderación AI Guardrails a las regiones que admiten las API de Modelo Fundamental de pago por token.

En la tabla siguiente se resumen los límites de protección configurables. Consulte Limitaciones.

Nota:

Después del 30 de mayo de 2025, ya no se admitirán las directrices de IA para la moderación de temas y el filtrado de palabras clave. Si estas características son necesarias para tus flujos de trabajo, ponte en contacto con el equipo de tu cuenta de Databricks para participar en la Vista Previa Privada de Barreras Personalizadas.

Límite de protección	Definición
Filtrado de seguridad	El filtrado de seguridad impide que el modelo interactúe con contenido no seguro y dañino, como el crimen violento, autolesiones y el lenguaje inflamatorio. El filtro de seguridad de AI Gateway se crea con Meta Llama 3. Databricks usa Llama Guard 2-8b como filtro de seguridad. Para obtener más información sobre el filtro de seguridad Llama Guard y los temas que se aplican al filtro de seguridad, consulte la tarjeta del modelo Meta Llama Guard 2 8B. Llama 3 tiene se licencia bajo LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Todos los derechos reservados. Los clientes son responsables de garantizar el cumplimiento de las licencias de modelo aplicables.
Detección de información de identificación personal	Los clientes pueden detectar cualquier información confidencial, como nombres, direcciones, números de tarjeta de crédito para los usuarios. Para esta característica, AI Gateway usa Presidio para detectar las siguientes categorías de PII de Estados Unidos: números de tarjeta de crédito, direcciones de correo electrónico, números de teléfono, números de cuenta bancaria y números de seguridad social. El clasificador de PII puede ayudar a identificar información confidencial o PII en datos estructurados y no estructurados. Sin embargo, dado que usa mecanismos de detección automatizados, no hay ninguna garantía de que el servicio encuentre toda la información confidencial. Por consiguiente, deben emplearse sistemas y protecciones adicionales. Estos métodos de clasificación se limitan principalmente a las categorías de PII de EE. UU., como los números de teléfono de EE. UU. y los números de seguridad social.

Uso de AI Gateway

Puede configurar las características de AI Gateway en los puntos de conexión de servicio del modelo mediante la interfaz de usuario del servicio. Consulte Configuración de AI Gateway en puntos de conexión de modelo de servicio.

Limitaciones

Las siguientes son limitaciones para los puntos de conexión habilitados para AI Gateway:

• Cuando se utilizan barreras de seguridad de IA, el tamaño de lote de la solicitud, ya sea un tamaño de lote de incrustaciones, un tamaño de lote de finalizaciones o el parámetro n en las solicitudes de chat, no puede superar los 16.
• Si utiliza la función que llama a y especifica barreras de protección de la IA, esas barreras no se aplican a las solicitudes ni a las respuestas intermedias de la función. Sin embargo, los límites de protección se aplican a la respuesta final de la salida.
• No se admiten cargas de trabajo de texto a imagen.
• Únicamente se admite el seguimiento de uso para las cargas de trabajo de inferencia en lote en puntos de conexión de pago por token y que tienen las funciones de AI Gateway habilitadas. En la tabla del endpoint_usage sistema solo están visibles las filas correspondientes a la solicitud de inferencia por lotes.
• No se admiten límites de protección y reserva de IA en puntos de conexión de servicio de modelos personalizados.
• En el caso de los puntos de conexión de servicio de modelos personalizados, solo las cargas de trabajo que no están optimizadas para rutas admiten la limitación de velocidad y el seguimiento del uso.
• Las tablas de inferencia para los endpoints de servicio de modelos optimizados por ruta están en versión preliminar pública.
• Consulte Limitaciones de la tabla de inferencia habilitada por la pasarela de AI para más información sobre las limitaciones de la tabla de inferencia.