Nota
L'accés a aquesta pàgina requereix autorització. Podeu provar d'iniciar la sessió o de canviar els directoris.
L'accés a aquesta pàgina requereix autorització. Podeu provar de canviar els directoris.
Important
Hay disponible una nueva experiencia de Unity AI Gateway en Beta. La nueva puerta de enlace de inteligencia artificial de Unity es el plano de control empresarial para gobernar los endpoints de LLM y los agentes de codificación con funcionalidades mejoradas. Consulte Unity AI Gateway para agentes y LLMs.
En esta página se describe Unity AI Gateway para gestionar puntos de conexión, que gestionan y supervisan el acceso a los modelos de IA generativos admitidos y sus puntos de conexión asociados de servicio de modelo.
¿Qué es Unity AI Gateway para atender puntos de conexión?
Unity AI Gateway está diseñado para simplificar el uso y la administración de modelos y agentes de IA generativos dentro de una organización. Es un servicio centralizado que aporta la gobernanza, la supervisión y la preparación de producción para modelar los puntos de conexión de servicio. También le permite ejecutar, proteger y controlar el tráfico de inteligencia artificial para democratizar y acelerar la adopción de la inteligencia artificial para su organización.
Todos los datos se registran en tablas delta en Unity Catalog.
Para empezar a visualizar información de los datos de Unity AI Gateway, descargue el panel example Unity AI Gateway desde GitHub. Este panel aprovecha los datos de las tablas de inferencia de registro de carga y seguimiento de uso.
Después de descargar el archivo JSON, importe el panel en el área de trabajo. Para obtener instrucciones sobre cómo importar paneles, consulte Importar un archivo de panel.
Características admitidas
Important
La nueva puerta de enlace de inteligencia artificial de Unity incluye una interfaz de usuario enriquecida, una observabilidad mejorada y una mayor cobertura de API para los LLM, incluidos los modelos externos y API de pago por token de Foundation Model. Se recomienda usar Unity AI Gateway para desbloquear estas nuevas funcionalidades.
En la tabla siguiente se definen las características disponibles de Unity AI Gateway y qué tipos de puntos de conexión de servicio de modelos las admiten.
| Característica | Definición | Punto de conexión externo del modelo | Punto de conexión de pago por token de las API de Foundation Model | Punto de conexión de rendimiento aprovisionado de las API de Foundation Model | Agentes de Mosaic AI | Punto de conexión del modelo personalizado |
|---|---|---|---|---|---|---|
| Disponible en Unity AI Gateway | Use características mejoradas de Unity AI Gateway. Consulte Unity AI Gateway para agentes y LLMs. | Soportado | Soportado | No está soportado | No está soportado | No está soportado |
| Limitación de permisos y tarifas | Controla quién tiene acceso y el nivel de dicho acceso. | Soportado | Soportado | Soportado | No está soportado | Soportado |
| Registro de carga | Supervisa y audita los datos que se envían a las API de modelo mediante tablas de inferencia. | Soportado | Soportado | Soportado | Soportado | Soportado |
| Seguimiento de uso | Supervisa el uso operativo en los puntos de conexión y los costos asociados mediante las tablas del sistema. | Soportado | Soportado | Soportado | No está soportado | Soportado |
| Límites de protección de IA | Evitar datos no deseados y no seguros en solicitudes y respuestas. Consulte Límites de protección de IA. | Soportado | Soportado | Soportado | No está soportado | No está soportado |
| Fallbacks | Minimiza las interrupciones de producción durante la implementación y después de esta. | Soportado | No está soportado | No está soportado | No está soportado | No está soportado |
| División del tráfico | Equilibrio de carga del tráfico entre modelos. | Soportado | No está soportado | Soportado | No está soportado | Soportado |
Unity AI Gateway incurre en cargos según la funcionalidad habilitada. Entre las características de pago se incluyen el registro de carga y el seguimiento de uso. Las características como los permisos de consulta, la limitación de velocidad, las alternativas y la división de tráfico son gratuitas. Las nuevas características están sujetas a cargos.
Límites de protección de IA
Important
Esta característica está en versión preliminar pública.
Los límites de protección de IA permiten a los usuarios configurar y aplicar el cumplimiento de los datos en el nivel de modelo de puntos de conexión de servicio y reducir el contenido dañino en las solicitudes enviadas al modelo subyacente. Las solicitudes y respuestas incorrectas se bloquean y se devuelve un mensaje predeterminado al usuario. Consulte cómo configurar límites de protección en un modelo de puntos de conexión de servicio.
Important
El servicio de moderación AI Guardrails tiene una dependencia de los modelos de pago por token de las APIs de Foundation Model. Esta dependencia limita la disponibilidad del servicio de moderación AI Guardrails a las regiones que admiten las API de Modelo Fundamental de pago por token.
En la tabla siguiente se resumen los límites de protección configurables. Consulte limitaciones de .
| Guardrail | Definición |
|---|---|
| Filtrado de seguridad | El filtrado de seguridad impide que el modelo interactúe con contenido no seguro y dañino, como el crimen violento, autolesiones y el lenguaje inflamatorio. El filtro de seguridad Unity AI Gateway está construido con Meta Llama 3. Databricks usa Llama Guard 2-8b como filtro de seguridad. Para obtener más información sobre el filtro de seguridad Llama Guard y los temas que se aplican al filtro de seguridad, consulte la tarjeta del modelo Meta Llama Guard 2 8B. Llama 3 tiene se licencia bajo LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Todos los derechos reservados. Los clientes son responsables de garantizar el cumplimiento de las licencias de modelo aplicables. |
| Detección de información de identificación personal | Los clientes pueden detectar cualquier información confidencial, como números de tarjeta de crédito para los usuarios. Para esta característica, Unity AI Gateway usa Presidio para detectar las siguientes categorías de PII de Estados Unidos: números de tarjeta de crédito, direcciones de correo electrónico, números de teléfono, números de cuenta bancaria y números de seguridad social. El clasificador de PII puede ayudar a identificar información confidencial o PII en datos estructurados y no estructurados. Sin embargo, dado que usa mecanismos de detección automatizados, no hay ninguna garantía de que el servicio encuentre toda la información confidencial. Por consiguiente, deben emplearse sistemas y protecciones adicionales. Estos métodos de clasificación se limitan principalmente a las categorías de PII de EE. UU., como los números de teléfono de EE. UU. y los números de seguridad social. |
Uso de Unity AI Gateway
Puede configurar las características de Unity AI Gateway en los endpoints de servicio del modelo mediante la UI de Serving. Consulte Configurar Unity AI Gateway en puntos de conexión para el servicio de modelos.
Limitaciones
Las siguientes son limitaciones para los puntos de conexión habilitados para la puerta de enlace de IA de Unity.
- Cuando se utilizan barreras de seguridad de IA, el tamaño de lote de la solicitud, ya sea un tamaño de lote de incrustaciones, un tamaño de lote de finalizaciones o el parámetro
nen las solicitudes de chat, no puede superar los 16. - Si utiliza la función que llama a y especifica barreras de protección de la IA, esas barreras no se aplican a las solicitudes ni a las respuestas intermedias de la función. Sin embargo, los límites de protección se aplican a la respuesta final de la salida.
- No se admiten cargas de trabajo de texto a imagen.
- Solo se permite el seguimiento del uso para cargas de trabajo de inferencia por lotes en los endpoints de pago por token que tienen habilitadas las características de Unity AI Gateway. En la tabla del
endpoint_usagesistema solo están visibles las filas correspondientes a la solicitud de inferencia por lotes. - No se admiten límites de protección y reserva de IA en puntos de conexión de servicio de modelos personalizados.
- En el caso de los puntos de conexión de servicio de modelos personalizados, solo las cargas de trabajo que no están optimizadas para rutas admiten la limitación de velocidad y el seguimiento del uso.
- Las tablas de inferencia para los endpoints de servicio de modelos optimizados por ruta están en versión preliminar pública.
- Consulte limitaciones de la tabla de inferencia habilitada por la puerta de enlace de IA de Unity para más información sobre las limitaciones de la tabla de inferencia.