Límites y regiones de servicio de modelos

En este artículo se resumen las limitaciones y la disponibilidad de regiones para los tipos de punto de conexión admitidos y Mosaic AI Model Serving.

Limitaciones

Mosaic AI Model Serving impone límites predeterminados para garantizar un rendimiento confiable. Si quiere realizar algún comentario acerca de estos límites, póngase en contacto con el equipo de su cuenta de Databricks.

En la tabla siguiente se resumen las limitaciones de recursos y carga útil para los puntos de conexión del servicio de modelos.

Característica	Granularidad	Límite
Tamaño de carga	Por solicitud	16 MB. En el caso de los puntos de conexión que sirven a modelos de base o modelos externos, el límite es de 4 MB.
Consultas por segundo (QPS)	Por área de trabajo	200 QPS. Puede aumentarse a 3000 o más poniéndose en contacto con el equipo de su cuenta Databricks.
Duración de ejecución del modelo	Por solicitud	120 segundos
Uso de memoria del modelo de punto de conexión de CPU	Por punto de conexión	4 GB
Uso de memoria del modelo de punto de conexión de GPU	Por punto de conexión	Mayor o igual que la memoria de GPU asignada, depende del tamaño de la carga de trabajo de GPU
Simultaneidad aprovisionada	Por área de trabajo	Simultaneidad de 200. Se puede aumentar poniéndose en contacto con el representante de su cuenta de Databricks.
Latencia de sobrecarga	Por solicitud	Menos de 50 milisegundos
Límites de velocidad de las API de Foundation Model (pago por token)	Por área de trabajo	Si los límites siguientes son insuficientes para el caso de uso, Databricks recomienda usar el rendimiento aprovisionado. - Llama 3.1 70B Indica tiene un límite de 2 consultas por segundo y 1200 consultas por hora. - Llama 3.1 405B Indica tiene un límite de 1 consulta por segundo y 1200 consultas por hora. - El modelo DBRX Instruct tiene un límite de 1 consulta por segundo. - Llama 2 70B Chat y Mixtral-8x 7B Instruct tienen un límite de volumen predeterminado de 2 consultas por segundo. - GTE Large (En) tiene un límite de volumen de 150 consultas por segundo. - BGE Large (En) tiene un límite de volumen de 600 consultas por segundo.
Límites de velocidad de las API de Foundation Model (rendimiento aprovisionado)	Por área de trabajo	Igual que el límite de QPS de servicio de modelos enumerado anteriormente.

Los puntos de conexión de servicio de modelos están protegidos por el control de acceso y respetan las reglas de entrada relacionadas con las redes configuradas en el área de trabajo, como listas de direcciones IP permitidas y Private Link.

También pueden existir limitaciones adicionales:

• Es posible implementar un área de trabajo en una región admitida, pero ser atendida por un plano de control de otra región. Estas áreas de trabajo no admiten Model Serving y generan un mensaje de error que indica que no se admite el área de trabajo. Póngase en contacto con el equipo de la cuenta de Azure Databricks para obtener más información.
• Model Serving no admite scripts de inicialización.
• De manera predeterminada, Model Serving no admite Private Link a puntos de conexión externos (como Azure OpenAI). La compatibilidad con esta funcionalidad se evalúa e implementa por región. Póngase en contacto con el equipo de la cuenta de Azure Databricks para obtener más información.

Límites de las API de Foundation Model

Nota:

Como parte de proporcionar las API de Foundation Model, Databricks puede procesar los datos fuera de la región donde se originaron los datos, pero no fuera de la ubicación geográfica pertinente.

A continuación se muestran los límites pertinentes para las cargas de trabajo de las API de Foundation Model:

• Rendimiento aprovisionado admite el perfil de cumplimiento de HIPAA y debe usarse para cargas de trabajo que requieren certificaciones de cumplimiento.
• Para cargas de trabajo de Pago por tokens, esta funcionalidad no cumple con la HIPAA ni con el perfil de seguridad de cumplimiento.
• Para los puntos de conexión de las API de Foundation Model, solo los administradores del área de trabajo pueden cambiar la configuración de gobernanza, como los límites de velocidad. Para cambiar los límites de frecuencia, siga estos pasos:
  1. Abra la interfaz de usuario de servicio en el área de trabajo para ver los puntos de conexión de servicio.
  2. En el menú kebab del punto de conexión de las API de Foundation Model que desea editar, seleccione Ver detalles.
  3. En el menú kebab de la parte superior derecha de la página de detalles de los puntos de conexión, seleccione Límite de frecuencia de cambio.
• Para usar la arquitectura del modelo DBRX para una carga de trabajo de rendimiento aprovisionada, el punto de conexión de servicio debe estar en una de las siguientes regiones:
  • eastus
  • eastus2
  • westus
  • centralus
  • westeurope
  • northeurope
  • australiaeast
  • canadacentral
  • brazilsouth
• Solo los modelos GTE Large (En) y Meta Llama 3.1 70B Instruct están disponibles en regiones compatibles de la UE y EE. UU. de pago por token.
• Los siguientes modelos de pago por token solo se admiten en las regiones de EE. UU. compatibles con el pago por token de las API de Foundation Model:
  • Meta Llama 3.1 405B Instruct
  • DBRX Instruct
  • Mixtral-8x7B Instruct
  • BGE Large (En)
  • Llama 2 70B Chat

Disponibilidad regional

Nota:

Si necesita un punto de conexión en una región no admitida, póngase en contacto con el equipo de la cuenta de Azure Databricks.

Para más información sobre la disponibilidad regional de funciones, consulte Modelo que atiende la disponibilidad regional.