Añadir un recurso de servicio de modelo Unity Gateway a una aplicación Databricks

Importante

Esta característica está en versión preliminar pública.

Añade servicios de modelos de Unity Gateway como recursos de Databricks Apps para que tu app pueda enviar solicitudes de inferencia, incluyendo chat, completaciones e incrustaciones, a modelos de IA gobernados en Unity Catalog. Los servicios de modelos de Unity Gateway incluyen modelos fundacionales de pago por token disponibles en system.ai, así como los servicios de modelos que crees.

Note

La atribución de uso para los servicios de modelo de Unity Gateway es precisa solo para aplicaciones estándar de Databricks. Las aplicaciones que se ejecutan en un entorno micro VM, como las apps Genie app builder, no reportan una atribución precisa de uso.

Consulta el seguimiento de uso de Unity Gateway.

Requisitos de privilegios

Para acceder a un servicio de modelo de Unity Gateway, el principal de servicio de la aplicación debe tener el privilegio USE CATALOG sobre el catálogo padre, el privilegio USE SCHEMA sobre el esquema padre y el privilegio EXECUTE sobre el servicio de modelo. Cuando añades el recurso del servicio de modelos, Azure Databricks concede automáticamente estos privilegios al principal de servicio de la app.

Para que esta concesión automática se realice correctamente, uno de los siguientes valores debe ser verdadero para cada privilegio.

• Para USE CATALOG: todos los usuarios de la cuenta tienen el USE CATALOG privilegio en el catálogo, o todos tienen el MANAGE privilegio en el catálogo.
• Para USE SCHEMA: o todos los usuarios de la cuenta tienen el USE SCHEMA privilegio en el esquema, o usted tiene el MANAGE privilegio en el esquema.
• Para EXECUTE: O bien todos los usuarios de la cuenta tienen el EXECUTE privilegio sobre el servicio modelo, o tú tienes el MANAGE privilegio sobre el servicio modelo.

Consulte Referencia de privilegios del catálogo de Unity.

Añadir un recurso de servicio de modelo de Unity Gateway

Antes de añadir un servicio de modelo de Unity Gateway como recurso, revisa los requisitos previos de recursos de la app.

1. En la sección de recursos de la App, cuando crees o edites una app, haz clic en + Añadir recurso>Modelo.
2. En el selector de recursos, selecciona un servicio modelo de la sección Unity Gateway . El selector también muestra endpoints de servicio personalizados bajo una sección Serving Endpoints. Para conectar uno de estos endpoints, consulte Añadir un recurso de endpoint de servicio de modelos a una aplicación de Databricks. Para usar un modelo fundacional de pago por token, selecciona un servicio de modelos del system.ai catálogo.
3. Seleccione el nivel de permiso de la aplicación:
   • Puede ejecutarse: Concede al principal del servicio de la aplicación el EXECUTE privilegio de enviar solicitudes de inferencia al servicio modelo. Este es el único nivel de permiso disponible para un servicio de modelo.
4. (Opcional) Especifica una clave de recurso personalizada, que es como referencias el servicio de modelos en la configuración de tu app. La clave predeterminada es model.

Configurar con Databricks Asset Bundles

Si defines tu aplicación usando Declarative Automation Bundles, añade el servicio de modelo como recurso uc_securable en la configuración de tu paquete:

resources:
  apps:
    my_app:
      name: 'my-app'
      source_code_path: ./app
      resources:
        - name: 'model'
          uc_securable:
            securable_full_name: '<catalog>.<schema>.<model_service>'
            securable_type: 'MODEL_SERVICE'
            permission: 'EXECUTE'

Para información sobre recursos de aplicaciones en Declarative Automation Bundles, consulta app.resources.

Variables de entorno

Cuando despliegas una aplicación con un recurso de servicio de modelos de Unity Gateway, Azure Databricks expone el nombre completo de tres partes de Unity Catalog del servicio de modelos a través de variables de entorno que puedes consultar usando el campo valueFrom.

Configuración de ejemplo:

env:
  - name: MODEL_SERVICE_NAME
    valueFrom: model # Use your custom resource key if you set one

El campo valueFrom se resuelve como el nombre completo de Unity Catalog de tres partes del servicio de modelo (por ejemplo, system.ai.databricks-dbrx-instruct). Utiliza este nombre al llamar al servicio de modelos a través del SDK de Azure Databricks o la API REST de Unity Gateway.

Para obtener más información, consulte Uso de variables de entorno para acceder a los recursos.

Eliminar un recurso del servicio de modelos de Unity Gateway

Cuando eliminas un recurso modelo de servicio Unity Gateway de una app, la entidad de servicio de la app pierde el EXECUTE privilegio en el servicio de modelo. El servicio modelo en sí permanece sin cambios y sigue disponible para otros usuarios y aplicaciones que tengan los permisos correspondientes.

Procedimientos recomendados

Considera lo siguiente cuando trabajes con los recursos del servicio de modelos Unity Gateway:

• EXECUTE es el único nivel de permiso disponible. Concede a la aplicación acceso para enviar solicitudes de inferencia y no concede privilegios administrativos sobre el servicio modelo.
• Para usar modelos fundacionales de pago por token sin configuración adicional, selecciona un servicio de modelo del catálogo system.ai.
• La variable de entorno se resuelve en el nombre completo de tres partes del Catálogo de Unity (catalog.schema.model_service). Utiliza este valor al llamar al servicio de modelos a través del SDK de Azure Databricks o la API REST.
• Gestiona los errores de inferencia y los límites de tasa en el código de tu app. Unity Gateway aplica los límites de tasa y las barreras de seguridad configuradas en cada servicio de modelo.
• El selector de recursos de modelos también lista los endpoints clásicos de servicio de modelos, agrupados bajo una sección de Serving Endpoints. Los servicios de modelo y los endpoints de servicio pueden coexistir en la misma aplicación.