Actualización de flujos de trabajo de ML a modelos de destino en Unity Catalog

En este artículo se explica cómo migrar y actualizar flujos de trabajo de Databricks para usar modelos en Unity Catalog.

Requisitos

Privilegios requeridos

Para ejecutar un flujo de trabajo de entrenamiento, implementación o inferencia de modelos en Unity Catalog, la entidad de seguridad que ejecuta el flujo de trabajo debe tener los privilegios USE CATALOG y USE SCHEMA en el catálogo y el esquema que contiene el modelo.

También se requieren los siguientes privilegios:

• Para crear un modelo, la entidad de seguridad debe tener el privilegio CREATE MODEL.
• Para cargar o implementar un modelo, la entidad de seguridad debe tener el privilegio EXECUTE en el modelo registrado.

Solo el propietario de un modelo registrado puede hacer lo siguiente:

• Creación de una nueva versión del modelo.
• Establece un alias en un modelo registrado.

Requisitos de proceso

El recurso de proceso especificado para el flujo de trabajo debe tener acceso a Unity Catalog. Consulte Modos de acceso.

Crea flujos de trabajo paralelos de entrenamiento, implementación e inferencia

Para actualizar los flujos de trabajo de entrenamiento e inferencia de modelos a Unity Catalog, Databricks recomienda un enfoque incremental en el que se crea una canalización de entrenamiento, implementación e inferencia paralelas que aprovechan los modelos en El catálogo de Unity. Cuando esté familiarizado con los resultados mediante el catálogo de Unity, puede cambiar a los consumidores de nivel inferior para leer la salida de inferencia por lotes o aumentar el tráfico enrutado a los modelos en el catálogo de Unity en los puntos de conexión de servicio.

Flujo de trabajo de entrenamiento de modelo

Clone el flujo de trabajo de entrenamiento del modelo. Confirma que la entidad de seguridad que ejecuta el flujo de trabajo y el proceso especificado para el flujo de trabajo cumplen los requisitos.

A continuación, modifica el código de entrenamiento del modelo en el flujo de trabajo clonado. Es posible que tengas que clonar el cuaderno ejecutado por el flujo de trabajo o crear y tener como destino una nueva rama de git en el flujo de trabajo clonado. Sigue estos pasos para instalar la versión necesaria de MLflow y configurar el cliente para que tenga como destino en el Unity Catalog en el código de entrenamiento. A continuación, actualiza el código de entrenamiento del modelo para registrar modelos en Unity Catalog. Consulta Entrenamiento y registro de modelos compatibles con el Unity Catalog.

Flujo de trabajo de implementación de modelos

Clona el flujo de trabajo de implementación de modelo. Confirma que la entidad de seguridad que ejecuta el flujo de trabajo y el proceso especificado para el flujo de trabajo cumplen los requisitos.

Si tiene lógica de validación de modelos en el flujo de trabajo de implementación, actualícela para cargar las versiones del modelo desde UC. Use alias para administrar los lanzamientos de modelos de producción.

Flujo de trabajo de inferencia de modelos

Flujo de trabajo de inferencia por lotes

Clona el flujo de trabajo de inferencia por lotes. Confirma que la entidad de seguridad que ejecuta el flujo de trabajo y el proceso especificado para el flujo de trabajo cumplen los requisitos.

Flujo de trabajo de servicio de modelos

Si estás utilizando el servicio de modelos de Mosaic AI, no necesitas clonar tu punto de conexión existente. En su lugar, usa la característica de división de tráfico para empezar a enrutar una pequeña fracción del tráfico a los modelos en Unity Catalog. A medida que revises los resultados mediante Unity Catalog, aumenta la cantidad de tráfico hasta que se vuelva a enrutar todo el tráfico.

Promover un modelo entre entornos

La promoción de un modelo entre entornos funciona de forma diferente con modelos en el Unity Catalog. Para más información, consulta Promover un modelo entre entornos.

Usar webhooks de trabajo para la aprobación manual de la implementación de modelo

Databricks recomienda automatizar la implementación de modelos si es posible, mediante comprobaciones y pruebas adecuadas durante el proceso de implementación del modelo. Sin embargo, si necesitas realizar aprobaciones manuales para implementar modelos de producción, puedes usar notificaciones de trabajo para llamar a sistemas externos de CI/CD para solicitar la aprobación manual para implementar un modelo, después de que el trabajo de entrenamiento del modelo se complete correctamente. Una vez proporcionada la aprobación manual, el sistema de CI/CD puede implementar la versión del modelo para atender el tráfico, por ejemplo estableciendo el alias "Champion" en él.