Entrenar modelos de IA y ML

Azure Databricks ofrece soluciones de proceso flexibles adaptadas a diferentes necesidades de aprendizaje automático, desde entornos de ejecución de clúster administrados hasta entornos de GPU sin servidor.

Compute	Descripción
Proceso de GPU sin servidor	Entorno de proceso de GPU sin servidor optimizado para cargas de trabajo personalizadas de aprendizaje profundo de un solo nodo y de varios nodos.
Databricks Runtime para Aprendizaje Automático	Entorno de proceso clásico con bibliotecas pregeneradas para cargas de trabajo clásicas de aprendizaje automático y aprendizaje profundo.

Proceso de GPU sin servidor (Beta)

Importante

Esta característica se encuentra en su versión beta. Los administradores del área de trabajo pueden controlar el acceso a esta característica desde la página Vistas previas . Consulte Administración de versiones preliminares de Azure Databricks.

La computación de GPU sin servidor es una oferta especializada dentro del ecosistema sin servidor de Databricks. Está optimizado para cargas de trabajo personalizadas de aprendizaje profundo de un solo nodo y de varios nodos, como la optimización de llms o el entrenamiento de modelos de Computer Vision.

Entre las características principales se incluyen:

• Disponibilidad instantánea: quita la necesidad de administrar la infraestructura de clúster subyacente, lo que le permite conectar un cuaderno directamente a los recursos de GPU sin servidor.
• Hardware de alto rendimiento: proporciona acceso a las GPU A10 para tareas rentables.
• Entornos administrados: ofrece un entorno base predeterminado para la personalización completa o un entorno de inteligencia artificial precargado con paquetes comunes de APRENDIZAJE automático como Transformers y Ray.
• Escalado flexible: admite el entrenamiento distribuido en varias GPU y nodos.

Databricks Runtime para Aprendizaje Automático

Databricks Runtime para Machine Learning es un entorno de ejecución especializado que automatiza la creación de recursos de proceso con infraestructura precompilada. Está diseñado para los usuarios que desean un entorno completo y listo para usar tanto para el aprendizaje automático clásico como para el aprendizaje profundo.

Entre las características principales se incluyen:

• Bibliotecas preinstaladas: incluye bibliotecas populares como PyTorch, TensorFlow y XGBoost, que reciben actualizaciones frecuentes y compatibilidad optimizada.
• Versatilidad de proceso: admite los tipos de instancia basados en CPU y GPU, incluido AWS Graviton para mejorar el precio al rendimiento.
• Optimización: ofrece integración con Photon para acelerar Spark SQL, DataFrames y tareas de ingeniería de características.
• Control de acceso: requiere un modo de acceso dedicado para el acceso seguro a los datos a través del catálogo de Unity.