Entorno de inteligencia artificial de Databricks

El entorno de inteligencia artificial de Databricks es un entorno de ejecución habilitado para GPU seleccionado adaptado para el desarrollo de inteligencia artificial. Se admite en el entorno de GPU sin servidor a partir de la versión 4.

Este nuevo entorno simplifica el desarrollo mediante la entrega de una pila de bibliotecas totalmente preconfigurada para el aprendizaje automático (incluidos marcos como PyTorch, HuggingFace Transformers, etc.) y compatibilidad nativa con GPU. Se integra con cuadernos de Databricks, Catálogo de Unity y MLflow, lo que proporciona una experiencia integrada. Con el entorno de inteligencia artificial, los equipos de APRENDIZAJE automático simplemente pueden seleccionar un clúster de GPU listo para ejecutarse y empezar a entrenar modelos inmediatamente, en lugar de pasar días en la configuración y la solución de problemas.

Conexión al entorno de inteligencia artificial

Para usar el entorno de inteligencia artificial de Databricks desde un notebook de Databricks conectado a una GPU sin servidor:

1. En un cuaderno, haga clic en el menú desplegable Conectar en la parte superior y seleccione GPU sin servidor.
2. Haga clic en el para abrir el panel lateral Entorno.
3. Seleccione A10 en el campo Acelerador .
4. Seleccione AI v4 para el entorno de IA en el campo Entorno base .
5. Si eligió Ninguno en el campo Entorno base , seleccione la versión del entorno.
6. Haga clic en Aplicar y, a continuación, confirme que desea aplicar el cómputo de GPU sin servidor a su entorno de notebook.

Para configurar el entorno de Databricks AI para un trabajo de notebook con GPU sin servidor:

1. En la configuración del trabajo del cuaderno, haga clic en Editar el entorno del cuaderno en la sección Entorno y bibliotecas .
2. Haga clic en el para abrir el panel lateral Entorno.
3. Seleccione AI v4 para el entorno de IA en el campo Entorno base .

Las nuevas ejecuciones de trabajo podrán recoger el entorno de inteligencia artificial de Databricks.

Preguntas más frecuentes

¿Cuál es la diferencia entre el entorno de inteligencia artificial de Databricks y el entorno en Databricks Runtime para Machine Learning?

Tanto Databricks Runtime para Machine Learning como el entorno de inteligencia artificial de Databricks proporcionan un entorno de proceso preconfigurado adaptado para casos de uso de IA/ML. Aunque Databricks Runtime para Machine Learning se usa con recursos de proceso clásicos, el entorno de inteligencia artificial de Databricks es para el proceso de GPU sin servidor.

Tanto el entorno de Databricks Runtime para Machine Learning como el entorno de inteligencia artificial de Databricks incluyen paquetes comunes de aprendizaje automático, con algunas diferencias. En particular, el entorno de inteligencia artificial de Databricks incluye paquetes más actualizados, pero no incluye Tensorflow y GraphFrames. Para obtener más información sobre lo que se incluye en el entorno de Inteligencia Artificial de Databricks y Databricks Runtime para Machine Learning, consulte las notas de la versión del entorno sin servidor y las notas de la versión de Databricks Runtime.

Problemas conocidos

• El entorno de inteligencia artificial de Databricks no funciona con el campo Entorno y bibliotecas en la configuración de tareas para tareas de cuadernos. Si crea un nuevo entorno de trabajos desde ese campo, es posible que no pueda seleccionar el entorno de Inteligencia artificial de Databricks.
• El entorno de inteligencia artificial de Databricks no admite la exportación del entorno.