Среда искусственного интеллекта Databricks

Среда ИИ Databricks — это курированная среда выполнения с поддержкой GPU, адаптированная для разработки ИИ. Она поддерживается в бессерверной среде GPU 4 и выше.

Эта новая среда упрощает разработку, предоставляя полностью готовый стек библиотек для машинного обучения (включая платформы, такие как PyTorch, HuggingFace Transformers и т. д.) и встроенную поддержку gpu. Он интегрируется с записными книжками Databricks, каталогом Unity и MLflow, предоставляя интегрированный интерфейс. В среде ИИ команды машинного обучения могут просто выбрать готовый кластер GPU и сразу начать обучение моделей, а не тратить дни на настройку и устранение неполадок.

Подключение к среде ИИ

Чтобы использовать среду ИИ Databricks из блокнота Databricks, подключенного к бессерверному вычислителю GPU:

1. В записной книжке вверху страницы щелкните раскрывающееся меню Подключиться и выберите Serverless GPU.
2. Щелкните чтобы открыть боковую панель окружения.
3. Выберите A10 из поля Ускоритель.
4. Выберите AI v4 для среды AI из поля Base environment.
5. Если вы выбрали "Нет" в поле "Базовая среда ", выберите версию среды.
6. Нажмите Применить, а затем подтвердите, что вы хотите использовать бессерверные вычисления GPU в среде вашего ноутбука.

Чтобы настроить среду ИИ Databricks для задания записной книжки на бессерверном GPU:

1. Из настроек задания для записной книжки выберите "Изменить среду записной книжки" в разделе Среда и библиотеки.
2. Щелкните чтобы открыть боковую панель окружения.
3. Выберите ИИ v4 из поля Базовая среда для среды ИИ.

Новые запуски заданий смогут подключиться к среде ИИ Databricks.

Часто задаваемые вопросы

Какова разница между средой ИИ Databricks и средой в Databricks Runtime для машинного обучения?

Среда выполнения Databricks для машинного обучения и среды ИИ Databricks предоставляют предварительно настроенную среду вычислений, адаптированную для вариантов использования ИИ/ML. Хотя среда выполнения Databricks для машинного обучения используется с классическими вычислительными ресурсами, среда ИИ Databricks предназначена для бессерверных вычислений GPU.

Среда выполнения Databricks для машинного обучения и среды ИИ Databricks включают общие пакеты машинного обучения с некоторыми различиями. В частности, среда ИИ Databricks включает более обновленные пакеты, но не включает Tensorflow и GraphFrames. Дополнительные сведения о том, что входит в среду ИИ Databricks и Databricks Runtime для машинного обучения, см. в заметках о выпуске бессерверной среды и заметках о выпуске Databricks Runtime.

Известные проблемы

• Среда ИИ Databricks не работает с полем "Среда и библиотеки " в конфигурации задачи для заданий записной книжки. Если вы создадите новую среду заданий из этого поля, возможно, не сможете выбрать среду ИИ Databricks.
• Среда ИИ Databricks не поддерживает экспорт среды.