Настройка среды

Это важно

Эта функция доступна в общедоступной предварительной версии.

AI Runtime предоставляет две управляемые среды Python для бессерверных вычислений на GPU: минимальную стандартную среду с torch, cuda и torchvision, а также среду Databricks AI с предустановленными PyTorch, Transformers и другими фреймворками машинного и глубокого обучения. Выберите стандартную среду для полного контроля над стеком зависимостей или средой ИИ для подготовки к обучению. Вы также можете начать с любого окружения и добавить пакеты с помощью %pip install.

Какая среда используется

Среда выполнения ИИ предлагает две управляемые Python среды, среду Standard и среду ИИ Databricks.

Окружающая среда Основные характеристики Когда использовать
Стандартная среда Минимальный; включает в себя cuda. Начиная с версии среды 5, torch и torchvision больше не предустановлены. Вы хотите полный контроль над стеком зависимостей и предпочитаете устанавливать только то, что вам нужно.
Среда искусственного интеллекта Databricks Предварительно установлены популярные платформы машинного обучения (PyTorch, Transformers и многое другое) Требуется полная среда для обучения, тонкой настройки и экспериментирования без ручного управления зависимостями

Вы также можете использовать базовую среду рабочей области , созданную администратором рабочей области для бессерверных вычислений GPU. См. Сборка для бессерверных GPU-вычислений (среда выполнения ИИ).

Стандартная среда (минимальная среда)

Минимальная стабильная среда, содержащая только необходимые пакеты для операции среды выполнения ИИ. Среда включает cuda поддержку GPU. Начиная с версии среды 5, torch и torchvision больше не предустановлены. Установите версии, необходимые для вашей рабочей нагрузки, с помощью pip install. Сведения о пакетах, установленных в каждой версии среды, см. в приведенных ниже заметках о выпуске.

Лучше всего: пользователи, которые хотят полного контроля над стеком зависимостей и предпочитают устанавливать только то, что им нужно.

Чтобы выбрать базовую среду: на боковой панели Среда выберите Standard v5 или Standard v4 в качестве базовой среды.

Дополнительные сведения о версиях пакетов, установленных в различных версиях ПО, см. в примечаниях к выпуску.

Среда Databricks AI

Доступно в среде 4 и более поздних версий. Среда ИИ основана на стандартной среде с общими пакетами среды выполнения и пакетами, характерными для машинного обучения на GPU. К предварительно установленным пакетам относятся:

  • PyTorch (с поддержкой CUDA)
  • Трансформеры (Hugging Face)
  • И дополнительные зависимости ML/DL

Оптимально для специалистов по машинному обучению, которые хотят полной среды для обучения модели, доводки и экспериментирования без ручного управления зависимостями.

Чтобы выбрать: на боковой панели среды выберите ai версии 5 или AI версии 4 в качестве базовой среды.

Дополнительные сведения о версиях пакетов, установленных в различных версиях ПО, см. в примечаниях к выпуску.

Базовые среды рабочего пространства

Администратор рабочей области может создать базовую среду рабочей области для бессерверных вычислений GPU, что делает его доступным для всех пользователей в рабочей области с помощью раскрывающегося меню базовой среды . Подробнее см. статью Сборка для бессерверных GPU-вычислений (AI Runtime).

Вы также можете настроить среду глубокого обучения для каждого проекта, начиная с одной из предоставленных базовых сред (по умолчанию или Databricks AI) и устанавливая дополнительные пакеты программным способом с помощью %pip install записной книжки или в верхней части скрипта обучения:

%pip install "trl==1.1.0"
%pip install "peft==0.19.1"
%pip install "transformers==5.5.4"
%pip install "fsspec==2024.9.0"
%pip install "huggingface_hub==1.11.0"
%pip install "datasets==3.2.0"
%pip install "accelerate==1.13.0"

При использовании декоратора @distributed для задач с несколькими GPU пакеты, установленные с помощью %pip install до вызова .distributed(), автоматически сохраняются в виде снимка и передаются всем распределённым процессам. Общий размер установленных пакетов не должен превышать 15 ГБ.

Дополнительные сведения см. в разделе "Добавление зависимостей" в записную книжку.

Кэширование окружения и пользовательские модули

Когда кэшируются среды?

Среды кэшируются на протяжении нескольких сеансов для ускорения времени запуска. При повторном подключении к среде выполнения ИИ с той же конфигурацией среды ранее установленные пакеты могут быть доступны из кэша, уменьшая время установки.

Однако поведение кэша не гарантируется, поэтому всегда убедитесь, что записная книжка содержит необходимые %pip install команды для воспроизведения.

Как импортировать пользовательские модули?

Пользовательские модули можно импортировать, разместив их /Workspace/Shared и добавив путь к sys.path:

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Вы также можете отправлять файлы модулей в виде файлов рабочей области и импортировать их напрямую. Для совместной работы с несколькими пользователями храните общий код /Workspace/Shared вместо папок, относящихся к пользователю. Для активной разработки используйте папки для конкретного пользователя и отправьте их в удаленный репозиторий Git для управления версиями.

Ограничения

Следующие возможности недоступны в среде выполнения ИИ:

  • Функции Spark: нельзя напрямую импортировать или использовать функции PySpark. Среда выполнения ИИ — это среда, доступная только для Python; Spark недоступна в качестве локальной среды выполнения. Однако Spark Connect доступен для загрузки данных. См. Загрузка данных в среде выполнения ИИ.
  • Библиотеки машинного обучения в Databricks Runtime: предварительно установленные пакеты не заменяют Databricks Runtime ML. Некоторые библиотеки машинного обучения, доступные в Databricks Runtime ML, могут не быть предварительно установлены в среде выполнения ИИ.
  • Частные артефакты: среда выполнения ИИ поддерживает частные артефакты в определенных случаях. Для получения дополнительных сведений свяжитесь с вашей командой по работе с клиентами.
  • Last updated on