Настройка среды

Это важно

Эта функция доступна в общедоступной предварительной версии.

AI Runtime предоставляет две управляемые среды выполнения Python для бессерверных вычислений на GPU. Стандартная среда включает cuda. Начиная с версии среды 5, torch и torchvision больше не предустановлены. Среда искусственного интеллекта Databricks предварительно оснащена PyTorch, Transformers и другими фреймворками для машинного обучения и глубокого обучения. Выберите стандартную среду для полного контроля над стеком зависимостей или средой ИИ для подготовки к обучению. Вы можете начать с любой среды и самостоятельно установить новые пакеты.

Tip

• Выберите среду Standard для полного контроля над зависимостями или среду AI Databricks для готового стека машинного обучения.
• Стандарт включает cuda. Начиная с версии среды 5, torch и torchvision не предустановлены. Среда ИИ включает PyTorch, Transformers и многое другое.
• Установите дополнительные пакеты с помощью %uv pip install (в окружении версии 5 и выше) или %pip install в блокноте, либо с помощью environment.dependencies в командной строке.

Какая среда используется

Среда выполнения ИИ предлагает две управляемые Python среды, среду Standard и среду ИИ Databricks.

Окружающая среда	Основные характеристики	Когда использовать
Стандартная среда	Минимальный; включает в себя cuda. Начиная с версии среды 5, torch и torchvision больше не предустановлены.	Вы хотите полный контроль над стеком зависимостей и предпочитаете устанавливать только то, что вам нужно.
Среда искусственного интеллекта Databricks	Предварительно установлены популярные платформы машинного обучения (PyTorch, Transformers и многое другое)	Требуется полная среда для обучения, тонкой настройки и экспериментирования без ручного управления зависимостями

Вы также можете использовать базовую среду рабочего пространства , которую создал администратор для AI Runtime. См. Сборка для бессерверных GPU-вычислений (среда выполнения ИИ).

Чтобы выбрать среду в блокноте, откройте боковую панель Окружение и выберите базовую среду:

Стандартная среда (минимальная среда)

Минимальная стабильная среда, содержащая только необходимые пакеты для операции среды выполнения ИИ. Среда включает cuda поддержку GPU. Начиная с версии среды 5, torch и torchvision больше не предустановлены. Установите версии, необходимые для вашей рабочей нагрузки, с помощью %uv pip install или %pip install. Сведения о пакетах, установленных в каждой версии среды, см. в приведенных ниже заметках о выпуске.

Лучше всего: пользователи, которые хотят полного контроля над стеком зависимостей и предпочитают устанавливать только то, что им нужно.

Чтобы выбрать нужный вариант: на боковой панели Среда выберите Standard v6 в качестве базовой среды.

Дополнительные сведения о версиях пакетов, установленных в различных версиях ПО, см. в примечаниях к выпуску.

• GPU-среда 6
• Среда GPU 5
• Среда GPU 4

Среда Databricks AI

Доступно в среде 4 и более поздних версий. Среда ИИ основана на стандартной среде с общими пакетами среды выполнения и пакетами, характерными для машинного обучения на GPU. К предварительно установленным пакетам относятся:

• PyTorch (с поддержкой CUDA)
• Трансформеры (Hugging Face)
• И дополнительные зависимости ML/DL

Оптимально для специалистов по машинному обучению, которые хотят полной среды для обучения модели, доводки и экспериментирования без ручного управления зависимостями.

Чтобы выбрать нужный вариант: на боковой панели Окружение выберите AI v6 как базовую среду.

Дополнительные сведения о версиях пакетов, установленных в различных версиях ПО, см. в примечаниях к выпуску.

• Среда ИИ 6
• Среда ИИ 5
• Среда ИИ 4

Установка дополнительных пакетов

Можно начать с управляемой среды или базовой рабочей среды и установить свои собственные пакеты на Python поверх неё. Способ установки зависит от того, как вы подключаетесь к AI Runtime.

В блокноте

Устанавливайте пакеты в начале ноутбука или скрипта обучения с помощью %uv pip, который устанавливает их через uv и делает это быстрее, чем %pip. Зафиксируйте версии, чтобы запуски оставались воспроизводимыми:

%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"

Полное справочное руководство по %pip и %uv pip, включая сведения о том, какие версии среды поддерживают каждую из них, см. в «Управление библиотеками с помощью команд %uv».

Когда вы используете декоратор @distributed для нагрузок с использованием нескольких GPU, пакеты, которые вы устанавливаете до вызова .distributed(), автоматически сохраняются в виде снимка и распространяются на все распределённые процессы. Общий размер установленных пакетов не должен превышать 15 ГБ. Дополнительные сведения см. в разделе "Добавление зависимостей" в записную книжку.

С помощью интерфейса командной строки

air CLI использует те же управляемые среды. Выберите один вариант с помощью environment.version, затем перечислите пакеты, которые нужно установить поверх него, в разделе environment.dependencies YAML-файла вашей рабочей нагрузки. CLI устанавливает их в выбранную среду с помощью uv, так что вам не нужно самостоятельно управлять отдельной виртуальной средой:

environment:
  version: '6'
  dependencies:
    - trl==1.1.0
    - transformers==5.5.4

Чтобы вместо этого начать со среды Databricks AI, установите для version значение идентификатора среды ИИ, например databricks_ai_v5. Сведения о полном описании формата зависимостей, поддерживаемых флагах установки и поддержке пользовательских образов Docker см. в разделе Зависимости Python.

Базовые среды рабочего пространства

Администратор рабочей области может создать базовую среду рабочей области для бессерверных вычислений GPU, что делает его доступным для всех пользователей в рабочей области с помощью раскрывающегося меню базовой среды . Подробнее см. статью Сборка для бессерверных GPU-вычислений (AI Runtime).

Чтобы использовать базовую среду в планируемой рабочей нагрузке, укажите её идентификатор в блоке environments задания или пакета. Например, задача Declarative Automation Bundles выбирает среду Databricks AI:

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: default
      environments:
        - environment_key: default
          spec:
            base_environment: databricks_ai_v6

Полный пример задания см. в Планирование с использованием Jobs API и пакетов декларативной автоматизации.

Кэширование окружения и пользовательские модули

Когда кэшируются среды?

AI Runtime кэширует среду блокнота, поэтому, когда вы снова открываете блокнот, вам не нужно заново устанавливать пакеты. Для подробностей см. Сброс зависимостей окружения.

Кэш применяется к интерактивным блокнотам. Рабочие нагрузки, выполняемые через air CLI или запланированные как задачи, не используют этот кэш; каждый запуск устанавливает свои зависимости заново.

Рекомендуется фиксировать версии пакетов, чтобы закэшированная среда оставалась пригодной, а запуски — воспроизводимыми.

Как импортировать пользовательские модули?

Следующие шаги показывают, как использовать собственные модули на Python.

1. Синхронизируйте свой код с рабочим пространством. Клонируйте репозиторий Git в рабочую область через папку Git или загрузите файлы напрямую как файлы рабочей области. Храните общий код в папке /Workspace/Shared для командных проектов или в папке пользователя для личной разработки. Хранение кода в папке Git позволяет контролировать версию.
2. Добавьте папку в sys.path и импортируйте её в начале блокнота или скрипта обучения:

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Ограничения

Следующие возможности недоступны в среде выполнения ИИ:

• Функции Spark: нельзя напрямую импортировать или использовать функции PySpark. Среда выполнения ИИ — это среда, доступная только для Python; Spark недоступна в качестве локальной среды выполнения. Однако Spark Connect доступен для загрузки данных. См. Загрузка данных в среде выполнения ИИ.
• Библиотеки машинного обучения в Databricks Runtime: предварительно установленные пакеты не заменяют Databricks Runtime ML. Некоторые библиотеки машинного обучения, доступные в Databricks Runtime ML, могут не быть предварительно установлены в среде выполнения ИИ.
• Частные артефакты: среда выполнения ИИ поддерживает частные артефакты в определенных случаях. Для получения дополнительных сведений свяжитесь с вашей командой по работе с клиентами.