Настройка среды

AI Runtime предоставляет две управляемые среды Python. Стандартная среда включает cuda. Начиная с версии среды 5, torch и torchvision больше не предустановлены. Среда искусственного интеллекта Databricks предварительно оснащена PyTorch, Transformers и другими фреймворками для машинного обучения и глубокого обучения. Выберите стандартную среду для полного контроля над стеком зависимостей или средой ИИ для подготовки к обучению. Вы можете начать с любой среды и самостоятельно установить новые пакеты.

Ключевые моменты на этой странице:

• Выберите среду Standard для полного контроля над зависимостями или среду AI Databricks для готового стека машинного обучения.
• Стандарт включает cuda. Начиная с версии среды 5, torch и torchvision не предустановлены. Среда ИИ включает PyTorch, Transformers и многое другое.
• Установите дополнительные пакеты с помощью %uv pip install (в окружении версии 5 и выше) или %pip install в блокноте, либо с помощью environment.dependencies в командной строке.

Какая среда используется

Среда выполнения ИИ предлагает две управляемые Python среды, среду Standard и среду ИИ Databricks.

Environment	Ключевые характеристики	Когда использовать
Стандартная среда	Минимальный; включает в себя cuda. Начиная с версии среды 5, torch и torchvision больше не предустановлены.	Вы хотите полный контроль над стеком зависимостей и предпочитаете устанавливать только то, что вам нужно.
Среда искусственного интеллекта Databricks	Предварительно установлены популярные платформы машинного обучения (PyTorch, Transformers и многое другое)	Требуется полная среда для обучения, тонкой настройки и экспериментирования без ручного управления зависимостями

Вы также можете использовать базовую среду рабочего пространства , которую создал администратор для AI Runtime. См. Сборка для бессерверных GPU-вычислений (среда выполнения ИИ).

Чтобы выбрать среду в блокноте, откройте боковую панель Окружение и выберите базовую среду:

Стандартная среда (минимальная среда)

Минимальная стабильная среда, содержащая только необходимые пакеты для операции среды выполнения ИИ. Среда включает cuda поддержку GPU. Начиная с версии среды 5, torch и torchvision больше не предустановлены. Установите версии, необходимые для вашей рабочей нагрузки, с помощью %uv pip install или %pip install. Сведения о пакетах, установленных в каждой версии среды, см. в приведенных ниже заметках о выпуске.

Лучше всего: пользователи, которые хотят полного контроля над стеком зависимостей и предпочитают устанавливать только то, что им нужно.

Чтобы выбрать нужный вариант: на боковой панели Среда выберите Standard v6 в качестве базовой среды.

Дополнительные сведения о версиях пакетов, установленных в различных версиях ПО, см. в примечаниях к выпуску.

• GPU-среда 6
• Среда GPU 5
• Среда GPU 4

Среда Databricks AI

Доступно в среде 4 и более поздних версий. Среда ИИ основана на стандартной среде с общими пакетами среды выполнения и пакетами, характерными для машинного обучения на GPU. К предварительно установленным пакетам относятся:

• PyTorch (с поддержкой CUDA)
• Трансформеры (Hugging Face)
• И дополнительные зависимости ML/DL

Оптимально для специалистов по машинному обучению, которые хотят полной среды для обучения модели, доводки и экспериментирования без ручного управления зависимостями.

Чтобы выбрать нужный вариант: на боковой панели Окружение выберите AI v6 как базовую среду.

Дополнительные сведения о версиях пакетов, установленных в различных версиях ПО, см. в примечаниях к выпуску.

• Среда ИИ 6
• Среда ИИ 5
• Среда ИИ 4

Установка дополнительных пакетов

Можно начать с управляемой среды или базовой рабочей среды и установить свои собственные пакеты на Python поверх неё. Способ установки зависит от того, как вы подключаетесь к AI Runtime.

В блокноте

Устанавливайте пакеты в начале ноутбука или скрипта обучения с помощью %uv pip, который устанавливает их через uv и делает это быстрее, чем %pip. Зафиксируйте версии, чтобы запуски оставались воспроизводимыми:

%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"

Полное справочное руководство по %pip и %uv pip, включая сведения о том, какие версии среды поддерживают каждую из них, см. в «Управление библиотеками с помощью команд %uv».

Когда вы используете декоратор @distributed для нагрузок с использованием нескольких GPU, пакеты, которые вы устанавливаете до вызова .distributed(), автоматически сохраняются в виде снимка и распространяются на все распределённые процессы. Общий размер установленных пакетов не должен превышать 15 ГБ. Дополнительные сведения см. в разделе "Добавление зависимостей" в записную книжку.

С помощью интерфейса командной строки

air CLI использует те же управляемые среды. Выберите один вариант с помощью environment.version, затем перечислите пакеты, которые нужно установить поверх него, в разделе environment.dependencies YAML-файла вашей рабочей нагрузки. CLI устанавливает их в выбранную среду с помощью uv, так что вам не нужно самостоятельно управлять отдельной виртуальной средой:

environment:
  version: '6'
  dependencies:
    - trl==1.1.0
    - transformers==5.5.4

Чтобы вместо этого начать со среды Databricks AI, установите для version значение идентификатора среды ИИ, например databricks_ai_v5. Сведения о полном формате зависимостей, поддерживаемых флагах установки и поддержке кастомных образов Docker см. в окружении.

Базовые среды рабочего пространства

Администратор рабочего пространства может создать базовую среду рабочего пространства для AI Runtime, после чего она становится доступной всем пользователям рабочего пространства через раскрывающееся меню Базовая среда. Подробнее см. статью Сборка для бессерверных GPU-вычислений (AI Runtime).

Чтобы использовать базовую среду в планируемой рабочей нагрузке, укажите её идентификатор в блоке environments задания или пакета. Например, задача Declarative Automation Bundles выбирает среду Databricks AI:

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: default
      environments:
        - environment_key: default
          spec:
            base_environment: databricks_ai_v6

Для полного примера работы см. Планирование рабочих нагрузок GPU и создание задач композиции.

Кэширование окружения и пользовательские модули

Когда кэшируются среды?

AI Runtime кэширует среду блокнота, поэтому, когда вы снова открываете блокнот, вам не нужно заново устанавливать пакеты. Для подробностей см. Сброс зависимостей окружения.

Кэш применяется к интерактивным блокнотам. Рабочие нагрузки, выполняемые через air CLI или запланированные как задачи, не используют этот кэш; каждый запуск устанавливает свои зависимости заново.

Рекомендуется фиксировать версии пакетов, чтобы закэшированная среда оставалась пригодной, а запуски — воспроизводимыми.

Как импортировать пользовательские модули?

Следующие шаги показывают, как использовать собственные модули на Python.

1. Синхронизируйте свой код с рабочим пространством. Клонируйте репозиторий Git в рабочую область через папку Git или загрузите файлы напрямую как файлы рабочей области. Храните общий код в папке /Workspace/Shared для командных проектов или в папке пользователя для личной разработки. Хранение кода в папке Git позволяет контролировать версию.
2. Добавьте папку в sys.path и импортируйте её в начале блокнота или скрипта обучения:

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Limitations

Следующие возможности недоступны в среде выполнения ИИ:

• Функции Spark: нельзя напрямую импортировать или использовать функции PySpark. Среда выполнения ИИ — это среда, доступная только для Python; Spark недоступна в качестве локальной среды выполнения. Однако Spark Connect доступен для загрузки данных. См. Загрузка данных в среде выполнения ИИ.
• Библиотеки машинного обучения в Databricks Runtime: предварительно установленные пакеты не заменяют Databricks Runtime ML. Некоторые библиотеки машинного обучения, доступные в Databricks Runtime ML, могут не быть предварительно установлены в среде выполнения ИИ.
• Частные артефакты: среда выполнения ИИ поддерживает частные артефакты в определенных случаях. Для получения дополнительных сведений свяжитесь с вашей командой по работе с клиентами.