Управление базовыми средами рабочей области

На этой странице объясняется, как создавать базовые среды рабочей области и управлять ими в рабочей области. Базовые среды рабочей области позволяют администраторам рабочей области создавать предварительно созданные кэшированные среды для бессерверных записных книжек и управлять ими.

Это важно

Базовые среды рабочего пространства теперь можно использовать с управлением зависимостями с помощью окружений.

Permissions

  • Только администраторы рабочих областей могут создавать базовые среды рабочей области и управлять ими.
  • Все пользователи рабочей области имеют доступ к базовым средам рабочей области.
  • Все пользователи рабочей области могут создавать пользовательские спецификации бессерверной среды.

Как работают базовые среды рабочей области в Azure Databricks

В Azure Databricks базовая среда — это разделяемая спецификация YAML, которая определяет версию безсерверной среды и набор дополнительных зависимостей Python. Администраторы рабочей области создают базовые среды и управляют ими, чтобы пользователи могли быстро начать работу с согласованной кэшированной среды и при необходимости добавлять собственные библиотеки. Пользователи выбирают эти базовые среды в бессерверных блокнотах и в классических вычислительных ресурсах, которые управляют зависимостями с помощью сред.

Базовые среды, предоставляемые Databricks

Databricks предоставляет готовые базовые среды, которые можно установить в качестве рабочего пространства по умолчанию:

  • ML: базовая среда с предустановленными Python и системными пакетами из Databricks Runtime for Машинное обучение. Используйте эту среду для переноса классических рабочих нагрузок Databricks Runtime for Машинное обучение на бессерверные вычислительные ресурсы. См. базовую среду ML.
  • ИИ: оптимизированная для ИИ базовая среда с предварительно установленными библиотеками машинного обучения (ML). Этот параметр отображается только в том случае, если выбран ускоритель (GPU). См. окружение ИИ.

Использование базовых сред рабочей области

Пользователи могут выбрать базовую среду рабочей области в раскрывающемся меню базовой среды в боковой области среды . Базовые среды рабочей области отображаются в раскрывающемся меню вместе с другими параметрами, такими как Standard, ML, AI и Custom.

При выборе базовой среды рабочей области предварительно созданная кэшированная среда быстро загружается, уменьшая время запуска записных книжек и заданий. Для заданий использование базовых сред рабочей области повышает производительность, так как зависимости уже кэшируются.

Инструкции по настройке базовых сред в записных книжках см. в разделе "Выбор базовой среды". Инструкции по использованию управляемых базовых сред в заданиях см. в разделе "Настройка среды для задач задания". Инструкции по выбору базовой среды на классических вычислениях, которая управляет зависимостями с окружениями, см. раздел «Использовать среды в блокноте».

Создание и экспорт спецификации среды

Самый простой способ создать действительную спецификацию YAML — построить окружение в боковой панели Окружение , а затем использовать кнопку Экспорт среды для скачивания YAML-файла.

  1. Откройте записную книжку и подключитесь к бессерверным вычислениям.
  2. Нажмите кнопку «Окружающаясреда» в боковой панели блокнота.
  3. В разделе "Базовая среда" выберите "Стандартный " или " Дополнительно ", чтобы выбрать определенную версию среды. Databricks рекомендует использовать последнюю версию бессерверной среды, поддерживаемую рабочей областью.
  4. В поле Зависимостей добавьте все зависимости, которые вы хотели бы иметь в базовой среде. Нажмите кнопку "Добавить зависимость " после ввода каждой зависимости. Дополнительные инструкции по добавлению зависимостей см. в статье "Добавление зависимостей в записную книжку".
  5. Нажмите «Применить » внизу панели окружения, чтобы убедиться, что спецификация действительна.
  6. Нажмите на иконку меню кебаба, иконку меню кебаба. внизу панели окружения, затем нажмите «Экспортировать окружение».
  7. Присвойте YAML-файлу имя и добавьте его в папку рабочей области или том каталога Unity.

Пример спецификации среды

Следующий пример YAML основан на спецификации среды проектов MLflow. Она определяет базовую среду с несколькими зависимостями библиотеки:

environment_version: '5'
dependencies:
  - --index-url https://pypi.org/simple
  - -r "/Workspace/Shared/requirements.txt"
  - my-library==6.1
  - /Workspace/Shared/Path/To/simplejson-3.19.3-py3-none-any.whl
  - git+https://github.com/databricks/databricks-cli

Добавьте базовую среду в рабочую область

Чтобы добавить спецификацию среды в качестве базовой среды в рабочую область:

  1. В рабочей области перейдите в раздел "Параметры".
  2. В разделе "Администратор рабочей области" выберите "Вычисления".
  3. Рядом с базовыми средами для бессерверных вычислений нажмите кнопку "Управление".
  4. Нажмите кнопку "Создать".
  5. Присвойте базовой среде имя. Это имя, которое пользователи увидят в раскрывающемся меню базовой среды .
  6. Выберите файл YAML спецификации среды с помощью средства выбора файлов. Вы можете просматривать файлы рабочей области или тома каталога Unity.
  7. Выберите, следует ли задать базовую среду в качестве значения по умолчанию для всех новых записных книжек.
  8. (Необязательно) Чтобы задать пользовательский идентификатор базовой среды, разверните " Дополнительно " и введите значение в базовом идентификаторе среды. Идентификатор должен содержать только строчные буквы, цифры и дефисы без начальных или конечных дефисов. Если вы не предоставляете идентификатор, Azure Databricks автоматически создает его. Идентификатор нельзя изменить после создания базовой среды.
  9. Нажмите кнопку "Создать".

Базовая среда начнет сборку. Проверьте столбец "Состояние " в списке базовых сред. Он изменится на Готов к использованию, когда он будет готов.

Создание решения для бессерверных вычислений на GPU (среда выполнения для ИИ)

Это важно

Эта функция доступна в бета-версии. Администраторы рабочей области могут управлять доступом к этой функции на странице "Предварительные версии ". См. Управление предварительными версиями Azure Databricks.

При создании основной среды можно по желанию включить флажок "Сборка для бессерверных вычислений GPU", чтобы создать среду для рабочих нагрузок GPU. При этом создается версия базовой среды, совместимой с GPU, которая отображается на вкладке GPU .

На странице управления базовыми средами есть две вкладки:

  • ЦП: перечисляет базовые среды для бессерверных вычислений (рабочих нагрузок без GPU).
  • GPU: перечисляет базовые среды для среды выполнения ИИ. На этой вкладке также показаны строки среды ИИ, соответствующие базовым средам ИИ. Дополнительные сведения см. в разделе Databricks AI environment.

Standard Latest относится к последней стабильной базовой версии базовой среды, предоставляемой Databricks.

Замечание

Записи об использовании, связанные со сборкой и обновлением базовых сред, имеют в столбце значение billing_origin_productBASE_ENVIRONMENTS. Кроме того, в столбце заполняется конкретный идентификатор базовой usage_metadata.base_environment_id среды.

Настройка базовой среды рабочей области по умолчанию

По умолчанию бессерверные записные книжки в рабочей области не используют базовую среду. Администраторы рабочей области могут выбрать базовую среду для применения ко всем новым записным книжкам по умолчанию.

  1. В рабочей области перейдите в раздел "Параметры".
  2. В разделе "Администратор рабочей области" выберите "Вычисления".
  3. Рядом с базовыми средами для бессерверных вычислений нажмите кнопку "Управление".
  4. Щелкните значок звезды рядом с базовой средой, чтобы задать ее в качестве значения по умолчанию.

Все новые бессерверные записные книжки теперь по умолчанию будут использовать выбранную базовую среду.

Обновление базовой среды

Может потребоваться изменить базовый файл среды, чтобы обновить номера версий или добавить или удалить зависимости. Чтобы изменить версию или зависимости среды, измените исходный ФАЙЛ YAML напрямую.

В списке базовых сред щелкните путь к файлу YAML базовой среды, которую вы хотите обновить. Откроется файл на новой вкладке. Вы можете просмотреть или обновить содержимое файла там. Изменения сохраняются автоматически.

После обновления спецификации YAML необходимо обновить базовую среду, чтобы записные книжки и задания выбрали последнюю конфигурацию.

  1. Рядом с базовой средой, которую вы хотите обновить, щелкните иконку меню 'кебаб'. Затем выберите "Обновить".
  2. Нажмите кнопку "Подтвердить".

Новые сеансы теперь используют обновленную базовую среду. Чтобы получить обновления, необходимо перезапустить существующие сеансы ноутбука.

Ограничения

Базовые среды имеют следующие ограничения:

  • Базовые среды в заданиях поддерживаются только для нотебуков, скриптов Python и задач типа wheel Python. Другие типы задач не поддерживаются. Поддержка базовых сред рабочего пространства в заданиях находится в бета-версии.
  • Конвейеры Lakeflow не поддерживают базовые среды.
  • Во время выполнения устанавливаются только зависимости Python, указанные в списке пакетов зависимостей.
  • Бессерверная среда версии 1 не поддерживается. Используйте версию 2 или более позднюю.
  • Базовые среды доступны всем пользователям рабочей области.
  • Рабочие области ограничены 10 базовыми средами.
  • Last updated on