Настройка бессерверной среды

На этой странице описано, как настроить бессерверную среду для блокнотов и задач. Для ноутбуков используйте боковую панель Environment для выбора базовой среды, установки зависимостей, настройки памяти и применения политик использования. Для задач задания настройте среду при создании или изменении задачи.

Чтобы развернуть боковую панель Среда, нажмите кнопку справа от блокнота.

Выбор базовой среды

Базовая среда определяет предварительно установленные библиотеки и версию среды, доступную для бессерверной записной книжки. Селектор Базовая среда на боковой панели Среда позволяет выбрать среду. Дополнительные сведения о каждой версии среды см. в разделе "Бессерверные версии среды". Databricks рекомендует использовать последнюю версию, чтобы получить самые актуальные функции записной книжки.

Селектор базовой среды включает следующие параметры:

• Стандартный: бессерверная базовая среда по умолчанию с библиотеками, предоставляемыми Databricks.
• ML: базовая среда с предустановленными Python и системными пакетами из Databricks Runtime for Машинное обучение. Используйте эту среду для переноса классических рабочих нагрузок Databricks Runtime for Машинное обучение на бессерверные вычислительные ресурсы. См. базовую среду ML.
• ИИ: оптимизированная для ИИ базовая среда с предварительно установленными библиотеками машинного обучения (ML). Этот параметр отображается только в том случае, если выбран ускоритель (GPU).
• Дополнительные сведения: разворачивается, чтобы отобразить дополнительные параметры:
  • Предыдущие версии сред Standard, ML и AI.
  • Custom: укажите настраиваемую среду с помощью YAML-файла.
• Среды рабочей области. Перечисляет все совместимые базовые среды, настроенные для рабочей области администратором.

Чтобы выбрать базовую среду, выполните приведенные действия.

1. В интерфейсе блокнота щелкните боковую панель Среда.
2. В разделе "Базовая среда" выберите среду в раскрывающемся меню.
3. Щелкните Применить.

Добавление зависимостей в записную книжку

Так как бессерверные не поддерживают политики вычислений или скрипты инициализации, необходимо установить пользовательские зависимости с помощью боковой панели среды . Можно установить зависимости по отдельности или использовать общую базовую среду для установки нескольких зависимостей.

Azure Databricks кэширует виртуальную среду вашего блокнота, поэтому зависимости не переустанавливаются каждый раз, когда вы снова открываете блокнот или возобновляете работу после периода бездействия. Задачи, которые имеют один и тот же набор зависимостей, также используют этот кэш в рамках одного запуска.

Чтобы установить зависимость по отдельности, выполните следующие действия.

1. В интерфейсе блокнота щелкните боковую панель Среда.

2. В разделе "Зависимости" нажмите кнопку "Добавить зависимость " и введите путь к зависимости в поле. Можно указать зависимость в любом формате, допустимом в файле requirements.txt . Файлы wheel для Python или проекты Python (например, каталог, содержащий pyproject.toml или setup.py) могут находиться в файлах рабочей области или томах каталога Unity.

   • Если используется файл рабочей области, путь должен быть абсолютным и начинаться с /Workspace/.
   • При использовании файла в томе каталога Unity путь должен быть в следующем формате: /Volumes/<catalog>/<schema>/<volume>/<path>.whl

3. Щелкните Apply, чтобы установить зависимости и перезапустить процесс Python.

Important

Не устанавливайте PySpark или любую библиотеку, которая устанавливает PySpark в качестве зависимости для ваших бессерверных записных книжек. Это прекратит сеанс и вызовет ошибку. При этом удалите библиотеку и сбросьте вашусреду.

Чтобы просмотреть установленные зависимости, перейдите на вкладку "Установленные " на боковой панели "Среды ". Откройте журналы установки pip для среды блокнота, нажав журналы pip в нижней части панели.

Note

Администраторы рабочей области могут настроить частные или прошедшие проверку подлинности репозитории пакетов в качестве источника pip по умолчанию для бессерверных записных книжек и заданий. Это позволяет пользователям устанавливать пакеты из внутренних репозиториев без указания index-url или extra-index-url. См. Настройка репозиториев пакетов Python по умолчанию.

Создание спецификации настраиваемой среды

Вы можете создавать и повторно использовать пользовательские спецификации среды.

1. В бессерверной записной книжке выберите базовую среду и установите необходимые зависимости.
2. Щелкните кнопку меню "Кебаб" в нижней части панели среды, затем нажмите Экспорт среды.
3. Сохраните спецификацию в виде файла рабочей области или тома каталога Unity. Убедитесь, что у вас есть разрешение на запись в целевое расположение, иначе экспорт завершится с ошибкой Forbidden.

Чтобы использовать пользовательскую спецификацию среды в ноутбуке, выберите «Пользовательская» в раскрывающемся меню «Базовая среда», а затем с помощью значка выберите свой YAML-файл.

Создание общих средств для совместного использования в рабочей области

В этом примере утилита сохраняется в файле в рабочей области и устанавливается как зависимость для бессерверного блокнота:

1. Создайте папку со следующей структурой. Убедитесь, что другие пользователи имеют доступ на чтение к этому пути:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Заполните pyproject.toml следующим образом:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Добавьте функцию в init.py файл. Рассмотрим пример.

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. В интерфейсе блокнота нажмите значок Среда на боковой панели .

5. В разделе "Зависимости" нажмите кнопку "Добавить зависимость ", а затем введите путь к файлу util. Например: /Workspace/helper_utils.

6. Щелкните Применить.

Теперь вы можете использовать функцию в записной книжке:

from helpers import greet
print(greet('world'))

Это выводится как:

Hello, world!

Использование среды выполнения ИИ (бессерверный GPU)

Important

Среда выполнения ИИ доступна в общедоступной предварительной версии.

Выполните следующие действия, чтобы настроить среду выполнения ИИ на базе бессерверных вычислений GPU в записной книжке Azure Databricks:

1. В записной книжке щелкните раскрывающееся меню вычислений в верхней части и выберите бессерверный GPU.
2. Щелкните значок , чтобы открыть боковую панель Environment.
3. Выберите A10 из поля Ускоритель.
4. В базовой среде выберите "Стандартный " для среды по умолчанию или ИИ для оптимизированной для ИИ среды с предварительно установленными библиотеками машинного обучения (ML).
5. Нажмите кнопку "Применить ", а затем подтвердите , что вы хотите применить среду выполнения ИИ к вашей среде записной книжки.

Дополнительные сведения см. в разделе "Среда выполнения ИИ".

Использование бессерверных вычислений с высокой памятью

Important

Эта функция доступна в общедоступной предварительной версии.

Если в блокноте возникают ошибки нехватки памяти, настройте блокнот на использование большего объёма памяти. Этот параметр размера памяти увеличивает размер памяти REPL, используемой при выполнении кода в записной книжке. Это не влияет на размер памяти сеанса Spark. Бессерверное использование с высокой памятью имеет более высокую скорость выбросов DBU, чем стандартная память.

Доступные варианты памяти:

• Стандартный: 16 ГБ общего объема памяти.
• Высокий: 32 ГБ общего объема памяти.

Чтобы настроить параметр памяти записной книжки, выполните следующие действия.

1. В интерфейсе блокнота щелкните боковую панель Среда.
2. В разделе Памятьвыберите высокую память.
3. Щелкните Применить.

Этот параметр памяти также применяется к задачам задания записной книжки, которые выполняются с помощью параметров памяти записной книжки. Обновление предпочтения памяти в записной книжке оказывает влияние на следующее выполнение задания.

Выбор бессерверной политики использования

Important

Эта функция доступна в общедоступной предварительной версии.

Политики бессерверного использования позволяют организации применять пользовательские теги к бессерверному использованию для детализации выставления счетов.

Если в рабочей области используются бессерверные политики использования, выберите политику, которую вы хотите применить к записной книжке. Если пользователю назначена только одна бессерверная политика использования, эта политика применяется по умолчанию.

После подключения к бессерверным вычислениям выберите политику на боковой панели среды :

1. В интерфейсе блокнота щелкните боковую панель Среда.
2. В разделе "Политика бессерверного использования" выберите политику бессерверного использования , которую вы хотите применить к записной книжке.
3. Щелкните Применить.

После применения политики все сеансы использования записных книжек наследуют настраиваемые теги этой политики.

Note

Если ноутбук поступает из репозитория Git или у него нет назначенной бессерверной политики использования, по умолчанию будет использоваться последняя выбранная бессерверная политика использования, когда он будет в следующий раз подключен к бессерверным вычислениям.

Включить среду в экспорт исходных файлов

Для блокнотов Python в настройках среды можно включить или отключить параметр Включать при экспорте исходных файлов. При включении базовая среда и зависимости хранятся в формате PEP 723 в экспорте исходного файла. Это помогает сохранить конфигурацию среды, если записные книжки хранятся в папках Git или скачиваются в качестве исходных файлов.

Например, блокнот, использующий Standard v5, экспортирует конфигурацию среды в виде встроенных метаданных в начале файла:

# Databricks notebook source
# /// script
# [tool.databricks.environment]
# environment_version = "5"
# ///
print("Hello World!")

Сброс зависимостей среды

Если записная книжка подключена к бессерверным вычислениям, Databricks автоматически кэширует содержимое виртуальной среды записной книжки. Это означает, что при открытии существующего блокнота, как правило, не нужно переустанавливать зависимости Python, указанные на боковой панели Environment, даже если он был отключён из-за неактивности.

Python кэширование виртуальной среды также применяется к заданиям. При выполнении задания любая задача, которая использует тот же набор зависимостей, что и завершенная задача в том же запуске, завершается быстрее, так как кэш уже содержит необходимые зависимости.

Note

Если изменить реализацию пользовательского пакета Python, используемого в задании без сервера, необходимо также обновить номер версии, чтобы задания могли получить последнюю реализацию.

Чтобы очистить кэш среды и выполнить новую установку зависимостей, указанных в боковой области среды записной книжки, подключенной к бессерверным вычислениям, щелкните стрелку рядом с "Применить ", а затем нажмите кнопку "Сброс до значений по умолчанию".

Если вы установили пакеты, которые нарушают или изменяют основную среду записной книжки или Apache Spark, удалите проблемные пакеты, а затем сбросьте среду. Запуск нового сеанса не очищает весь кэш среды.

Настройка среды для задач задания

Каждая задача задания выполняется в изолированной среде, которая включает базовую среду и все указанные дополнительные библиотеки. Базовая среда задает версию среды выполнения Python и Scala и предварительно установленные библиотеки. Задачи наследуют набор установленных библиотек по умолчанию от версии среды. Чтобы узнать, что включено, см. раздел Установленные библиотеки Python или Установленные библиотеки Java и Scala в используемой вами версии среды.

Вы можете дополнить предварительно установленные библиотеки библиотеками из файлов рабочей области, томов каталога Unity или репозиториев общедоступных пакетов. Только зависимости, необходимые для задачи, устанавливаются во время выполнения.

Important

Использование бессерверных вычислений для задач JAR находится в общедоступной предварительной версии.

Important

Выбор управляемой базовой среды пока доступен в бета-версии. Раскрывающийся список Базовая среда в диалоговом окне «Настройка среды» позволяет выбрать среду из числа предоставляемых Databricks (например, Standard и ML) или настроенных в рабочем пространстве. Без этой функции вместо этого в диалоговом окне отображается раскрывающийся список Версия среды. Администраторы рабочей области могут включить эту функцию на странице "Предварительные версии ".

Настройка среды по типу задачи

Настройка сред в задании зависит от типа задачи:

Задачи записной книжки

Для задач записной книжки по умолчанию используется среда записной книжки, в которой применяются собственные настроенные базовая среда и зависимости записной книжки. Это можно переопределить с помощью среды уровня задания.

Чтобы настроить среду уровня задания, выполните следующие действия.

1. В конфигурации задачи выберите раскрывающееся меню "Среда и библиотеки ".
2. В среде заданий щелкните значок карандаша рядом со значением по умолчанию или нажмите кнопку "Добавить новую среду заданий".
3. В диалоговом окне "Настройка среды" выберите в раскрывающемся меню базовой среды :
   • среды Databricks: доступные Azure Databricks параметры, такие как Standard и ML.
   • Среды рабочей области: пользовательские среды, настроенные администратором рабочей области. См. раздел "Управление базовыми средами рабочей области".
   • Дополнительные сведения: предыдущие версии и пользовательские версии (укажите ФАЙЛ YAML).
4. В разделе Зависимостей добавьте дополнительные библиотеки. Библиотеку можно указать в любом формате, допустимом для файла requirements.txt, или использовать абсолютный путь к файлу рабочей области или тому Unity Catalog.
5. Нажмите кнопку Подтвердить.

Note

Если в рабочей области нет базовой среды рабочей области для предварительного просмотра заданий, в диалоговом окне "Настройка среды " отображается раскрывающийся список версий среды вместо базовой среды.

Чтобы настроить среду, выберите версию, а затем нажмите кнопку +Добавить библиотеку. Можно указать путь к файлу рабочей области (начиная с /Workspace/), путь к тому Unity Catalog (начиная с /Volumes/) или ссылку на файл зависимостей (например, -r /Workspace/path/to/requirements.txt).

Задачи для скриптов Python и wheel-пакетов Python

Для задач Python-скриптов и Python wheel-пакетов требуется настроить среду выполнения.

1. В конфигурации задачи в разделе "Среда и библиотеки" нажмите кнопку "+ Добавить зависимость".
2. В диалоговом окне "Настройка среды" выберите в раскрывающемся меню базовой среды :
   • среды Databricks: доступные Azure Databricks параметры, такие как Standard и ML.
   • Среды рабочей области: пользовательские среды, настроенные администратором рабочей области. См. раздел "Управление базовыми средами рабочей области".
   • Дополнительные сведения: предыдущие версии и пользовательские версии (укажите ФАЙЛ YAML).
3. В разделе Зависимостей добавьте дополнительные библиотеки.
4. Нажмите кнопку Подтвердить.

Note

Если в рабочей области нет базовой среды рабочей области для предварительного просмотра заданий, в диалоговом окне "Настройка среды " отображается раскрывающийся список версий среды вместо базовой среды.

Чтобы настроить среду, выберите версию, а затем нажмите кнопку +Добавить библиотеку. Можно указать путь к файлу рабочей области (начиная с /Workspace/), путь к тому Unity Catalog (начиная с /Volumes/) или ссылку на файл зависимостей (например, -r /Workspace/path/to/requirements.txt).

Задачи dbt

Задачи DBT используют среду уровня задания для настройки библиотеки.

Чтобы настроить среду уровня задания, выполните следующие действия.

1. В конфигурации задачи выберите раскрывающееся меню "Среда и библиотеки ".
2. В среде заданий щелкните значок карандаша рядом с существующей средой или нажмите кнопку +Добавить новую среду заданий.
3. В диалоговом окне "Настройка среды" выберите в раскрывающемся меню базовой среды :
   • среды Databricks: доступные Azure Databricks параметры, такие как Standard и ML.
   • Среды рабочей области: пользовательские среды, настроенные администратором рабочей области. См. раздел "Управление базовыми средами рабочей области".
   • Дополнительные сведения: предыдущие версии и пользовательские версии (укажите ФАЙЛ YAML).
4. В разделе Зависимостей добавьте дополнительные библиотеки. Библиотеку можно указать в любом формате, допустимом для файла requirements.txt, или использовать абсолютный путь к файлу рабочей области или тому Unity Catalog.
5. Нажмите кнопку Подтвердить.

Note

Если в рабочей области нет базовой среды рабочей области для предварительного просмотра заданий, в диалоговом окне "Настройка среды " отображается раскрывающийся список версий среды вместо базовой среды.

Чтобы настроить среду, выберите версию, а затем нажмите кнопку +Добавить библиотеку. Можно указать путь к файлу рабочей области (начиная с /Workspace/), путь к тому Unity Catalog (начиная с /Volumes/) или ссылку на файл зависимостей (например, -r /Workspace/path/to/requirements.txt).

ЗАДАЧИ JAR

Базовые среды рабочей области не поддерживаются для задач JAR. Чтобы настроить среду для задачи JAR, выполните следующие действия.

1. В конфигурации задачи в разделе "Среда и библиотеки" нажмите кнопку "Добавить зависимость JAR".
2. В диалоговом окне "Настройка среды ":
   • При необходимости введите путь к YAML-файлу в поле базовой среды .
   • Выберите версию среды в раскрывающемся меню "Версия среды ".
   • В разделе Зависимостей JAR добавьте пути к JAR-файлам.
3. Нажмите кнопку Подтвердить.

Сведения о создании пользовательской базовой среды на основе YAML см. в статье "Создание пользовательской спецификации среды".

Совместимость среды и вычислений

Выбранная базовая среда должна быть совместима с типом вычислений задачи. Например, среда, созданная для вычислений GPU, несовместима с вычислительными ресурсами ЦП. В пользовательском интерфейсе заданий несовместимые среды недоступны в раскрывающемся меню базовой среды.

При настройке задачи записной книжки тип вычислений (ЦП или GPU) и базовая среда могут поступать из параметров задания или параметров записной книжки.

• Если на уровне задания установлен аппаратный ускоритель (GPU), необходимо также выбрать базовую среду на уровне задания. Среду записной книжки нельзя использовать с акселератором уровня задания.
• Если у вас есть задачи в задании, которые ссылаются на ноутбук, и вы изменяете тип вычислений для указанного ноутбука (например, с CPU на GPU), существующие задачи могут стать несовместимыми с настроенной для них средой. Просмотрите параметры среды задания после изменения конфигурации вычислительных ресурсов ноутбука.
• Для пользователей API: если задать базовую среду на уровне задания, но записная книжка определяет тип вычислений, Azure Databricks проверяет совместимость во время выполнения, а не во время создания задания. Если конфигурация несовместима, выполнение завершается ошибкой.