Используйте Shared Serverless для папок и бандлов Git

Important

Эта функция доступна в бета-версии. Чтобы использовать его, администратор рабочей области должен включить Project-Scoped Shared Compute на странице Previews. См. статью "Управление предварительными версиями Azure Databricks".

В Shared Serverless блокноты и файлы в одной папке или пакете Git используют общие serverless-вычисления и Python-среду в редакторе. Чтобы настроить окружение, добавьте pyproject.toml файл в корень папки. Выберите вариант вычислительных ресурсов для вашей папки или пакета Git:

• Папки Git с общим бессерверным доступом.
• Декларативные пакеты автоматизации с общим бессерверным решением для пакетов активов.

Requirements

• Ваше рабочее пространство должно соответствовать требованиям бессерверных вычислений.
• Откройте папку Git или бандл в редакторе папок Git или в редакторе бандлов Git. Смотрите «Создание папок Git и управление ими» и «Создание пакетов в рабочем пространстве».
• Для Shared Serverless требуется serverless-среда версии 5 и выше.

Общие вычисления и среда

• Записные книжки и файлы в одной папке или пакете Git используют общие вычисления и среду Python в редакторе. Необязательный pyproject.toml файл на корне папки определяет общую среду.
• Только блокноты и файлы внутри соответствующей папки или пакета Git могут быть присоединены к её общему вычислительному ресурсу.
• Общие вычислительные ресурсы изолированы для каждого пользователя. Только пользователь, который первым прикрепил notebook или файл к общему вычислительному ресурсу, может выполнять на нём рабочие нагрузки.
• Выполнение в блокноте остаётся изолированным. Python-переменные, определённые в одном блокноте, недоступны в другом блокноте.
• Веб-терминал, открытый из подключённого блокнота или файла, работает на том же вычислительном ресурсе.

Serverless с общим доступом для папок Git

Используйте Shared Serverless для папок Git, чтобы работать с ноутбуками и файлами в папке Git.

Прикрепляйте записные книжки и файлы в редакторе папки Git

1. В боковой панели Workspace нажмите Workspace и перейдите к папке Git.

2. Нажмите «Открыть» в редакторе.

3. Откройте блокнот или файл в папке Git.

4. Нажмите на выпадающее меню Compute.

5. Выберите Shared Serverless for Git Folders.

   

6. Запустите блокнот или файл, чтобы запустить вычислительный ресурс.

Чтобы использовать тот же вычислительный ресурс из другого блокнота или файла, откройте его в той же папке Git и выберите Shared Serverless для папок Git.

Сотрудничайте через Git

Databricks рекомендует каждому соавтору клонировать репозиторий в папку Git в своей личной рабочей папке. Каждый участник совместной работы получает отдельный вычислительный ресурс и среду для своего клона.

Используйте ветки, коммиты, pushe и pull для обмена изменениями через удалённый репозиторий Git. См. Совместная работа в папках Git.

Общий серверлесс для пакетов ресурсов

Используйте Shared Serverless для Asset Bundles для работы с ноутбуками и файлами в bundle в рабочем пространстве. Корень bundle содержит databricks.yml и может содержать pyproject.toml файл, определяющий общую среду.

Прикрепляйте записные книжки и файлы в редакторе пакетов

1. На боковой панели рабочей области нажмите Workspace и перейдите к пакету.
2. Справа от названия пакета нажмите « Открыть в редакторе».
3. Откройте блокнот или файл в связке.
4. Нажмите на выпадающее меню Compute.
5. Выберите Shared Serverless для пакетов активов.
6. Запустите блокнот или файл, чтобы запустить вычислительный ресурс.

Чтобы использовать тот же вычислительный ресурс из другого блокнота или файла, откройте его в том же наборе и выберите Shared Serverless for Asset Bundles.

Чтобы сотрудничать через Git, пусть каждый соавтор клонирует репозиторий в папку Git в своей папке личного рабочего пространства. Смотрите Совместная работа через Git.

Управляйте окружающей средой с помощью pyproject.toml

Shared Serverless использует pyproject.toml в папке Git или в корне bundle для управления зависимостями Python для проекта. Стандартные безсерверные ноутбуки используют зависимости, настроенные для каждого ноутбука в боковой панели Environment .

Создайте корневой pyproject.toml файл и установите версию бессерверной среды перед управлением зависимостями. См. Создать и отредактировать pyproject.toml. Затем можно добавлять зависимости с помощью команд notebook или редактировать файл напрямую.

Используйте команды блокнота

1. Откройте ноутбук, подключенный к Shared Serverless for Git Folders или Shared Serverless for Asset Bundles.

2. Запустите %uv add <package> , чтобы добавить зависимость в корневой pyproject.toml файл. Рассмотрим пример.

   %uv add cowsay
   

Команда обновляет pyproject.toml, uv.lockи общую среду. Вам не нужно запускать %uv sync после %uv add. Используйте %uv sync для применения изменений, сделанных напрямую в pyproject.toml.

Создавайте и редактируйте pyproject.toml

1. Откройте ноутбук, привязанный к Shared Serverless for Git Folders или Shared Serverless for Asset Bundles.

2. Откройте боковую панель «Окружение».

3. На карточке Managed by pyproject.toml нажмите Создать pyproject.toml, чтобы создать корневой файл. Если файл уже существует, нажмите Просмотр pyproject.toml. Файл открывается в редакторе.

   

4. Отредактируйте dependencies список. Оставьте сгенерированный [tool.databricks.environment] раздел или добавьте его, если отсутствует. Установите environment_version на поддерживаемую версию (5 и выше). Рассмотрим пример.

   [project]
   name = "my-project"
   version = "0.1.0"
   dependencies = [
     "simplejson==3.18.1",
   ]
   
   [tool.databricks.environment]
   environment_version = "5"
   

5. Нажмите pyproject.toml в верхней части редактора файла.

   

Обновлённая среда доступна для ноутбуков и файлов, связанных с одним и тем же общим вычислительным ресурсом. Чтобы осмотреть окружение, откройте боковую панель «Окружение ». См. раздел «Настройка бессерверной среды» для получения информации о версиях бессерверной среды и установленных зависимостях.

Запланируйте блокнот

Когда вы планируете выполнение записной книжки, привязанной к Shared Serverless, из папки Git или редактора bundle, Azure Databricks использует корневой файл pyproject.toml в качестве среды проекта задания, если файл существует. Разверните пакет так, как описано в следующих шагах.

1. В папке Git или редакторе bundle откройте ноутбук, привязанный к Shared Serverless.
2. Если в папке или бандле Git есть файл pyproject.toml в корневом каталоге, проверьте, что он объявляет зависимости, необходимые задаче.
3. Щелкните Расписание.
4. В выпадающем списке «Вычисления» выберите «бессерверные вычисления».
5. Настройте расписание и нажмите Создать.

После нажатия «Создать» проверьте конфигурацию задания:

• Папка Git: Если в папке Git есть корневой pyproject.toml файл, проверьте, что Среда проекта в конфигурации задачи указывает на него. Чтобы изменить выбор, см. раздел «Настройка окружения для задач задания».

• Пакет: Редактор bundle открывает сгенерированный файл YAML задания в папке resources/ .

  1. Если у пакета есть корневой файл pyproject.toml, убедитесь, что project_environment в spec среды указывает на него относительно сгенерированного YAML-файла. См. Настройка среды проекта в пакете.
  2. Развернуть пакет для создания задачи.

  Расписания по умолчанию приостановлены в режиме разработки. См. режимы развертывания декларативных пакетов автоматизации.

Для опций планирования блокнотов смотрите раздел «Создание и управление запланированными заданиями notebook».

Limitations

• Совместное использование вычислительных ресурсов применяется в рамках политики использования бессерверных ресурсов. Блокноты и файлы в одной папке или пакете Git, использующие разные политики использования, получают отдельные вычислительные ресурсы вместо использования общего вычислительного ресурса.

Дополнительные ресурсы

• Бессерверные вычисления для записных книжек
• Настройка бессерверной среды
• Создание папок Git и управление ими
• Запуск команд shell в веб-терминале
• Декларативные пакеты автоматизации