Подключитесь к AI Runtime из ноутбука

Это важно

Эта функция доступна в общедоступной предварительной версии.

Прикрепление блокнота к AI Runtime — основной способ запуска обучения и тонкой настройки рабочих нагрузок. Вы ведёте интерактивную разработку с использованием GPU, а затем запускаете этот же ноутбук по расписанию как регулярную задачу, когда он готов к промышленной эксплуатации.

Подсказка

  • Подключите ноутбук к Serverless GPU для интерактивной разработки на GPU без настройки кластера.
  • Запланируйте тот же блокнот как повторяющуюся работу из интерфейса ноутбука, API заданий или пакетов декларативной автоматизации.
  • Для обучения на нескольких графических процессорах в блокноте см. Распределенное обучение в блокнотах.

Подсказка

Эта страница посвящена тетрадям. Чтобы получить доступ к AI Runtime другим способом, см. подключение из IDE через SSH-туннель, использование Databricks CLI с AI Runtime для отправки заданий с ноутбука или запуск Ray. Чтобы подготовить код обучения к использованию в рабочей среде (а не код из ноутбука) с помощью декларативных пакетов автоматизации, см. Подготовка рабочих нагрузок обучения к использованию в рабочей среде.

Подключитесь к блокноту

Это основной способ использования среды выполнения ИИ. Чтобы подключить записную книжку и настроить среду, выполните следующие действия.

  1. В записной книжке щелкните раскрывающееся меню вычислений в верхней части и выберите бессерверный GPU.

    Выпадающее меню «Вычислительные ресурсы ноутбука» с выбранным вариантом Serverless GPU в качестве вычислительного ресурса для ноутбука AI Runtime.

  2. Щелкните значок окружения, чтобы открыть боковую панель окружения.

  3. Выберите акселератор из поля акселератора . Для распределенных рабочих нагрузок обучения выберите 8xH100. Смотрите раздел «Аппаратные опции » для получения рекомендаций по выбору ускорителя.

  4. Выберите Standard v6 для среды Standard или AI v6 для среды AI в поле Base environment .

  5. Нажмите кнопку "Применить ", а затем подтвердите , что вы хотите применить среду выполнения ИИ к среде записной книжки.

    Боковая панель «Среда», на которой показаны поля «Ускоритель» и «Базовая среда» в блокноте AI Runtime.

Замечание

Подключение к вычислительным ресурсам автоматически завершается через 60 минут бездействия.

Подсказка

Для операций, не требующих графических процессоров (например, клонирования репозитория Git, преобразования форматов данных или анализа аналитических данных), подключите записную книжку к кластеру ЦП для сохранения ресурсов GPU.

Запланировать блокнот

Можно планировать блокноты, использующие AI Runtime, в качестве повторяющихся заданий — либо через интерфейс ноутбука, либо программно. Дополнительные сведения см. в статье "Создание запланированных заданий записной книжки и управление ими ".

Чтобы запланировать запуск из блокнота, который вы хотите запустить:

  1. Нажмите кнопку "Расписание " в правом верхнем углу.
  2. Выберите "Добавить расписание".
  3. Заполните форму нового расписанияименем задания, расписанием и вычислением.
  4. Нажмите кнопку "Создать".

Форма нового расписания, показывающая поля Job name, Schedule и Compute для запланированной работы в блокноте.

Замечание

Добавление зависимостей с помощью панели "Среды " не поддерживается для запланированных заданий среды выполнения ИИ. Зависимости должны быть установлены программно в вашем ноутбуке (например, %pip install). Автоматическое восстановление не поддерживается. Если задание завершается ошибкой из-за несовместимых пакетов, необходимо вручную устранить проблему и перезапустить задание.

Для рабочих нагрузок, которые могут превышать 7-дневный максимальный срок выполнения, реализуйте контрольные точки вручную, чтобы разрешить возобновление. Мы рекомендуем использовать тома в Unity Catalog через UCVolumeWriter и UCVolumeReader, начиная с serverless_gpu.data. См. Контрольная точка с распределённой контрольной точкой (DCP).

Планирование в интерфейсе Jobs and pipelines UI

Вы также можете создавать и планировать задания из пользовательского интерфейса заданий и конвейеров . Пошаговые инструкции см. в статье "Создание задания ".

Создание задания и настройка его расписания для блокнота среды выполнения ИИ из интерфейса Jobs and pipelines.

Это важно

Запуск запланированной задачи блокнота, использующей базовую среду рабочего пространства, включая среду Databricks AI, находится на этапе бета-тестирования. Администратор рабочей области должен включить поддержку базовой среды бессерверных рабочих областей в Jobs в режиме предварительной версии. См. статью "Управление предварительными версиями Azure Databricks".

Настраивайте расписание с помощью Jobs API и пакетов декларативной автоматизации

Вы можете программно создавать задания записных книжек AI Runtime и управлять ими с помощью API заданий Databricks или декларативных пакетов автоматизации. Настройте тип вычислений в качестве бессерверного GPU в определении задания или пакета для автоматизации конвейеров развертывания.

Чтобы запустить собственную команду обучения для каталога с кодом, а не для ноутбука, а также создавать многозадачные задания и конвейеры по расписанию, см. Перевод рабочих нагрузок обучения в производственную среду.

Следующий пример демонстрирует конфигурацию Declarative Automation Bundles для запланированной задачи AI Runtime в ноутбуке с использованием среды Standard:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Чтобы использовать среду AI Databricks вместо стандартной, установите base_environment идентификатор среды ИИ (например, databricks_ai_v6 для AI v6) в среде spec и ссылайтесь на него из задачи environment_key:

Это важно

Выбор среды Databricks AI в качестве базовой среды рабочей области в задании находится на стадии бета-тестирования. Администратор рабочей области должен включить поддержку базовой среды бессерверных рабочих областей в Jobs в режиме предварительной версии. См. статью "Управление предварительными версиями Azure Databricks".

resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100
  • Last updated on