Используйте код Genie с AI Runtime

Genie Code помогает разрабатывать, мигрировать и устранять неполадки в рабочих нагрузках глубокого обучения в ноутбуках, подключённых к AI Runtime. Он может генерировать распределённый обучающий код, решать проблемы среды и зависимостей, исследовать сбои с нагрузкой GPU, а также мигрировать ноутбуки Foundation Model Fine-tuning API и классические ноутбуки Databricks Runtime ML GPU.

Genie Code создаёт и запускает распределённую нагрузку для обучения CNN на восьми графических процессорах H100 в блокноте AI Runtime.

Requirements

Чтобы использовать код Genie с AI Runtime:

Get started

  1. Откройте блокнот Azure Databricks.

  2. Подключите ноутбук к AI Runtime. См. быстрый старт AI Runtime Notebook.

  3. Откройте панель Genie Code.

  4. Опишите объём работы, которую вы хотите разработать, или проблему, которую хотите решить.

  5. Ознакомьтесь с предлагаемым планом, изменениями в кодексе и действиями перед их утверждением.

    Important

    Код Джина может ошибаться. Просматривайте сгенерированный код, изменения среды и другие предлагаемые действия перед их запуском. Некоторые диагнозы требуют дополнительных логов или контекста рабочей нагрузки.

С чем может помочь Genie Code?

Разработка распределённых нагрузок для обучения

Genie Code может генерировать или обновлять обучающий код для AI Runtime. Он поможет вам выбрать подходящую распределённую стратегию PyTorch, использовать @distributed API из Databricks AI Runtime SDK (databricks.air), а также применять шаблоны AI Runtime для загрузки данных, сохранения контрольных точек и отслеживания MLflow. Для подробностей API и примеров см. раздел Распределённое обучение в ноутбуках.

Решайте вопросы среды и зависимостей

Genie Code может инспектировать текущую среду, отличать сбои совместимости пакетов от изменений кода или API и рекомендовать целевые исправления. Он также может помочь вам выбрать между средами Databricks AI и Standard исходя из зависимостей вашей рабочей нагрузки. Для информации о доступных окружениях см. раздел «Настройте вашу среду».

Отладка GPU и распределённые рабочие нагрузки

Genie Code может использовать выходные данные с блокнота и доступные логи для расследования распределённых сбоев в обучении, ошибок коммуникации, зависаний в обучении и проблем с памятью GPU. Это помогает выявить исходную неисправность и отличить её от ошибок, возникающих на других рангах. Для получения информации о просмотре распределённых обучающих журналов см. раздел «Отслеживание экспериментов и наблюдаемость».

Перенесите рабочие нагрузки в AI Runtime

Genie Code может перенести следующие рабочие нагрузки GPU для выполнения в AI Runtime notebook на поддерживаемом одноузловом ускорителе:

  • Устаревшие ноутбуки API для тонкой настройки Foundation Model: замените управляемые API-вызовы явной загрузкой моделей, обучением, оценкой, контрольными точками, отслеживанием MLflow и регистрацией моделей в Unity Catalog.
  • Классические GPU-ноутбуки с Databricks Runtime ML: Адаптируйте распределённое исполнение, загрузку данных, хранение, зависимости и отслеживание MLflow для AI Runtime. См. Миграция классических рабочих нагрузок GPU в serverless.

Примеры подсказок

Разработка распределённых нагрузок для обучения

  • «Обнови этот блокнот для распределённого обучения на всех восьми графических процессорах H100 в AI Runtime.»
  • «Проверьте этот распределённый учебный блокнот и исправьте его использование @distributed и MLflow.»
  • "Перенесите этот блокнот с SDK serverless_gpu на SDK AI Runtime."
  • «Адаптируйте эту учебную нагрузку для AI Runtime и объясните важные изменения.»

Решайте вопросы среды и зависимостей

  • «Этот блокнот перестал работать после того, как я установил новый пакет. Проверьте окружение и определите, связана ли проблема с зависимостями или изменением в API кода.»
  • Следует ли этой рабочей нагрузке использовать среду Databricks AI или стандартную среду? Изучите его зависимости и порекомендуйте окружающую среду, прежде чем что-либо менять.»
  • «Диагностируйте эту ошибку совместимости пакетов и рекомендуйте минимальное подходящее изменение.»

Отладка GPU и распределённые рабочие нагрузки

  • «Проанализируйте этот неудачный распределённый обучающий запуск, используя доступные данные каждого ранга, и определите корень причины.»
  • «Почему эта распределённая нагрузка зависает? Используйте вывод из блокнота, чтобы порекомендовать следующий шаг отладки.»
  • «Расследуйте этот сбой памяти GPU и порекомендуйте следующий шаг, основанный на доказательствах.»

Перенесите рабочие нагрузки в AI Runtime

  • «Переведите этот устаревший ноутбук Foundation Model Fine-tuning API на AI Runtime. Сохраняйте его обучающую цель и параметры, выбирайте совместимые вычислительные ресурсы и объясняйте любые предположения или блокеры.
  • "Перенесите этот ноутбук Databricks Runtime ML GPU в AI Runtime."

Дополнительные ресурсы

  • Последнее обновление: