Задача блокнота для работы

Используйте задачу ноутбука для развертывания ноутбуков Databricks.

Настройка задачи записной книжки

Перед началом работы необходимо иметь ноутбук в расположении, доступном пользователю, конфигурирующему задание.

Примечание.

Пользовательский интерфейс заданий динамически отображает параметры на основе других настроенных параметров.

Чтобы начать процесс настройки Notebook задачи, выполните следующие действия.

1. Перейдите на вкладку "Задачи " в пользовательском интерфейсе заданий.
2. Нажмите кнопку "Добавить задачу".
3. Введите имя в поле "Имя задачи ".
4. В раскрывающемся меню Тип выберите .

Настройка источника

В раскрывающемся меню Source выберите расположение скрипта Python с помощью одного из следующих параметров.

Рабочая область

Используйте рабочую область для настройки записной книжки, хранящейся в рабочей области, выполнив следующие действия:

1. Щелкните поле "Путь". Откроется диалоговое окно Выбор записной книжки.
2. Перейдите к записной книжке, щелкните, чтобы выделить файл и нажмите кнопку "Подтвердить".

Примечание.

Этот параметр можно использовать для настройки задачи для записной книжки, хранящейся в папке Databricks Git. Databricks рекомендует использовать опцию поставщика Git и удаленный репозиторий Git для версионирования ресурсов, запланированных заданиями.

Поставщик Git

Используйте Git-сервис для настройки записной книжки в удаленном репозитории Git.

Параметры, отображаемые пользовательским интерфейсом, зависят от того, настроен ли поставщик Git в другом месте. Для всех задач в задании можно использовать только один удаленный репозиторий Git. См. статью "Использование Git с заданиями Lakeflow".

Внимание

Блокноты, созданные задачами Lakeflow, которые запускаются из удаленных репозиториев Git, являются временными и не могут использоваться для отслеживания запусков MLflow, экспериментов или моделей. При создании записной книжки из задания используйте эксперимент MLflow в рабочей области (вместо эксперимента MLflow в записной книжке) и вызовите mlflow.set_experiment("/path/to/experiment") в записной книжке рабочей области перед выполнением любого кода отслеживания MLflow. Дополнительные сведения см. в статье "Предотвращение потери данных в экспериментах MLflow".

Поле "Путь" отображается после настройки ссылки на git.

Введите относительный путь для записной книжки, например etl/bronze/ingest.py.

Внимание

При вводе относительного пути не начинайте с / или ./. Например, если абсолютный путь к записной книжке, к которой вы хотите получить доступ, — это /etl/bronze/ingest.py, введите etl/bronze/ingest.py в поле Path.

Настройка вычислительных и зависимых библиотек

1. Используйте Compute, чтобы выбрать или настроить кластер, который поддерживает выполнение логики в вашей записной книжке.
2. Если вы используете Serverless вычислительные мощности, устанавливайте библиотеки непосредственно в записной книжке через панель среды или с помощью %pip install. См. Настройте бессерверную среду.
3. Для всех остальных конфигураций вычислений нажмите кнопку +Добавить в зависимые библиотеки. Откроется диалог "Добавить зависимые библиотеки".
   • Вы можете выбрать существующую библиотеку или отправить новую библиотеку.
   • Вы можете использовать только библиотеки, хранящиеся в расположении, поддерживаемом конфигурациями вычислений. См. раздел поддержки библиотеки Python.
   • Каждый источник библиотеки имеет другой поток для выбора или отправки библиотеки. См. раздел "Установка библиотек".

Завершение настройки задания

1. (Необязательно) Настройте параметры в виде пар "ключ-значение", к которым можно получить доступ в ноутбуке с помощью dbutils.widgets. См.: Настройте параметры задачи.
2. Нажмите кнопку " Сохранить задачу".

Ограничения

Общий объем выходных данных ячейки записной книжки (объединенные выходные данные всех ячеек записной книжки) подлежит ограничению размера в 30 МБ. Кроме того, отдельные выходные данные ячеек подвергаются ограничению размера 8 МБ. Если общий объем выходных данных ячейки превышает 30 МБ или если выходные данные отдельной ячейки больше 8 МБ, выполнение отменяется и помечается как неудачное.

Если вам нужна помощь по поиску ячеек вблизи или за пределами лимита, запустите записную книжку в универсальном кластере и используйте метод автосохранения записной книжки.