Поделиться через

Бессерверные вычисления для записных книжек

  • Статья

Внимание

Эта функция предоставляется в режиме общедоступной предварительной версии. Сведения о правах и включении см. в разделе "Включение бессерверных вычислений".

В этой статье объясняется, как использовать бессерверные вычисления для записных книжек. Сведения об использовании бессерверных вычислений для рабочих процессов см. в статье "Запуск задания Azure Databricks с бессерверными вычислениями для рабочих процессов".

Сведения о ценах см. в разделе о ценах Databricks.

Требования

  • Рабочая область должна быть включена для каталога Unity.

  • Рабочая область должна находиться в поддерживаемом регионе. Ознакомьтесь с регионами Azure Databricks.

  • Учетная запись должна быть включена для бессерверных вычислений. См. раздел "Включить бессерверные вычисления".

Подключение записной книжки к бессерверным вычислениям

Если рабочая область включена для бессерверных интерактивных вычислений, все пользователи в рабочей области имеют доступ к бессерверным вычислительным ресурсам для записных книжек. Дополнительные разрешения не требуются.

Чтобы подключиться к бессерверным вычислениям, щелкните раскрывающееся меню Connect в записной книжке и выберите "Бессерверный". Для новых записных книжек подключенные вычислительные ресурсы автоматически по умолчанию по умолчанию бессерверны при выполнении кода, если другой ресурс не был выбран.

Установка зависимостей записной книжки

Можно установить зависимости Python для бессерверных записных книжек с помощью боковой панели среды , которая предоставляет одно место для редактирования, просмотра и экспорта требований к библиотеке для записной книжки. Эти зависимости можно добавить с помощью базовой среды или отдельно.

Панель бессерверной среды

Настройка базовой среды

Базовая среда — это файл YAML, хранящийся в виде файла рабочей области или том каталога Unity, который указывает дополнительные зависимости среды. Базовые среды можно совместно использовать между записными книжками. Чтобы настроить базовую среду, выполните приведенные действия.

  1. Создайте YAML-файл, определяющий параметры виртуальной среды Python. Следующий пример YAML, основанный на спецификации среды проектов MLflow, определяет базовую среду с несколькими зависимостями библиотеки:

    client: "1"
dependencies:
  - --index-url https://pypi.org/simple
  - -r "/Workspace/Shared/requirements.txt"
  - cowsay==6.1

  2. Отправьте YAML-файл в виде файла рабочей области или в том каталога Unity. См. раздел импорта файла или отправки файлов в том каталога Unity.

  3. Справа от записной книжки нажмите environment кнопку, чтобы развернуть панель "Среда ". Эта кнопка отображается только при подключении записной книжки к бессерверным вычислениям.

  4. В поле "Базовая среда" введите путь отправленного ФАЙЛА YAML или перейдите к нему и выберите его.

  5. Щелкните Применить. При этом устанавливаются зависимости в виртуальной среде записной книжки и перезапускается процесс Python.

Пользователи могут переопределить зависимости, указанные в базовой среде, путем установки зависимостей по отдельности.

Добавление зависимостей по отдельности

Кроме того, можно установить зависимости в записной книжке, подключенной к бессерверным вычислениям, с помощью вкладки "Зависимости" на панели "Среда".

  1. Справа от записной книжки нажмите environment кнопку, чтобы развернуть панель "Среда ". Эта кнопка отображается только при подключении записной книжки к бессерверным вычислениям.
  2. В разделе "Зависимости" нажмите кнопку "Добавить зависимость" и введите путь к зависимости библиотеки в поле. Можно указать зависимость в любом формате, допустимом в файле requirements.txt .
  3. Щелкните Применить. При этом устанавливаются зависимости в виртуальной среде записной книжки и перезапускается процесс Python.

Примечание.

Задание с использованием бессерверных вычислений установит спецификацию среды записной книжки перед выполнением кода записной книжки. Это означает, что при планировании записных книжек в качестве заданий не требуется добавлять зависимости. См. статью "Настройка сред записной книжки и зависимостей".

Просмотр установленных зависимостей и журналов pip

Чтобы просмотреть установленные зависимости, нажмите кнопку "Установить" на боковой панели "Среды " для записной книжки. Журналы установки pip для среды записной книжки также доступны, щелкнув журналы Pip в нижней части панели.

Сброс среды

Если записная книжка подключена к бессерверным вычислениям, Databricks автоматически кэширует содержимое виртуальной среды записной книжки. Это означает, что при открытии существующей записной книжки обычно не требуется переустановить зависимости Python, указанные на панели среды , даже если она была отключена из-за неактивности.

Кэширование виртуальной среды Python также применяется к заданиям. Это означает, что последующие запуски заданий быстрее, так как необходимые зависимости уже доступны.

Примечание.

Если изменить реализацию пользовательского пакета Python, используемого в задании без сервера, необходимо также обновить номер версии для заданий, чтобы получить последнюю реализацию.

Чтобы очистить кэш среды и выполнить новую установку зависимостей, указанных на панели "Среда " записной книжки, подключенной к бессерверным вычислениям, щелкните стрелку рядом с "Применить " и нажмите кнопку "Сброс среды".

Примечание.

Сбросьте виртуальную среду при установке пакетов, которые прерывают или изменяют базовую записную книжку или среду Apache Spark. Отключение записной книжки от бессерверных вычислений и повторное кэширование не обязательно очищает весь кэш среды.

Просмотр аналитических сведений о запросах

Бессерверные вычисления для записных книжек и рабочих процессов используют аналитические сведения о выполнении Spark для оценки производительности выполнения Spark. После запуска ячейки в записной книжке можно просмотреть аналитические сведения, связанные с запросами SQL и Python, щелкнув ссылку "Просмотреть производительность ".

Отображение производительности запросов

Чтобы просмотреть метрики запроса, щелкните любой из инструкций Spark. В этом разделе можно щелкнуть "Просмотреть профиль запроса", чтобы просмотреть визуализацию выполнения запроса. Дополнительные сведения о профилях запросов см. в разделе "Профиль запроса".

Примечание.

Чтобы просмотреть аналитические сведения о производительности выполнения задания, см. статью "Просмотр аналитических сведений о выполнении заданий".

Журнал запросов

Все запросы, выполняемые на бессерверных вычислениях, также будут записаны на странице журнала запросов рабочей области. Сведения об журнале запросов см. в разделе "Журнал запросов".

Ограничения аналитики запросов

  • Профиль запроса доступен только после завершения выполнения запроса.
  • Метрики обновляются в реальном времени, хотя профиль запроса не отображается во время выполнения.
  • Рассматриваются только следующие состояния запроса: RUNNING, CANCELED, FAILED, FINISHED.
  • Выполнение запросов не может быть отменено на странице журнала запросов. Их можно отменить в записных книжках или заданиях.
  • Подробные метрики недоступны.
  • Скачивание профиля запроса недоступно.
  • Доступ к пользовательскому интерфейсу Spark недоступен.
  • Текст инструкции содержит только последнюю строку, которая была запущена. Однако перед этой строкой может быть несколько строк, выполняемых в рамках одной инструкции.

Ограничения

Список ограничений см. в разделе об ограничениях бессерверных вычислений.