Запустите файл в кластере, файле или ноутбуке в качестве задания в Azure Databricks с использованием расширения Databricks IDE.

Расширение Databricks IDE позволяет запускать ваш Python-код на кластере или в Python, R, Scala, SQL или ноутбуке в качестве задачи в Azure Databricks.

Эта информация предполагает, что вы уже установили и настроили расширение Databricks IDE. См. Установить расширение Databricks IDE.

Примечание.

Для отладки кода или записных книжек из Visual Studio Code используйте Databricks Connect. См. отладочный код с использованием Databricks Connect для расширения Databricks IDE , а также Запусти и отладку ячеек блокнотов с помощью Databricks Connect с расширением Databricks IDE.

Запуск файла Python в кластере

Примечание.

Эта функция недоступна при использовании бессерверных вычислений.

Чтобы запустить файл на Python в кластере Azure Databricks с использованием расширения Databricks IDE, с расширением и вашим проектом, открытыми:

  1. Откройте файл Python, который требуется запустить в кластере.
  2. Выполните одно из следующих действий:

    • В строке заголовка редактора файлов щелкните значок "Запуск в Databricks ", а затем нажмите кнопку "Отправить и запустить файл".

      Отправка и запуск файла из значка

    • В представлении Проводник (Вид > Проводник) щелкните правой кнопкой мыши файл, а затем выберите Запустить на Databricks>Загрузить и запустить файл в контекстном меню.

      Отправка и запуск файла из контекстного меню

Файл выполняется в кластере и выходные данные доступны в консоли отладки (просмотр > консоли отладки).

Запуск файла Python в качестве задания

Чтобы запустить файл на Python как задание Azure Databricks с использованием расширения Databricks IDE, с расширением и открытым проектом:

  1. Откройте файл Python, который вы хотите запустить в качестве задания.
  2. Выполните одно из следующих действий:

    • В строке заголовка редактора файлов щелкните значок "Запуск в Databricks ", а затем нажмите кнопку "Запустить файл как рабочий процесс".

      Запуск файла в качестве рабочего процесса из значка

    • В представлении Проводник (Просмотр > Проводник) щелкните правой кнопкой мыши по файлу и выберите Запустить на Databricks>Запустить файл как процесс в контекстном меню.

      Запуск файла в качестве рабочего процесса из контекстного меню

Откроется новая вкладка редактора с названием Databricks Job Run. Файл выполняется как задание в рабочей области, и все выходные данные печатаются в новой области вывода вкладки редактора.

Чтобы просмотреть информацию о выполнении задания, щелкните ссылку Task run ID на новой вкладке редактора Databricks Job Run. Откроется рабочая область, и в ней будут отображаться сведения о выполнении задания.

Запуск записной книжки Python, R, Scala или SQL в качестве задания

Чтобы запустить ноутбук в формате задачи Azure Databricks с расширением Databricks IDE, с расширением и открытым проектом:

  1. Откройте записную книжку, которую вы хотите запустить в качестве задания.

    Совет

    Чтобы превратить python, R, Scala или SQL-файл в записную книжку Azure Databricks, добавьте комментарий # Databricks notebook source в начало файла и добавьте комментарий # COMMAND ---------- перед каждой ячейкой. Дополнительные сведения см. в разделе "Преобразование файла в записную книжку".

    Файл кода Python, форматированный как записная книжка Databricks1

  2. Выполните одно из следующих действий:

    • В строке заголовка редактора записных книжек щелкните значок "Запуск в Databricks ", а затем нажмите кнопку "Запустить файл как рабочий процесс".

      Примечание.

      Если Запуск в Databricks как рабочий процесс недоступен, см. Создание настраиваемой конфигурации запуска.

    • В окне Проводник (Вид > Проводник) щелкните правой кнопкой мыши файл записной книжки и выберите Выполнить на Databricks>Запустить файл как рабочий процесс из контекстного меню.

Откроется новая вкладка редактора с названием Databricks Job Run. Блокнот выполняется как задание в рабочей области. Записная книжка и ее выходные данные отображаются в области вывода новой вкладки редактора.

Чтобы просмотреть сведения о выполнении задания, щелкните ссылку ID запуска задачи на вкладке редактора выполнения задания Databricks. Рабочая область откроется, и сведения о выполнении задания будут отображены в рабочей области.

Создание настраиваемой конфигурации запуска

Пользовательская конфигурация запуска расширения Databricks IDE позволяет передавать пользовательские аргументы в задание или блокнот, либо создавать разные настройки запуска для разных файлов. Более подробную информацию см. в разделе «Конфигурации запуска» в документации по Visual Studio Code.

Чтобы создать настраиваемую конфигурацию запуска, нажмите кнопку "Выполнить > добавление конфигурации " в главном меню в Visual Studio Code. Затем выберите Databricks для конфигурации запуска на основе кластера или Databricks: рабочий процесс для конфигурации запуска на основе заданий.

Например, следующая настраиваемая конфигурация выполнения изменяет команду выполнить файл как рабочий процесс, чтобы передать аргумент --prod в задание:

{
  "version": "0.2.0",
  "configurations": [
    {
      "type": "databricks-workflow",
      "request": "launch",
      "name": "Run on Databricks as Workflow",
      "program": "${file}",
      "parameters": {},
      "args": ["--prod"]
    }
  ]
}

Совет

Добавьте "databricks": true к конфигурации "type": "python", если вы хотите использовать конфигурацию Python и воспользоваться проверкой подлинности Databricks Connect, которая является частью процесса настройки расширения.

  • Last updated on