Расширение Databricks IDE

Расширение Databricks IDE позволяет подключаться к вашим удалёным рабочим пространствам Azure Databricks из Visual Studio Code или Cursor на вашей локальной машине разработки. Затем можно:

• Определите, развертывайте и запускайте декларативные пакеты автоматизации для применения шаблонов CI/CD и рекомендаций к заданиям Lakeflow, конвейерам Lakeflow и стекам MLOps с помощью пользовательского интерфейса Visual Studio Code. Посмотрите, что такое декларативные автоматизированные пакеты? а также функции пакетов и проводников.
• Запускайте локальные файлы кода Python из Visual Studio Code на кластерах Azure Databricks или на серверless вычислительных ресурсах в ваших удаленных рабочих пространствах. См. Запуск файла Python на кластере.
• Запустите локальные файлы кода Python (.py) и Python, Записные книжки R, Scala и SQL (.py, .ipynb, .r, .scala и .sql) из Visual Studio Code как задания Lakeflow в удаленных рабочих областях. См. Запустить файл Python в качестве задания.
• Настройте среду отладки и Databricks Connect с помощью простого контрольного списка, который вызывает диалоги выбора. См. отладочный код с использованием Databricks Connect для расширения Databricks IDE.
• Отладка записных книжек по ячейкам в Visual Studio Code с помощью Databricks Connect. См. Запуск и отладка ячеек ноутбуков с помощью Databricks Connect с помощью расширения Databricks IDE.
• Синхронизируйте локальный код, который вы разрабатываете в Visual Studio Code с кодом в удаленных рабочих областях. См. раздел Синхронизация папки рабочей области с Databricks

Примечание.

Расширение Databricks IDE поддерживает запуск ноутбуков R, Scala и SQL в виде автоматизированных задач, но не обеспечивает более глубокой поддержки этих языков в Visual Studio Code.

Начало работы

Чтобы начать использовать расширение Databricks IDE:

• Установите расширение.
• Создайте новый проект Databricks или преобразуйте существующий проект Visual Studio Code.
• Легко настройте проект с помощью пользовательского интерфейса расширения Databricks.
• Запустите код Python в рамках руководства по расширению.
• Отлаживайте ваш код с помощью интеграции Databricks Connect.
• Тестирование кода с помощью pytest. См. Запуск тестов Python с использованием расширения Databricks IDE.

Создание проекта Databricks

После установки расширения вы можете создать новый проект Databricks, используя расширение Databricks IDE:

1. Запустите Visual Studio Code.
2. Щелкните значок Databricks на боковой панели Visual Studio Code, чтобы открыть расширение.
3. Щелкните Создать новый проект.
4. В палитре команд выберите хост и метод аутентификации для проекта. См. раздел «Настройка авторизации для расширения Databricks IDE».
5. В Укажите путь к папке, в которой вы хотите, чтобы новый проект был, введите путь к папке на локальном компьютере разработки, где вы хотите создать проект, или щелкните Открыть диалоговое окно выбора папок и выберите путь к папке проекта.
6. Чтобы использовать шаблон в представлении инициализации проекта Databricks, используйте стрелки вверх и вниз для выбора шаблона, а затем нажмите клавишу ВВОД. Дополнительные сведения о шаблонах проектов пакета см. в разделе "Декларативные шаблоны проектов пакетов автоматизации".
7. Введите уникальное имя для этого проекта или оставьте имя my_projectпроекта по умолчанию, а затем нажмите клавишу ВВОД.
8. Выберите, следует ли добавить заглушку (пример) записной книжки, заглушку (пример) конвейера Delta Live Tables или заглушку (пример) Python пакета в проект, или любую комбинацию этих заглушек (примеров).
9. Нажмите любую клавишу, чтобы закрыть вкладку редактора Databricks Project Init.
10. Для Выберите проект, который вы хотите открыть, выберите только что созданный проект.

Открытие существующего проекта декларативных пакетов автоматизации

В проекте декларативного пакета автоматизации есть databricks.yml файл в корневой папке проекта. См. конфигурацию декларативных пакетов автоматизации. Если вы хотите использовать расширение с существующим проектом декларативных пакетов автоматизации:

1. Запустите Visual Studio Code. В главном меню щелкните "Открыть папку">и перейдите в каталог, содержащий проект пакета.

2. Щелкните значок Databricks на боковой панели Visual Studio Code, чтобы открыть и начать использование функций расширения.

   Если расширение Databricks IDE обнаруживает более одного проекта Declarative Automation Bundles в текущей папке, оно позволяет выбрать открытие проекта или создание конфигурационного файла проекта в корневой папке.

   

   • Если вы выбрали проект, в палитре команд выберите существующий проект декларативных пакетов автоматизации.
   • При создании конфигурации в корневой папке эта папка становится проектом пакета.

3. Выберите хост и метод проверки подлинности для проекта. См. раздел «Настройка авторизации для расширения Databricks IDE».

Примечание.

Если вы открываете проект, созданный с использованием расширения Databricks IDE v1, миграция осуществляется автоматически с использованием существующей аутентификации и конфигурации рабочего пространства проекта. Кнопка миграции доступна только в том случае, если автоматическая миграция не удалась.

Переключайтесь между проектами Databricks

Расширение Databricks IDE позволяет иметь несколько проектов Databricks в вашем рабочем пространстве Visual Studio Code и легко переключаться между ними. Откройте проект с несколькими пакетами в рабочей области Visual Studio Code:

1. Щелкните значок Databricks на боковой панели Visual Studio Code, чтобы открыть расширение.

2. Нажмите локальную папку, чтобы выбрать проект для расширения.

   

Примечание.

Действия запуска доступны только для файлов в активном пакете.

Преобразование проекта в проект Databricks

Если у вас есть существующий проект, который вы хотите преобразовать в проект Databricks:

1. Запустите Visual Studio Code. В главном меню щелкните "Открыть папку">и перейдите к проекту, чтобы открыть его.
2. Щелкните значок Databricks на боковой панели Visual Studio Code, чтобы открыть расширение.
3. Нажмите кнопку " Создать конфигурацию".
4. В палитре команд выберите хост и метод аутентификации для проекта. См. раздел «Настройка авторизации для расширения Databricks IDE».