Поделиться через

Выполнение и отладка ячеек блокнота с использованием Databricks Connect через расширение Databricks для Visual Studio Code

Вы можете запускать и отлаживать записные книжки, одну ячейку одновременно или все ячейки и просматривать результаты в пользовательском интерфейсе Visual Studio Code с помощью расширения Databricks для интеграции Visual Studio Code Databricks Connect. Весь код выполняется локально, а все коды, связанные с операциями DataFrame, выполняются в кластере в удаленной рабочей области Azure Databricks и отправляются обратно в локальный вызывающий объект. Весь код отлаживается локально, а весь код Spark продолжает работать на кластере в удаленной рабочей области Azure Databricks. Основной код ядра Spark engine не может быть отлаживаем непосредственно от клиента.

Примечание.

Эта функция работает с Databricks Runtime 13.3 и выше.

Чтобы включить интеграцию Databricks Connect для записных книжек в расширении Databricks для Visual Studio Code, необходимо установить Databricks Connect в расширении Databricks для Visual Studio Code. Смотрите Отладка кода с использованием Databricks Connect для расширения Databricks для Visual Studio Code.

Запуск ячеек записной книжки Python

Для тетрадей с именами файлов с расширением .py, при открытии тетради в среде разработки Visual Studio Code, каждая ячейка отображает кнопки «Выполнить ячейку», «Выполнить выше» и «Отладить ячейку». При запуске ячейки его результаты отображаются на отдельной вкладке в интегрированной среде разработки. При отладке в отладочной ячейке отображаются кнопки "Продолжить", "Остановить" и "Пошаговая кнопка". При отладке ячейки можно использовать функции отладки Visual Studio Code, такие как просмотр состояний переменных и просмотр стека вызовов и консоли отладки.

Для записных книжек с именами файлов с .ipynb расширением при открытии записной книжки в интегрированной среде разработки Visual Studio Code записная книжка и ее ячейки содержат дополнительные функции. См. "Выполнение ячеек" и "Работа с ячейками кода в редакторе записных книжек" .

Дополнительные сведения о форматах записных книжек для имен файлов с расширениями .py и .ipynb см. в разделе "Импорт и экспорт записных книжек Databricks".

Запуск ячеек записной книжки Python Jupyter

Выполнение или отладка записной книжки Python Jupyter (.ipynb):

  1. В проекте откройте записную книжку Python Jupyter, которую вы хотите запустить или отладить. Убедитесь, что файл Python находится в формате записной книжки Jupyter и имеет расширение .ipynb.

    Совет

    Вы можете создать записную книжку Python Jupyter, выполнив >команду Create: New Jupyter Notebook из палитры команд.

  2. Нажмите Запустить все ячейки, чтобы запустить все ячейки без отладки, Выполнить ячейку, чтобы запустить отдельную соответствующую ячейку без отладки, или Выполнить построчно, чтобы выполнить отдельные строки ячейки поочередно с ограниченной отладкой, со значениями переменных, отображаемыми на панели Jupyter (View > Open View > Jupyter).

    Для полной отладки в отдельной ячейке задайте точки останова и нажмите кнопку "Отладка ячейки " в меню рядом с кнопкой "Запустить ячейку".

    После того как вы щелкнете любую из этих опций, вам может быть предложено установить отсутствующие зависимости пакетов для записной книжки Python Jupyter. Щелкните, чтобы установить его.

    Дополнительные сведения см. в разделе Jupyter Notebook в VS Code.

Глобальные записные книжки

Кроме того, включены следующие глобальные записные книжки:

  • spark, представляющий экземпляр databricks.connect.DatabricksSession, предварительно настроен для создания экземпляра DatabricksSession путем получения учетных данных проверки подлинности Azure Databricks из расширения. Если экземпляр DatabricksSession уже создан в коде ячейки записной книжки, вместо этого применяются настройки DatabricksSession. Примеры кода для Databricks Connect для Python.

  • udf, предварительно настроенный в качестве псевдонима для pyspark.sql.functions.udf, который является псевдонимом для определяемых пользователем функций Python. См. pyspark.sql.functions.udf.

  • sql, предварительно настроенный в качестве псевдонима для spark.sql. spark, как описано ранее, представляет предварительно настроенный экземпляр databricks.connect.DatabricksSession. См. статью Spark SQL.

  • dbutils, предварительно настроенный как экземпляр служебных программ Databricks, который импортируется из databricks-sdk и создается с использованием учетных данных для аутентификации Azure Databricks из расширения. См. Использование служебных программ Databricks.

    Примечание.

    Для записных книжек с Databricks Connect поддерживается только подмножество служебных программ Databricks.

    Чтобы включить dbutils.widgets, сначала необходимо установить пакет SDK Databricks для Python, выполнив следующую команду в терминале локального компьютера разработки:

    pip install 'databricks-sdk[notebook]'

  • display, предварительно настроенный в качестве псевдонима для встроенного IPython.display.displayJupyter. См. раздел IPython.display.display.

  • displayHTML, предварительно настроенный как псевдоним для dbruntime.display.displayHTML, который является псевдонимом для display.HTML из ipython. Смотрите IPython.display.html.

Магия записной книжки

Также включены следующие магии записной книжки:

К дополнительным функциям, которые включены, относятся:

  • Фреймы данных Spark преобразуются в фреймы данных pandas, которые отображаются в формате таблицы Jupyter.

Ограничения

Ограничения запуска ячеек в записных книжках в Visual Studio Code:

  • При вызове магии записных книжек %r и %scala не поддерживаются, и появляется ошибка. См. раздел " Смешивание языков".
  • Магия записной книжки %sql не поддерживает некоторые команды DML, например Показать таблицы.
  • Last updated on