Вычислительные ресурсы записной книжки
В этой статье рассматриваются параметры вычислительных ресурсов записной книжки. Записную книжку можно запустить в кластере Databricks, бессерверных вычислениях или для команд SQL, можно использовать хранилище SQL, тип вычислительных ресурсов, оптимизированный для аналитики SQL.
Бессерверные вычисления для записных книжек
Бессерверные вычислительные ресурсы позволяют быстро подключать записную книжку к вычислительным ресурсам по запросу.
Чтобы подключиться к бессерверным вычислениям, щелкните раскрывающееся меню Connect в записной книжке и выберите "Бессерверный".
Дополнительные сведения см. в разделе "Бессерверные вычисления" для записных книжек.
Подключение записной книжки к кластеру
Чтобы подключить записную книжку к кластеру, требуется разрешение CAN ATTACH TO cluster-level.
Внимание
Если записная книжка подключена к кластеру, любой пользователь с разрешением CAN RUN в записной книжке имеет неявное разрешение на доступ к кластеру.
Чтобы подключить записную книжку к кластеру, щелкните селектор вычислений на панели инструментов записной книжки и выберите кластер из раскрывающегося меню.
В меню отображается выбор кластеров, которые вы использовали недавно или в настоящее время запущены.
Чтобы выбрать из всех доступных кластеров, нажмите кнопку "Дополнительно...". Щелкните имя кластера, чтобы отобразить раскрывающееся меню и выберите существующий кластер.
Вы также можете создать новый кластер , выбрав "Создать новый ресурс" в раскрывающемся меню.
Внимание
В подключенной записной книжке определены следующие переменные Apache Spark.
| Класс | Имя переменной |
|---|---|
SparkContext |
sc |
SQLContext/HiveContext |
sqlContext |
SparkSession (Spark 2.x) |
spark |
Не создавайте SparkSession, SparkContext или SQLContext. Это приведет к несоответствующему поведению.
Использование записной книжки с хранилищем SQL
При присоединении записной книжки к хранилищу SQL можно запускать ячейки SQL и Markdown. При выполнении ячейки на любом другом языке (например, Python или R) возникает ошибка. Ячейки SQL, выполняемые в хранилище SQL, отображаются в журнале запросов хранилища SQL. Пользователь, который выполнил запрос, может просмотреть профиль запроса из записной книжки, щелкнув время в нижней части выходных данных.
Для запуска записной книжки требуется pro или бессерверное хранилище SQL. У вас должен быть доступ к рабочей области и хранилищу SQL.
Чтобы подключить записную книжку к хранилищу SQL, сделайте следующее:
Щелкните селектор вычислений на панели инструментов записной книжки. В раскрывающемся меню отображаются вычислительные ресурсы, которые в настоящее время запущены или которые недавно использовались. Хранилища SQL помечаются с
помощью .В меню выберите хранилище SQL.
Чтобы просмотреть все доступные хранилища SQL, выберите "Дополнительно" в раскрывающемся меню. Откроется диалоговое окно с доступными вычислительными ресурсами для записной книжки. Выберите хранилище SQL, выберите хранилище, которое вы хотите использовать, и нажмите кнопку "Подключить".
Вы также можете выбрать хранилище SQL в качестве вычислительного ресурса для записной книжки SQL при создании рабочего процесса или запланированного задания.
Ограничения хранилища SQL
Дополнительные сведения см. в известных ограничениях Databricks Notebook.
Отключение записной книжки
Чтобы отключить записную книжку от вычислительного ресурса, щелкните селектор вычислений на панели инструментов записной книжки и наведите указатель мыши на подключенный кластер или хранилище SQL в списке, чтобы отобразить боковое меню. В боковом меню выберите "Отсоединить".
Кроме того, можно отключить записные книжки от кластера на вкладке записные книжки на странице сведений о кластере.
Совет
Azure Databricks рекомендует отсоединить неиспользуемые записные книжки из кластеров. Это освобождает память драйвера.