Поделиться через

Подключение к пулам

  • Статья

Примечание.

Если рабочая нагрузка поддерживает бессерверные вычисления, Databricks рекомендует использовать бессерверные вычисления вместо пулов, чтобы воспользоваться преимуществами постоянно масштабируемых вычислений. См. раздел "Подключение к бессерверным вычислениям".

Пулы Azure Databricks — это набор неактивных экземпляров, готовых к использованию. Когда узлы кластера создаются с помощью экземпляров простоя, время запуска кластера и автоматического масштабирования уменьшается. Если в пуле нет бездействующих экземпляров, пул расширяется путем выделения нового экземпляра от поставщика экземпляров для обработки запроса кластера.

Когда кластер освобождает экземпляр, он возвращается в пул и становится доступен для использования другим кластером. Только кластеры, подключенные к пулу, могут использовать бездействующие экземпляры из этого пула.

Azure Databricks не взимает плату (DBU), пока экземпляры остаются в пуле и бездействуют. Но к ним применяется оплата, предусмотренная поставщиком экземпляров. См. сведения о ценах.

Пулы можно управлять с помощью пользовательского интерфейса или путем вызова API пулов экземпляров.

Создание пула

Чтобы создать пул, необходимо иметь разрешение на создание пулов. По умолчанию только администраторы рабочей области имеют разрешения на создание пула.

Чтобы создать пул с помощью пользовательского интерфейса, выполните следующие действия.

  1. Щелкните "Значок вычисленийВычисления" на боковой панели.
  2. Перейдите на вкладку "Пулы".
  3. Нажмите кнопку "Создать пул ".
  4. Укажите конфигурацию пула.
  5. Нажмите кнопку Создать.

Подключение кластера к пулу

Чтобы подключить кластер к пулу с помощью интерфейса создания кластера , выберите пул из раскрывающегося списка с типом драйвера или типом рабочего процесса при настройке кластера. Доступные пулы перечислены в верхней части каждого раскрывающегося списка. Для узла драйвера и рабочих узлов можно использовать один и тот же пул или разные пулы.

При использовании API кластеров необходимо указать driver_instance_pool_id для узла драйвера и instance_pool_id для рабочих узлов.

Дополнительные рекомендации, связанные с пулами, см . в рекомендациях по пулам.

Разрешения пула

Существует три уровня разрешений для пула: НЕТ РАЗРЕШЕНИЙ, CAN ATTACH TO и CAN MANAGE. Дополнительные сведения см. в разделе ACL пула.

Настройка разрешений пула

В этом разделе описывается управление разрешениями с помощью пользовательского интерфейса рабочей области. Вы также можете использовать API разрешений или поставщик Databricks Terraform.

Для настройки разрешений необходимо иметь разрешение CAN MANAGE в пуле.

  1. На боковой панели щелкните Вычислительная среда.

  2. Перейдите на вкладку "Пулы".

  3. Выберите пул, который требуется обновить.

  4. Нажмите кнопку "Разрешения".

  5. В настройках разрешенийнажмите на раскрывающееся меню "Выбрать пользователя, группу или субъект службы..." и выберите пользователя, группу или субъект службы.

    Задать разрешения пула

  6. Выберите разрешение в раскрывающемся меню разрешений.

  7. Нажмите кнопку Добавить, а затем — Сохранить.

Удаление пула

Удаление пула приводит к завершению работы неактивных экземпляров пула и удалению его конфигурации. Чтобы удалить пул, щелкните Значок удаления значок на странице "Пулы". При удалении пула:

  • Работающие кластеры, подключенные к пулу, продолжают работать, но не поддерживают распределение экземпляров во время изменения размера или увеличения масштаба.
  • Кластеры, подключенные к пулу, работа которых завершена, не запускаются.

Внимание

Это действие нельзя отменить.