Создание хранилища SQL

Администраторы рабочей области и достаточно привилегированные пользователи могут настраивать хранилища SQL и управлять ими. В этой статье описывается создание, изменение и мониторинг существующих хранилищ SQL.

Вы также можете создавать хранилища SQL с помощью API хранилища SQL или Terraform.

Databricks рекомендует использовать бессерверные хранилища SQL при наличии.

Примечание.

Большинство пользователей не могут создавать хранилища SQL, но могут перезапустить любое хранилище SQL, к которому они могут подключиться. См. статью "Подключение к хранилищу SQL".

Требования

В хранилищах SQL имеются следующие требования:

• Чтобы создать хранилище SQL, необходимо быть администратором рабочей области или пользователем с неограниченными разрешениями на создание кластера.
• Прежде чем создать бессерверное хранилище SQL в регионе , поддерживающем эту функцию, может потребоваться выполнить действия. См. раздел "Включить бессерверные хранилища SQL".

• Для классических или профессиональных хранилищ SQL учетная запись Azure должна иметь достаточную квоту виртуального ЦП. Квота виртуальных ЦП по умолчанию обычно подходит для создания бессерверного хранилища SQL, но может быть недостаточно для масштабирования хранилища SQL или создания дополнительных хранилищ. См. "Необходимая квота виртуальных ЦП Azure для классических и профессиональных SQL-хранилищ". Вы можете запросить дополнительную квоту виртуальных ЦП. У вашей учетной записи Azure может быть ограничение на квоту виртуальных ЦП, которую можно запросить. Для получения дополнительных сведений обратитесь к группе учетной записи Azure.

Создание хранилища SQL

Чтобы создать хранилище SQL с помощью веб-интерфейса:

1. Щелкните "Хранилища SQL" на боковой панели.
2. Нажмите кнопку "Создать хранилище SQL".
3. Введите имя хранилища.
4. (Необязательно) Настройка параметров хранилища. См. раздел "Настройка параметров хранилища SQL".
5. (Необязательно) Настройте дополнительные параметры. Дополнительные параметры см. в разделе "Дополнительные параметры".
6. Нажмите кнопку Создать.
7. (Необязательно) Настройте доступ к хранилищу SQL. См. раздел "Управление хранилищем SQL".

Созданный склад запускается автоматически.

Настройка параметров хранилища SQL

При создании или редактировании хранилища SQL можно изменить следующие параметры:

• Размер кластера представляет размер узла драйвера и количество рабочих узлов, связанных с кластером. Значение по умолчанию — X-Large. Чтобы уменьшить задержку запросов, увеличьте размер.

• Автоматическая остановка определяет, останавливается ли хранилище, если оно неактивно в течение указанного количества минут. Простаивающие хранилища SQL продолжают начислять единицы DBU и использовать ресурсы экземпляра облака до тех пор, пока не будут остановлены.

  • Хранилища pro и классического SQL: по умолчанию используется 45 минут, что рекомендуется для типичного использования. Минимальное значение — 10 минут.
  • Бессерверные хранилища SQL: по умолчанию используется 10 минут, что рекомендуется для типичного использования. Минимальное значение составляет 5 минут при использовании пользовательского интерфейса. Обратите внимание, что вы можете создать бессерверное хранилище SQL с помощью API хранилищ SQL, в этом случае можно задать значение автоматической остановки не более 1 минуты.

• Масштабирование задает минимальное и максимальное количество кластеров, которые будут использоваться для запроса. Значение по умолчанию — минимальное и не более одного кластера. Можно увеличить максимальное количество кластеров, если требуется обрабатывать более параллельных пользователей для данного запроса. Azure Databricks рекомендует кластер для каждых 10 одновременных запросов.

  Чтобы обеспечить оптимальную производительность, Azure Databricks периодически перезапускает кластеры, работающие более 24 часов. Во время рестарта Azure Databricks создает новый кластер и переносит новые запросы на него, деактивируя старый кластер. Существующие запросы продолжают выполняться в старом кластере, пока они не будут завершены.

  В течение этого переходного периода можно временно увидеть количество кластеров, превышающее настроенное максимальное значение. Например, если для максимального количества кластеров задано значение 1, во время повторной переработки может появиться 2 активных кластера. Azure Databricks ожидает завершения всех запросов в старом кластере, прежде чем завершить его. Если старый кластер не может быть завершен в течение 4 часов из-за длительных запросов, Azure Databricks принудительно завершает кластер для завершения процесса переработки.

• Тип определяет тип склада. Если в учетной записи включен бессерверный режим, бессерверный используется по умолчанию. Сведения о типах хранилища SQL см. в списке.

Дополнительные параметры

Настройте следующие расширенные параметры, разверните область "Дополнительные параметры " при создании нового хранилища SQL или изменении существующего хранилища SQL. Эти параметры также можно настроить с помощью API хранилища SQL.

• Теги: теги позволяют отслеживать стоимость облачных ресурсов, используемых пользователями и группами в вашей организации. Теги указываются в виде пар "ключ-значение".

• Каталог Unity: если каталог Unity включен для рабочей области, он используется по умолчанию для всех новых хранилищ в рабочей области. Если каталог Unity не включен для рабочей области, этот параметр не отображается. См. статью Что такое Unity Catalog?

• Канал: используйте канал предварительной версии для тестирования новых функций, включая запросы и панели мониторинга, прежде чем он станет стандартом Databricks SQL.

  Заметки о выпуске содержат информацию о содержимом последней предварительной версии.

Внимание

Databricks не рекомендует использовать предварительную версию для рабочих нагрузок в производственной среде. Так как только администраторы рабочей области могут просматривать свойства хранилища, включая его канал, рекомендуется указывать, что хранилище Databricks SQL использует предварительную версию в имени этого хранилища, чтобы запретить пользователям использовать его для рабочих рабочих нагрузок.

Настройка хранилища по умолчанию на уровне пользователя

Внимание

Эта функция доступна в бета-версии. Администраторы рабочей области могут управлять доступом к этой функции на странице "Предварительные версии ". См. статью "Управление предварительными версиями Azure Databricks".

Вы можете настроить хранилище SQL по умолчанию для автоматического использования при выполнении запросов. Этот параметр переопределяет хранилище по умолчанию на уровне рабочей области, если оно существует. Чтобы использовать этот параметр, рабочая область должна быть включена для предварительной версии бета-версии. См. раздел "Настройка хранилища SQL по умолчанию" для рабочей области.

Используйте раскрывающееся меню, чтобы задать новое значение по умолчанию из любой области разработки Databricks SQL, включая редактор SQL, панели мониторинга AI/BI, AI/BI Genie, оповещения и обозреватель каталогов.

Чтобы задать хранилище по умолчанию на уровне пользователя, выполните следующие действия.

1. Щелкните раскрывающееся меню, чтобы выбрать вычислительные ресурсы хранилища SQL.

2. Нажмите кнопку "Настроить хранилище по умолчанию".

   

3. Выберите один из следующих вариантов:

• По умолчанию рабочая область: Сохраните этот параметр, чтобы использовать набор хранилища по умолчанию для рабочей области.
• Последний выбранный вариант: Выбор по умолчанию показывает последнее хранилище, выбранное в качестве вычислительных ресурсов.
• Настраиваемое значение по умолчанию: Выберите новое хранилище SQL в качестве хранилища по умолчанию. Это переопределяет параметр по умолчанию уровня рабочей области. После настройки выбранный склад автоматически выбирается в качестве вычислительных ресурсов. Этот параметр можно переопределить вручную, выбрав другое хранилище SQL в раскрывающемся меню.

Управление хранилищем SQL

Администраторы рабочей области и пользователи с правами CAN MANAGE в хранилище SQL могут выполнять следующие задачи в существующем хранилище SQL:

• Чтобы остановить запущенное хранилище, щелкните значок остановки рядом с хранилищем.

• Чтобы запустить остановленное хранилище, щелкните значок запуска рядом с хранилищем.

• Чтобы изменить склад, щелкните Затем нажмите Изменить.

• Чтобы добавить и изменить разрешения, щелкните Затем щелкните 'Разрешения'.

  • Назначьте может просматривать для разрешения пользователям просматривать хранилища SQL, включая историю запросов и профили запросов. Эти пользователи не могут выполнять запросы в хранилище.
  • Назначение может использоваться пользователям, которым требуется выполнять запросы на складе.
  • Назначьте роль Может мониторить пользователям, чтобы они могли устранять неполадки и оптимизировать производительность запросов. Разрешение на мониторинг позволяет пользователям выполнять запросы и отслеживать SQL-хранилища, включая историю запросов и профили запросов.
  • Назначьте может управлять пользователям, ответственным за определение размера хранилища SQL и принятие решений об ограничениях расходов.
  • Владелец автоматически применяется к создателю SQL-хранилища.

  Дополнительные сведения о уровнях разрешений см. в статье aCL хранилища SQL.

• Чтобы обновить хранилище SQL до бессерверного, щелкните значок меню Kebab , а затем нажмите Обновить до бессерверного.

• Чтобы удалить хранилище, щелкните а затем нажмите кнопку "Удалить".

Примечание.

Обратитесь к представителю Databricks, чтобы восстановить удаленные хранилища в течение 14 дней.