Типы хранилища SQL

Статья
04/17/2024

Databricks SQL поддерживает следующие типы хранилища SQL:

Бессерверные приложения
Pro
Классическое

Каждый тип хранилища SQL имеет разные возможности производительности. В следующей таблице показаны функции производительности, поддерживаемые каждым типом хранилища SQL.

	Подсистема фотона	Прогнозный операций ввода-вывода	Интеллектуальное управление рабочими нагрузками
Бессерверные приложения	X	X	X
Pro	X	X
Классическое	X

В следующем списке описана каждая функция производительности:

Фотон: собственный векторизованный обработчик запросов в Databricks. Это делает существующие вызовы API SQL и DataFrame быстрее и снижает общую стоимость на рабочую нагрузку.
Прогнозный ввод-вывод: набор функций для ускорения выборочных операций сканирования в запросах SQL. Прогнозный ввод-вывод может обеспечить широкий спектр скоростей.
Интеллектуальное управление рабочими нагрузками (IWM) — набор функций, повышающих способность Databricks SQL Serverless обрабатывать большое количество запросов быстро и экономично. Используя методы прогнозирования на основе искусственного интеллекта и динамического управления, IWM работает, чтобы рабочие нагрузки имели правильный объем ресурсов. Ключевое различие заключается в возможностях искусственного интеллекта в Databricks SQL для динамического реагирования на требования рабочей нагрузки, а не с использованием статических пороговых значений.

Примечание.

Цены на каждый тип хранилища и подробное сравнение функций см. в разделе Databricks SQL. Дополнительные сведения о новых возможностях Databricks SQL см. в статье Заметки о выпуске Databricks SQL.

Различия между типами хранилища SQL

Каждый тип хранилища SQL имеет разные характеристики производительности.

Бессерверные хранилища SQL

Используя бессерверную архитектуру Azure Databricks, бессерверное хранилище SQL поддерживает все функции производительности Databricks SQL. Благодаря бессерверному хранилищу SQL и его функциям производительности вы получаете:

Быстрое время запуска (обычно от 2 до 6 секунд).
Быстрое масштабирование для получения дополнительных вычислений при необходимости для поддержания низкой задержки.
Признание запросов ближе к ограничению оборудования, а не виртуальной машине.
Быстрое уменьшение масштабирования для минимизации затрат при низком спросе, обеспечивая согласованную производительность с оптимизированными затратами и ресурсами.

Для повышения производительности запуска, наиболее эффективного ввода-вывода, более эффективной обработки спроса на запрос, который значительно зависит от времени, и быстрой автоматической масштабирования при выполнении очереди запросов выберите бессерверное хранилище SQL. См . бессерверные автомасштабирование и очередь запросов.

Бессерверное хранилище SQL хорошо работает с этими типами рабочих нагрузок:

Извлечение, преобразование и загрузка
Бизнес-аналитика
Произвольный анализ

Внимание

Хранилища SQL не поддерживают сквозное руководство учетных данных. Databricks рекомендует использовать каталог Unity для управления данными. См. статью Что такое Unity Catalog?

Склады Pro SQL

Хранилище pro SQL поддерживает фотона и прогнозное выполнение операций ввода-вывода, но не поддерживает интеллектуальное управление рабочими нагрузками. В хранилище pro SQL (в отличие от бессерверного хранилища SQL), вычислительный уровень существует в вашей учетной записи подписки Azure, а не в учетной записи Azure Databricks. В результате хранилище pro SQL не поддерживает интеллектуальное управление рабочими нагрузками, что делает его менее адаптивным к запросу, который значительно изменяется с течением времени и не может быстро масштабироваться как бессерверный хранилище SQL. Хранилище pro SQL занимает несколько минут, чтобы запустить (обычно примерно 4 минуты) и масштабируется вверх и вниз с меньшей скоростью реагирования, чем бессерверное хранилище SQL. См . статью "Очереди и автомасштабирование" для хранилищ pro и классических хранилищ SQL.

Используйте хранилище pro SQL, если:

Бессерверные хранилища SQL недоступны в регионе.
У вас есть настраиваемая сеть и требуется подключиться к базам данных в сети в облаке или локальной среде для федерации или архитектуры гибридного типа. Например, используйте хранилище pro SQL, если вы хотите поместить другие службы в сеть, например шину событий или базы данных, или подключить сеть к локальной сети.

Классические хранилища SQL

Классическое хранилище SQL поддерживает Photon, но не поддерживает прогнозные операции ввода-вывода или интеллектуальное управление рабочими нагрузками. В классическом хранилище SQL (в отличие от бессерверного хранилища SQL), уровень вычислений существует в учетной записи подписки Azure, а не в учетной записи Azure Databricks. Без поддержки прогнозного ввода-вывода или интеллектуального управления рабочими нагрузками классический хранилище SQL обеспечивает только производительность начального уровня и меньше производительности, чем бессерверный или профессиональный хранилище SQL. Классическое хранилище SQL также занимает несколько минут, чтобы запустить (обычно примерно 4 минуты) и масштабируется вверх и вниз с меньшей скоростью реагирования, чем бессерверное хранилище SQL. См . статью "Очереди и автомасштабирование" для хранилищ pro и классических хранилищ SQL.

Используйте классическое хранилище SQL для выполнения интерактивных запросов для изучения данных с помощью функций SQL на уровне входа и Databricks SQL.

Примечание.

Сведения о масштабировании хранилища SQL и масштабировании хранилища SQL в ответ на очередь запросов см. в статье "Очереди и автомасштабирование для профессиональных и классических хранилищ SQL".

Что такое тип хранилища по умолчанию?

Для рабочих областей в регионах , поддерживающих бессерверные хранилища SQL и удовлетворяющие требованиям:

Используя пользовательский интерфейс, тип хранилища SQL по умолчанию бессерверен.
Использование API хранилищ SQL с параметрами по умолчанию, тип хранилища SQL по умолчанию является классическим. Чтобы использовать бессерверный параметр, задайте enable_serverless_compute для true параметра значение , а также задайте для proпараметра warehouse_type значение . Если эта рабочая область использовала API хранилищ SQL для создания хранилища в период с 1 ноября 2022 по 19 мая 2023 г. и соответствует требованиям для бессерверных хранилищ SQL, значение по умолчанию остается равным true. Чтобы избежать неоднозначности, особенно для организаций с множеством рабочих областей, Databricks рекомендует всегда задавать это поле.
Если рабочая область использует устаревшее внешнее хранилище метаданных Hive, бессерверные хранилища SQL не поддерживаются. Тип хранилища SQL по умолчанию совпадает с тем, что если бы бессерверные вычисления были отключены, что является профессиональным в пользовательском интерфейсе и классическом использовании API. Кроме того, обратитесь к группе учетной записи Azure Databricks, чтобы узнать больше о каталоге Unity или других вариантах.

Для рабочих областей, которые не поддерживают бессерверные хранилища SQL:

Используя пользовательский интерфейс, тип хранилища SQL по умолчанию является профессиональным.
Использование API хранилищ SQL с параметрами по умолчанию, тип хранилища SQL по умолчанию является классическим.