Лейкхаус Real-Time

Important

Эта функция доступна в бета-версии. Обратитесь к группе учетных записей Databricks, чтобы включить эту функцию в вашей учетной записи.

Lakehouse//RT активно разрабатывается. Характеристики производительности и поддерживаемый набор функций изменятся до общедоступной доступности.

Lakehouse Real-Time (Lakehouse//RT) — это бессерверная вычислительная среда, предназначенная для сценариев с низкой задержкой и высокой степенью параллелизма, таких как предоставление аналитических данных пользовательским приложениям, выполнение операционной аналитики или обеспечение работы BI-дашбордов, которым требуется отклик менее чем за секунду для сотен и тысяч одновременных пользователей.

Lakehouse//RT обеспечивает задержку менее секунды при SQL-запросах на чтение к таблицам Unity Catalog, использующим форматы Delta Lake или Apache Iceberg в облачном хранилище. Вы создаете и управляете Lakehouse/RT, как и другие хранилища SQL. Администратор рабочей области или привилегированный пользователь создает одну или несколько рабочих областей и назначает разрешения пользователям.

Requirements

Чтобы использовать Lakehouse//RT, необходимо:

Включение Lakehouse//RT в рабочей области

Администраторы рабочей области могут включить бета-версию Lakehouse/RT в рабочей области:

  1. В меню рабочей области (верхний правый угол) перейдите в раздел "Предварительные версии".
  2. Найдите Lakehouse RT.
  3. Включите предварительную версию.

После включения предварительной версии тип хранилища в режиме реального времени становится доступным в потоке создания хранилища SQL для рабочей области.

Создание хранилища Lakehouse/RT

Чтобы создать хранилище Lakehouse//RT, выполните следующие действия.

  1. Перейдите в раздел "Вычислительные>>", чтобы создать хранилище SQL.
  2. Выберите режим реального времени.
  3. Выберите размер: малый, средний, крупный или X-большой в зависимости от производительности запросов.
  4. Введите имя хранилища.
  5. Нажмите кнопку Создать.

Чтобы назначить разрешения, предоставьте возможность использовать, может отслеживать или управлять пользователями и группами, так же, как и хранилище SQL.

Note

В настоящее время невозможно обновить существующее хранилище SQL до Lakehouse/RT или уменьшить существующий склад Lakehouse//RT до другого типа хранилища.

Мониторинг действий Lakehouse//RT

Вы можете отслеживать запросы Lakehouse/RT так же, как и любой запрос, выполняемый в хранилище SQL:

Лучшие практики

Чтобы добиться наилучших результатов при работе с Lakehouse//RT, подготовьте нагрузки перед переносом:

  • Сначала проверьте бессерверный SQL. Запустите запросы в бессерверном хранилище SQL и убедитесь, что они выполняются через несколько секунд.
  • Используйте управляемые таблицы каталога Unity. Управляемые таблицы с прогнозной оптимизацией и жидкой кластеризацией обеспечивают оптимальную кластеризацию данных в соответствии с шаблонами вашей рабочей нагрузки.
  • Убедитесь, что запросы выборочные. Чтобы обеспечить задержку менее секунды, убедитесь, что ваши запросы обрабатывают меньший объем данных. Фильтруйте данные на раннем этапе с помощью условий WHERE, выбирайте только нужные столбцы и используйте агрегатные функции. Присоединение между таблицами поддерживается, но если запрос становится сложным или медленным, рекомендуется использовать материализованные представления, которые предварительно агрегируют данные для ускорения задержки.
  • Проверьте покрытие SQL. Lakehouse//RT поддерживает только запросы на чтение, совместимые с ANSI. Убедитесь, что рабочие нагрузки соответствуют ANSI и избегайте неподдерживаемых инструкций, функций и типов данных, перечисленных в разделе "Ограничения".

Поддерживаемые функции

Инструменты и интерфейсы

Вы можете выбрать Lakehouse//RT в средстве выбора вычислительных ресурсов в любой из следующих функций Azure Databricks:

  • Редактор SQL
  • Блокноты SQL
  • Панели мониторинга ИИ/BI
  • Обозреватель каталогов
  • Alerts

Типы таблиц

Lakehouse//RT запрашивает только данные каталога Unity. Для лучшей производительности используйте управляемые таблицы Unity Catalog, которые предоставляют движку структуру хранения данных, необходимую для обеспечения низкой задержки.

Lakehouse//RT поддерживает следующие типы таблиц:

  • Управляемые таблицы (таблицы Delta Lake и Apache Iceberg)
  • Материализованные представления и потоковые таблицы
  • Представления метрик

Connectivity

Lakehouse//RT принимает только подключения, использующие API выполнения инструкций. Он не поддерживает устаревший протокол Thrift, поэтому драйвер, который подключается без явного использования API выполнения инструкций, получает ошибку 501 .

Вы можете подключиться к хранилищу Lakehouse//RT следующим образом:

Pricing

Сведения о ценах см. на странице с информацией о ценах на Lakehouse Real-Time.

Limitations

Если запрос использует неподдерживаемую функцию, Lakehouse//RT возвращает ошибку, именующую эту функцию. Для успешного выполнения запроса используйте бессерверное хранилище SQL.

Средства и функции

Lakehouse//RT еще не поддерживает следующие функции:

  • Джинн
  • Агенты Genie
  • Задачи заданий

Типы таблиц

Следующие типы таблиц еще не поддерживаются:

  • Системные таблицы
  • Таблицы Delta Sharing
  • Таблицы в хранилище каталога Unity по умолчанию
  • Внешние таблицы в каталоге Unity

Lakehouse//RT не поддерживает следующие типы таблиц:

  • Таблицы хранилища метаданных Hive (управляемые или внешние)
  • Внешние таблицы и федерация запросов (Lakehouse Federation)
  • Временные таблицы
  • Таблицы, использующие другие форматы данных (CSV, JSON, Avro, Parquet, ORC и текст)

Драйверы и соединители

Lakehouse//RT не поддерживает следующие драйверы и соединители:

  • ADBC
  • ODBC
  • Вперед

Язык SQL

Lakehouse//RT выполняет запросы на чтение SQL только в режиме ANSI . Проверяются все неявные преобразования и явные приведения типов в соответствии со строгими правилами ANSI SQL, и это поведение невозможно отключить. В семантике ANSI запросы, зависящие от поведения, отличного от ANSI, могут:

  • Вызывать ошибку времени выполнения вместо того, чтобы молча создавать NULL. Например, приведение нечисленной строки к числу.
  • Вызывать ошибку на этапе анализа, если отсутствует безопасный общий тип. Например, COALESCE,, CASEINили задать операции между несовместимыми типами.
  • Возвращает тип результата, отличный от того, что используется в устаревшем режиме, поскольку повышение типа строк ANSI и расширение числовых типов выбирают безопасные типы без потери данных.

Чтобы получить прогнозируемые результаты, используйте явные CAST выражения, если неявные преобразования в режиме ANSI не создают ожидаемое поведение.

Lakehouse//RT не поддерживает следующее:

  • Типы данных: Типы данных GEOGRAPHY и GEOMETRY.
  • Функции: функции ИИ, пользовательские функции Python, пространственные функции SQL, а также функции XPath и XML.
  • Управления: Управление доступом на основе атрибутов (ABAC), включая безопасность на уровне строк и маскирование столбцов.

Lakehouse//RT предназначен только для запросов на чтение (SELECT). Команды записи и ETL не поддерживаются, в том числе:

  • Операции записи:INSERT, UPDATE, DELETEMERGE, и CREATE TABLE AS SELECT (CTAS).
  • DDL:CREATE, ALTER, DROPи другие инструкции, которые создают или изменяют объекты.
  • Инструкции безопасности:GRANT и REVOKE.
  • Скрипты, хранимые процедуры, временные таблицы и транзакции с несколькими операторами.
  • Обслуживание Delta Lake:OPTIMIZE, ANALYZE, VACUUMи REFRESH.

Сетевая безопасность

Important

Lakehouse//RT работает на бессерверных вычислительных ресурсах Azure Databricks. Чтобы создать межсетевой экран для вашего облачного хранилища, разрешив при этом доступ из бессерверных вычислений, см. «Настройка межсетевого экрана для доступа из бессерверных вычислений». Методы устаревшей настройки межсетевого экрана были недавно объявлены устаревшими. Если они всё ещё используются, бессерверные вычисления могут возвращать ошибку 403 Forbidden при попытке доступа к вашему хранилищу.

Lakehouse//RT еще не поддерживает следующие конфигурации сети:

Compliance

Профили безопасности соответствия в настоящее время не поддерживаются.

  • Last updated on