Поделиться через

Параметры возможностей драйвера для драйвера Databricks JDBC

Примечание.

Эта статья применяется к драйверу Databricks JDBC Simba. Для драйвера JDBC, разработанного Databricks, см. Databricks JDBC Driver (OSS).

В этой статье описывается, как настроить специальные и расширенные параметры возможностей драйвера для драйвера JDBC Databricks.

Драйвер JDBC Databricks предоставляет следующие специальные и расширенные параметры возможностей драйвера.

Поддержка запросов ANSI SQL-92 в JDBC

Устаревшие драйверы JDBC Spark принимают SQL-запросы на диалекте ANSI SQL-92 и преобразуют запросы на диалект SQL Databricks перед отправкой на сервер. Однако если приложение создает Databricks SQL напрямую или приложение использует любой стандартный синтаксис SQL, отличный от ANSI SQL-92, характерный для Azure Databricks, Databricks рекомендует задать UseNativeQuery=1 в качестве конфигурации подключения. При использовании этого параметра драйвер дословно передает SQL-запросы в Azure Databricks.

Каталог и схема по умолчанию

Чтобы указать каталог и схему по умолчанию, добавьте ConnCatalog=<catalog-name>;ConnSchema=<schema-name> в URL-адрес подключения JDBC.

Извлечение больших результатов запроса в JDBC

Чтобы добиться наилучшей производительности при извлечении больших результатов запросов, используйте последнюю версию драйвера JDBC, которая включает в себя следующие оптимизации.

Стрелочная сериализация в JDBC

Драйвер JDBC версии 2.6.16 и выше поддерживает оптимизированный формат сериализации результатов запросов, использующий Apache Arrow.

Cloud Fetch в JDBC

Драйвер JDBC версии 2.6.19 и выше поддерживает Cloud Fetch, возможность получения результатов запросов через облачное хранилище, настроенное в развертывании Azure Databricks.

Результаты запросов загружаются во внутреннее хранилище DBFS в виде сериализованных стрелками файлов размером до 20 МБ. Когда драйвер отправляет запросы на получение после завершения запроса, Azure Databricks создает и возвращает подписанные URL-адреса для отправленных файлов. Затем драйвер JDBC использует URL-адреса для загрузки результатов непосредственно из DBFS.

Cloud Fetch используется только для результатов запроса размером более 1 МБ. Меньшие по размеру результаты извлекаются непосредственно из Azure Databricks.

Azure Databricks автоматически собирает мусор накопленные файлы, которые помечаются для удаления через 24 часа. Эти помеченные файлы полностью удаляются через 24 часа.

Чтобы узнать больше об архитектуре Cloud Fetch, см. статью Как мы добились подключения с высокой пропускной способностью с помощью инструментов бизнес-аналитики.

Включение ведения журнала

Чтобы включить ведение журнала в драйвере JDBC, задайте свойство LogLevel из 1 для записи только серьезных событий через 6 для регистрации всех действий драйвера. Задайте для свойства LogPath полный путь к папке, в которой требуется сохранить файлы журналов.

Дополнительные сведения см. в разделе Configuring Logging руководства по драйверу Databricks JDBC.