Настройки функций драйвера Databricks JDBC (Simba)

Примечание.

Эта страница относится к драйверу JDBC Simba (устаревшая версия), версиям ниже версии 3. Databricks настоятельно рекомендует перейти на драйвер JDBC Databricks для подключения JDBC . Она включает такие улучшения, как поддержка представлений метрик каталога Unity, транзакций, охватывающих несколько инструкций SQL, хранимых процедур, быстрый получение больших результатов и встроенную телеметрию клиента.

На этой странице описывается настройка специальных и расширенных параметров возможностей драйвера для драйвера Databricks JDBC.

Драйвер JDBC Databricks предоставляет следующие специальные и расширенные параметры возможностей драйвера.

Поддержка запросов ANSI SQL-92 в JDBC

Устаревшие драйверы Spark JDBC принимают sql-запросы в диалекте ANSI SQL-92 и переводят их в Databricks SQL перед отправкой на сервер.

Если приложение создает Databricks SQL напрямую или использует синтаксис, отличный от ANSI SQL-92, относящийся к Azure Databricks, задайте UseNativeQuery=1 в конфигурации подключения. Этот параметр передает запросы SQL подробным образом в Azure Databricks без перевода.

Каталог и схема по умолчанию

Чтобы указать каталог и схему по умолчанию, добавьте ConnCatalog=<catalog-name>;ConnSchema=<schema-name> в URL-адрес подключения JDBC.

Теги запросов для отслеживания

Это важно

Эта функция доступна в закрытой предварительной версии. Чтобы запросить доступ, обратитесь в вашу команду поддержки аккаунтов.

Прикрепите теги key-value к запросам SQL для отслеживания и анализа. Теги запросов отображаются в system.query.history таблице для идентификации и анализа запросов.

Чтобы добавить теги запросов в подключение, добавьте ssp_query_tags параметр в URL-адрес подключения JDBC:

jdbc:databricks://<server-hostname>:443;httpPath=<http-path>;ssp_query_tags=key1:value1,key2:value2

Определите теги запросов как пары "ключ-значение", разделенные запятыми, где каждый ключ и значение разделены двоеточием. Например: key1:value1,key2:value2.

Извлечение больших результатов запроса в JDBC

Чтобы добиться наилучшей производительности при извлечении больших результатов запросов, используйте последнюю версию драйвера JDBC, которая включает в себя следующие оптимизации.

Стрелочная сериализация в JDBC

Драйвер JDBC версии 2.6.16 и выше поддерживает оптимизированный формат сериализации результатов запросов, использующий Apache Arrow.

Cloud Fetch в JDBC

Драйвер JDBC версии 2.6.19 и выше поддерживает Cloud Fetch, возможность получения результатов запросов через облачное хранилище, настроенное в развертывании Azure Databricks.

При выполнении запроса Azure Databricks сохраняет результаты в облачном хранилище рабочей области в виде сериализованных со стрелками файлов до 20 МБ. После завершения запроса драйвер отправляет запросы на получение, а Azure Databricks возвращает URL-адреса url-адреса подписанных URL-адресов сигнатуры доступа в файлы результатов. Затем драйвер использует эти URL-адреса для скачивания результатов непосредственно из хранилища Azure.

Cloud Fetch применяется только к результатам запроса размером более 1 МБ. Драйвер получает меньшие результаты непосредственно из Azure Databricks.

Azure Databricks автоматически мусор собирает накопленные файлы, помечая их на удаление через 24 часа и окончательно удаляя их через 24 часа.

Предварительные требования к сети

Если сеть является частной, необходимо настроить следующие параметры для работы Cloud Fetch:

• Разрешить *.blob.core.windows.net и *.store.core.windows.net в сетевой среде.
• Добавьте необходимые скачиваемый сертификат и отзыв в список разрешений.
• Если в учетной записи хранения рабочей области Azure Databricks включена поддержка брандмауэра, настройте шлюз данных virtual network data gateway или локальный шлюз данных для предоставления частного доступа к учетной записи хранения.

Чтобы отключить cloud Fetch, задайте EnableQueryResultDownload=0 в конфигурации подключения.

Диагностика медленных скачивание

LogLevel Задайте значение 4 (INFO) и LogPath полный путь к папке журнала, чтобы просмотреть метрики скорости скачивания Cloud Fetch. Скорость скачивания для каждого блока регистрируется в журналах драйвера, поэтому большие результирующие наборы создают несколько строк журнала. Драйвер также записывает предупреждение, когда скорость снижается примерно на 1 МБ/с. Эта функция доступна в версиях драйверов JDBC (Simba), выпущенных после декабря 2025 года.

Если скачивание замедлено или приостановлено, маркеры SAS могут истекать до завершения скачивания всех файлов результатов. Проверьте регулирование пропускной способности или перегрузку сети между клиентом и Хранилище BLOB-объектов Azure.

Включение ведения журнала

Чтобы включить логгирование в драйвере JDBC, задайте свойству LogLevel значение между 1 (только серьезные события) и 6 (всю активность драйвера). LogPath Задайте свойству полный путь к папке, в которой требуется сохранить файлы журналов.

Дополнительные сведения см. в руководстве по настройке ведения журнала в руководстве по драйверу Databricks JDBC.