Compartir vía

Configuración de capacidad del controlador del controlador ODBC de Databricks

En esta página se describe cómo configurar opciones de funcionalidad de controlador especiales y avanzadas para el controlador ODBC de Databricks.

El controlador ODBC de Databricks proporciona la siguiente configuración de capacidad de controlador especial y avanzada.

Establecimiento del esquema inicial en ODBC

El controlador ODBC permite especificar el esquema estableciendo Schema=<schema-name> como una configuración de conexión. Equivale a ejecutar USE <schema-name>.

Etiquetas de consulta para el seguimiento

Importante

** Esta característica está disponible en versión preliminar privada. Para solicitar acceso, póngase en contacto con el equipo de su cuenta.

Adjunte etiquetas clave-valor a las consultas SQL con fines de seguimiento y análisis. Las etiquetas de consulta aparecen en la system.query.history tabla para la identificación y el análisis de consultas.

Para agregar etiquetas de consulta a la conexión, incluya el parámetro ssp_query_tags en la configuración de conexión ODBC.

Defina etiquetas de consulta como pares clave-valor separados por comas, donde cada clave y valor están separados por dos puntos. Por ejemplo: ssp_query_tags=team:engineering,env:prod.

Compatibilidad con consultas SQL-92 de ANSI en ODBC

Los controladores ODBC de Spark heredados aceptan consultas SQL en el dialecto ANSI SQL-92 y los traducen a Databricks SQL antes de enviarlos al servidor.

Si la aplicación genera Databricks SQL directamente o usa la sintaxis no ANSI SQL-92 específica de Azure Databricks, establezca UseNativeQuery=1 en la configuración de conexión. Esta configuración pasa las consultas SQL textualmente a Azure Databricks sin traducción.

Extracción de resultados de consultas grandes en ODBC

Para lograr el mejor rendimiento al extraer resultados de consultas grandes, use la versión más reciente del controlador ODBC, que incluye las siguientes optimizaciones.

Serialización de Arrow en ODBC

La versión 2.6.15 y las versiones posteriores del controlador ODBC admiten un formato de serialización de resultados de consulta optimizado que usa Apache Arrow.

Nota:

Cloud Fetch solo está disponible para AWS y Azure áreas de trabajo.

Captura en la nube en ODBC

La versión 2.6.17 y posteriores del controlador ODBC admite Cloud Fetch, una funcionalidad que captura los resultados de las consultas a través del almacenamiento en la nube configurado en la implementación de Azure Databricks.

Al ejecutar una consulta, Azure Databricks almacena los resultados en el almacenamiento en la nube del área de trabajo como archivos serializados con flecha de hasta 20 MB. Una vez completada la consulta, el controlador envía solicitudes de captura y Azure Databricks devuelve direcciones URL de firma de acceso compartido (SAS) a los archivos de resultados. A continuación, el controlador usa estas direcciones URL para descargar los resultados directamente desde Azure almacenamiento.

Cloud Fetch solo se aplica a los resultados de la consulta de más de 1 MB. El controlador recupera resultados más pequeños directamente de Azure Databricks.

Azure Databricks recolección de elementos no utilizados automáticamente recopila archivos acumulados, lo que los marca para su eliminación después de 24 horas y los elimina permanentemente después de 24 horas adicionales.

Requisitos previos de red

Si la red es privada, debe configurar las siguientes opciones para que Cloud Fetch funcione:

  • Permitir *.blob.core.windows.net y *.store.core.windows.net en el entorno de red.
  • Agregue las descargas y revocaciones de certificados necesarias a la lista de permitidos.
  • Si la compatibilidad con firewall está habilitada en la cuenta de almacenamiento del área de trabajo de Azure Databricks, configure una puerta de enlace de datos de red virtual o puerta de enlace de datos local permitir el acceso privado a la cuenta de almacenamiento.

Para deshabilitar Cloud Fetch, establezca EnableQueryResultDownload=0 en la configuración de conexión.

Habilitar registro

Para habilitar el registro en el controlador ODBC, establezca la LogLevel propiedad en un valor entre 1 (solo eventos graves) y 6 (toda la actividad del controlador). Establezca la LogPath propiedad en la ruta de acceso completa de la carpeta donde desea guardar los archivos de registro.

Para obtener más información, vea Configurar opciones de registro en una máquina que no sea de Windows en la Guía del controlador ODBC de Databricks.

  • Last updated on