Configurar uma conexão com o Databricks usando o Driver JDBC do Databricks

Esta página mostra como configurar uma conexão com o Databricks usando o Driver JDBC do Databricks, versão 3 e superior.

Configurar a conexão

Para se conectar ao seu workspace Azure Databricks usando o driver JDBC, você precisa especificar as configurações de conexão, incluindo o nome do host do servidor do workspace, as configurações de recurso de computação e as credenciais de autenticação.

Observação

O driver JDBC não oferece suporte à conexão com jobs compute.

Defina essas propriedades na URL de conexão JDBC, passe-as para o método DriverManager.getConnection ou use uma combinação de ambas. Consulte a documentação do provedor para obter a melhor maneira de se conectar usando seu aplicativo, cliente, SDK, API ou ferramenta SQL específico.

A URL de conexão JDBC deve estar no formato a seguir. As propriedades não diferenciam maiúsculas de minúsculas.

jdbc:databricks://<server-hostname>:<port>/<schema>;[property1]=[value];[property2]=[value];...

Como alternativa, especifique as configurações usando a classe java.util.Properties ou uma combinação:

String url = "jdbc:databricks://<server-hostname>:<port>/<schema>";
Properties properties = new java.util.Properties();
properties.put("<property1>", "<value1");
properties.put("<property2>", "<value2");
// ...
Connection conn = DriverManager.getConnection(url, properties);

String url = "jdbc:databricks://<server-hostname>:<port>/<schema>;[property1]=[value];[property2]=[value];";
Connection conn = DriverManager.getConnection(url, "token", "12345678901234667890abcdabcd");

Os elementos de URL de conexão são descritos na tabela a seguir.

Para obter informações sobre propriedades adicionais, incluindo propriedades de autenticação, propriedades de configuração do SQL e propriedades de log, consulte propriedades de conexão suportadas.

Observação

Elementos e propriedades de URL são insensíveis a maiúsculas e minúsculas.

Elemento ou propriedade de URL Descrição
<server-hostname> O valor do nome do host do servidor do recurso de computação do Azure Databricks.
<port> O valor da porta do recurso de computação do Azure Databricks. O valor padrão é 443.
<schema> O nome do esquema. Como alternativa, defina a ConnSchema propriedade. Consulte Propriedades de conexão com suporte.
httpPath O valor do caminho HTTP do recurso de computação do Azure Databricks. O conector forma o endereço HTTP ao qual se conectar acrescentando o valor httpPath ao host e à porta especificados na URL de conexão. Por exemplo, para se conectar ao endereço HTTP http://localhost:10002/cliservice, você usaria a seguinte URL de conexão: jdbc:databricks://localhost:10002;httpPath=cliservice

Para obter a URL de conexão JDBC para um cluster do Azure Databricks :

  1. Faça login no workspace do Azure Databricks.
  2. Na barra lateral, clique em Computação e, em seguida, clique no nome do cluster de destino.
  3. Na guia Configuração, expanda Opções avançadas.
  4. Clique na guia JDBC/ODBC.
  5. Copie a URL JDBC para usar como a URL de conexão JDBC ou construa a URL a partir dos valores nos campos Nome do host do servidor, Portae Caminho HTTP.

Para obter a URL de conexão JDBC para um warehouse do Databricks SQL:

  1. Faça login no workspace do Azure Databricks.
  2. Na barra lateral, clique em SQL Warehouses e, em seguida, clique no nome do warehouse de destino.
  3. Clique na guia Detalhes da conexão.
  4. Copie a URL JDBC para usar como a URL de conexão JDBC ou construa a URL a partir dos valores nos campos Nome do host do servidor, Portae Caminho HTTP.

Configurar marcas de consulta

Importante

Este recurso está em Versão prévia privada. Para solicitar acesso, entre em contato com sua equipe de conta.

Anexe marcas chave-valor a consultas SQL para fins de acompanhamento e análise. As marcas para identificação e análise de consulta aparecem na tabela system.query.history.

Para adicionar tags de consulta à sua conexão, inclua a propriedade query_tags na URL JDBC.

jdbc:databricks://<server-hostname>:<port>/<schema>;query_tags=key1:value1,key2:value2

As marcas de consulta usam um formato de par chave:valor separado por vírgulas:

  • query_tags=key:value (tag única)
  • query_tags=key1:value1,key2:value2,key3:value3 (múltiplas tags)

Configurar conexões de proxy

Configure o conector para se conectar por meio de um servidor proxy em vez de se conectar diretamente ao Databricks. O conector dá suporte à autenticação básica e SPNEGO ao se conectar por meio de um servidor proxy. Consulte Propriedades de conexão com suporte.

Para usar as configurações de proxy no nível do sistema, defina UseProxy=1 e UseSystemProxy=1.

Para definir as configurações de proxy manualmente:

  1. Defina UseProxy=1.
  2. Definir ProxyHost, ProxyPorte ProxyIgnoreList.
  3. Para autenticar com o servidor proxy, escolha um método:
    • Básico: Definir ProxyAuth=1, ProxyUIDe ProxyPWD.
    • SPNEGO (ambientes Kerberos): autentique seu principal Kerberos no nível do sistema e defina ProxyAuth=2.

Configurar um proxy para o Cloud Fetch

O Cloud Fetch requer uma configuração de proxy separada da conexão de driver principal. Use as propriedades de conexão UseCFProxy, CFProxyHost, CFProxyPort, CFProxyAuth, CFProxyUID e CFProxyPwd para rotear o tráfego de Cloud Fetch por meio de um proxy. Consulte Propriedades de conexão com suporte.

Se sua rede for privada, permita *.blob.core.windows.net e *.store.core.windows.net e adicione os downloads e revogações de certificado necessários à sua lista de permissões.

Solução de problemas

Se você não conseguir resolver problemas de proxy, configure EnableQueryResultDownload=0 para desativar o Cloud Fetch e use como alternativa o download direto.

Para diagnosticar problemas de desempenho, defina LogLevel=4 para habilitar o registro em log no nível do INFO. O driver registra a velocidade de download por pedaço, portanto, conjuntos de resultados grandes geram várias linhas de log.

CloudFetch download speed: 21.24 MB/s
CloudFetch download speed: 20.60 MB/s

O driver registra um aviso quando a velocidade de download fica abaixo de aproximadamente 1 MB/s. O componente de log é com.databricks.client.spark.jdbc.ResultFileDownloadHandler. Se os downloads estiverem lentos ou paralisados, aumente CloudFetchThreadPoolSize para baixar mais partes de arquivo em paralelo.

Configurando o SSL

Se você estiver se conectando a um workspace do Databricks com o SSL habilitado, configure o conector para se conectar a um soquete habilitado para SSL. O conector usa a autenticação unidirecional para verificar a identidade do servidor.

A autenticação unidirecional requer um certificado SSL assinado e confiável. Configure o conector para acessar um TrustStore específico. Se você não especificar um TrustStore, o conector usará o TrustStore Java padrão (jssecacerts) ou cacerts se jssecacerts não estiver disponível.

Para configurar o SSL:

  1. Defina SSL=1.
  2. Se você não estiver usando um Java TrustStore padrão, configure um personalizado:
    • Crie um TrustStore que contenha seu certificado de servidor confiável e assinado.
    • Defina SSLTrustStore como o caminho completo do TrustStore.
    • Defina SSLTrustStorePwd como a senha do TrustStore.
    • Se o TrustStore não for um TrustStore do JKS, defina SSLTrustStoreType como BCFKS (BouncyCastle FIPS Keystore) ou PKCS12.

Para alterar a estratégia de revogação de certificado, defina as seguintes propriedades:

  • CheckCertRevocation: defina para 0 aceitar certificados revogados. O padrão é 1.
  • AcceptUndeterminedRevocation: defina para 1 aceitar certificados com status de revogação indeterminado (por exemplo, quando CRLDP estiver inacessível ou atingir o tempo limite). O padrão é 0.

Autenticar o driver

Para obter informações sobre como configurar a autenticação para o driver JDBC, consulte as configurações de Autenticação para o Driver JDBC do Databricks.

  • Last updated on