Compartilhar via

Databricks Connect para Python

Observação

Esse artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e superior.

O Databricks Connect permite que você conecte IDEs populares, como PyCharm, servidores de notebook e outros aplicativos personalizados à computação do Azure Databricks. Consulte O que é o Databricks Connect?.

Este artigo demonstra como começar rapidamente com o Databricks Connect para Python usando pyCharm.

Tutorial

No tutorial a seguir, você cria um projeto no PyCharm, instala o Databricks Connect para o Databricks Runtime 13.3 LTS e versões posteriores, e executa código simples no ambiente de computação do seu workspace do Databricks a partir do PyCharm. Para obter informações e exemplos adicionais, consulte As próximas etapas.

Requisitos

Para concluir este tutorial, você deve atender aos seguintes requisitos:

  • O workspace do Azure Databricks de destino deve ter o Catálogo do Unity habilitado.
  • Você tem o PyCharm instalado. Este tutorial foi testado com o PyCharm Community Edition 2023.3.5. Se você usar uma versão ou edição diferente do PyCharm, as instruções a seguir poderão variar.
  • Seu ambiente local e computação atendem aos requisitos de versão de instalação do Databricks Connect para Python .
  • Se você estiver usando a computação clássica, precisará da ID do cluster. Para obter a ID do seu cluster, no seu workspace, clique em Computação na barra lateral e clique no nome do seu cluster. Na barra de endereços do navegador da Web, copie a cadeia de caracteres entre clusters e configuration na URL.

Etapa 1: Configurar a autenticação do Azure Databricks

Este tutorial usa o de autenticação U2M (usuário para máquina) do OAuth e um perfil de configuração do Azure Databricks para autenticação no workspace do Azure Databricks. Para usar um tipo de autenticação diferente, consulte Configurar propriedades de conexão.

A configuração da autenticação OAuth U2M requer a CLI do Databricks. Para obter informações sobre a instalação da CLI do Databricks, confira Instalar ou atualizar a CLI do Databricks.

Inicie a autenticação OAuth U2M da seguinte forma:

  1. Use a Databricks CLI para iniciar o gerenciamento de token OAuth localmente executando o comando a seguir para cada workspace de destino.

    No comando a seguir, substitua <workspace-url> pela URL por workspace do Azure Databricks, por exemplo, https://adb-1234567890123456.7.azuredatabricks.net.

    databricks auth login --configure-cluster --host <workspace-url>

    Dica

    Para usar a computação sem servidor com o Databricks Connect, confira Configurar uma conexão com a computação sem servidor.

  2. A CLI do Databricks solicita que você salve as informações inseridas como um perfil de configuração do Azure Databricks. Pressione Enter para aceitar o nome de perfil sugerido ou digite o nome de um perfil novo ou existente. Qualquer perfil existente com o mesmo nome será substituído pelas informações inseridas. Você pode usar perfis para alternar rapidamente seu contexto de autenticação em vários workspaces.

    Para obter uma lista de quaisquer perfis existentes, em um terminal ou prompt de comando separado, use a CLI do Databricks para executar o comando databricks auth profiles. Para exibir as configurações existentes de um perfil específico, execute o comando databricks auth env --profile <profile-name>.

  3. No seu navegador web, complete as instruções no ecrã para iniciar sessão no seu espaço de trabalho Azure Databricks.

  4. Na lista de clusters disponíveis que aparece no seu terminal ou prompt de comando, use as teclas de seta para cima e para baixo para selecionar o cluster alvo do Azure Databricks em seu espaço de trabalho e pressione Enter. Você também pode digitar qualquer parte do nome de exibição do cluster para filtrar a lista de clusters disponíveis.

  5. Para exibir o valor atual do token OAuth de um perfil e o carimbo de data/hora de expiração do token, execute um dos seguintes comandos:

    • databricks auth token --host <workspace-url>
    • databricks auth token -p <profile-name>
    • databricks auth token --host <workspace-url> -p <profile-name>

    Se tiver vários perfis com o mesmo valor --host, poderá ter de especificar as opções --host e -p em conjunto para ajudar a CLI do Databricks a encontrar as informações de token OAuth correspondentes corretas.

Etapa 2: Crie o projeto

  1. Inicie o PyCharm.
  2. No menu principal, clique em Arquivo > Novo Projeto.
  3. Na caixa de diálogo Novo Projeto, clique em Python Puro.
  4. Em Localização, clique no ícone de pasta e conclua as instruções na tela para especificar o caminho para o novo projeto do Python.
  5. Deixe Criar um script de boas-vindas main.py selecionado.
  6. Para Tipo de interpretador, clique em Projeto venv.
  7. Expanda a Versão do Python e use o ícone de pasta ou a lista suspensa para especificar o caminho para o interpretador do Python dos requisitos anteriores.
  8. Clique em Criar.

Criar o projeto no PyCharm

Etapa 3: adiciona o pacote do Databricks para o Databricks Connect

  1. No menu principal do PyCharm, clique em Exibir > Janelas de Ferramentas > Pacotes Python.
  2. Na caixa de pesquisa, insira databricks-connect.
  3. Na lista repositório PyPI, clique em databricks-connect.
  4. Na lista suspensa mais recente do painel de resultados, selecione a versão que corresponde à versão do Databricks Runtime do cluster. Por exemplo, se o cluster tiver o Databricks Runtime 14.3 instalado, selecione 14.3.1.
  5. Clique em Instalar pacote.
  6. Após a instalação do pacote, você pode fechar a janela Pacotes do Python.

Instalar o pacote do Databricks Connect

Etapa 4: adicionar o código

  1. Na janela ferramenta Projeto , clique com o botão direito do mouse na pasta raiz do projeto e clique em Novo > Arquivo Python.

  2. Insira main.py e clique duas vezes em Arquivo Python.

  3. Insira o seguinte código no arquivo e, em seguida, salve o arquivo, dependendo do nome do seu perfil de configuração.

    Se o perfil de configuração da Etapa 1 for chamado DEFAULT, insira o seguinte código no arquivo e, em seguida, salve o arquivo:

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

    Se o perfil de configuração da Etapa 1 não for chamado DEFAULT, insira o seguinte código no arquivo. Substitua o espaço reservado <profile-name> pelo nome do perfil de configuração da Etapa 1 e salve o arquivo:

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.profile("<profile-name>").getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

Etapa 5: Executar o código

  1. Inicie o cluster de destino no workspace remoto do Azure Databricks.
  2. Depois que o cluster for iniciado, no menu principal, clique em Executar > Executar 'main'.
  3. Na janela Executar ferramenta (Exibir > Ferramenta Windows > Run), no painel principal da guia Executar, as cinco primeiras linhas aparecemsamples.nyctaxi.trips.

Etapa 6: Depurar o código

  1. Com o cluster ainda em execução, no código anterior, clique na medianiz ao lado de df.show(5) para definir um ponto de interrupção.
  2. No menu principal, clique em Executar > Debug 'main'.
  3. Na janela de ferramenta Depurar (Exibir > Janelas de Ferramentas > Depurar), no painel Variáveis da aba Depurador, expanda os nós de variáveis df e spark para navegar por informações sobre as variáveis do código df e spark.
  4. Na barra lateral da janela de ferramenta de depuração , clique no ícone de seta verde (Retomar Programa).
  5. No painel Console da aba Depurador, as cinco primeiras linhas de samples.nyctaxi.trips aparecem.

Depurar o projeto do PyCharm

Próximas etapas

Para saber mais sobre o Databricks Connect, confira artigos como os seguintes: