Partilhar via

Use o Eclipse com PyDev e Databricks Connect para Python

  • Artigo

Nota

Este artigo aborda o Databricks Connect for Databricks Runtime 13.3 LTS e superior.

Este artigo aborda como usar o Databricks Connect para Scala e Eclipse com o PyDev. O Databricks Connect permite conectar IDEs populares, servidores de notebook e outros aplicativos personalizados a clusters do Azure Databricks. Consulte O que é Databricks Connect?.

Nota

Antes de começar a usar o Databricks Connect, você deve configurar o cliente Databricks Connect.

Para usar o Databricks Connect e o Eclipse com o PyDev, siga estas instruções.

  1. Abra o Eclipse.
  2. Criar um projeto: clique em Arquivo Novo Projeto PyDev Projeto PyDev> e, em seguida, clique em Avançar.> > >
  3. Especifique um nome de projeto.
  4. Para Conteúdo do projeto, especifique o caminho para seu ambiente virtual Python.
  5. Clique em Configurar um intérprete antes de processar.
  6. Clique em Configuração manual.
  7. Clique em New > Browse for python/pypy exe.
  8. Procure e selecione o caminho completo para o interpretador Python referenciado no ambiente virtual e clique em Abrir.
  9. Na caixa de diálogo Selecionar intérprete, clique em OK.
  10. Na caixa de diálogo Seleção necessária, clique em OK.
  11. Na caixa de diálogo Preferências, clique em Aplicar e Fechar.
  12. Na caixa de diálogo Projeto PyDev, clique em Concluir.
  13. Clique em Abrir perspetiva.
  14. Adicione ao projeto um arquivo de código Python (.py) que contenha o código de exemplo ou seu próprio código. Se você usar seu próprio código, no mínimo você deve inicializar DatabricksSession como mostrado no código de exemplo.
  15. Com o arquivo de código Python aberto, defina quaisquer pontos de interrupção onde você deseja que seu código pause durante a execução.
  16. Para executar o código, clique em Executar > Executar. Todo o código Python é executado localmente, enquanto todo o código PySpark envolvendo operações DataFrame é executado no cluster no espaço de trabalho remoto do Azure Databricks e as respostas de execução são enviadas de volta ao chamador local.
  17. Para depurar o código, clique em Executar > Depuração. Todo o código Python é depurado localmente, enquanto todo o código PySpark continua a ser executado no cluster no espaço de trabalho remoto do Azure Databricks. O código principal do mecanismo Spark não pode ser depurado diretamente do cliente.

Para obter instruções mais específicas de execução e depuração, consulte Executando um programa.