Use o PyCharm com o Databricks Connect para Python

Nota

Este artigo aborda o Databricks Connect for Databricks Runtime 13.3 LTS e superior.

Este artigo aborda como usar o Databricks Connect for Python com o PyCharm. O Databricks Connect permite conectar IDEs populares, servidores de notebook e outros aplicativos personalizados a clusters do Azure Databricks. Consulte O que é Databricks Connect?.

Nota

Antes de começar a usar o Databricks Connect, você deve configurar o cliente Databricks Connect.

IntelliJ IDEA Ultimate fornece suporte de plugin para PyCharm com Python também. Para obter detalhes, consulte Plug-in Python para IntelliJ IDEA Ultimate.

Para usar o Databricks Connect com PyCharm e Python, siga estas instruções para venv ou Poetry. Este artigo foi testado com o PyCharm Community Edition 2023.3.5. Se você usar uma versão ou edição diferente do PyCharm, as instruções a seguir podem variar.

Use o PyCharm com venv e Databricks Connect para Python

1. Inicie o PyCharm.

2. Criar um projeto: clique em Arquivo > Novo Projeto.

3. Na caixa de diálogo Novo projeto, clique em Python puro.

4. Em Local, clique no ícone da pasta e selecione o caminho para o ambiente virtual existente venv que você criou em Install Databricks Connect for Python.

5. Para Tipo de intérprete, clique em Ambiente personalizado.

6. Em Ambiente, selecione Selecionar existente.

7. Em Type, selecione Python.

8. Para Path, use o ícone de pasta ou a lista suspensa para selecionar o caminho para o interpretador Python no ambiente virtual existente venv .

   Gorjeta

   O interpretador Python para um venv ambiente virtual é normalmente instalado no </path-to-venv>/bin. Para obter mais informações, consulte venv.

9. Clique em OK.

10. Clique em Criar.

11. Adicione ao projeto um arquivo de código Python (.py) que contenha o código de exemplo ou seu próprio código. Se você usar seu próprio código, no mínimo você deve inicializar DatabricksSession como mostrado no código de exemplo.

12. Com o arquivo de código Python aberto, defina quaisquer pontos de interrupção onde você deseja que seu código pause durante a execução.

13. Para executar o código, clique em Executar > Executar. Todo o código Python é executado localmente, enquanto todo o código PySpark envolvendo operações DataFrame é executado no cluster no espaço de trabalho remoto do Azure Databricks e as respostas de execução são enviadas de volta ao chamador local.

14. Para depurar o código, clique em Executar > Depuração. Todo o código Python é depurado localmente, enquanto todo o código PySpark continua a ser executado no cluster no espaço de trabalho remoto do Azure Databricks. O código principal do mecanismo Spark não pode ser depurado diretamente do cliente.

15. Siga as instruções na tela para começar a executar ou depurar o código.

Para obter instruções de execução e depuração mais específicas, consulte Executar sem nenhuma configuração e depuração anteriores.

Use o PyCharm com o Poetry e o Databricks Connect para Python

1. Inicie o PyCharm.

2. Criar um projeto: clique em Arquivo > Novo Projeto.

3. 1. Na caixa de diálogo Novo projeto, clique em Python puro.

4. Em Local, clique no ícone da pasta e selecione o caminho para o ambiente virtual Poetry existente que você criou em Install Databricks Connect for Python.

5. Para Tipo de intérprete, clique em Ambiente personalizado.

6. Em Ambiente, selecione Selecionar existente.

7. Em Type, selecione Python.

8. Para Path, use o ícone de pasta ou a lista suspensa para selecionar o caminho para o interpretador Python no ambiente virtual Poetry existente.

   Gorjeta

   Certifique-se de selecionar o caminho para o interpretador Python. Não selecione o caminho para o executável Poetry.

   Para obter informações sobre onde a versão do sistema do interpretador Python está instalada, consulte Como adicionar Python ao PATH.

9. Clique em OK.

10. Clique em Criar.

11. Adicione ao projeto um arquivo de código Python (.py) que contenha o código de exemplo ou seu próprio código. Se você usar seu próprio código, no mínimo você deve inicializar DatabricksSession como mostrado no código de exemplo.

12. Com o arquivo de código Python aberto, defina quaisquer pontos de interrupção onde você deseja que seu código pause durante a execução.

13. Para executar o código, clique em Executar > Executar. Todo o código Python é executado localmente, enquanto todo o código PySpark envolvendo operações DataFrame é executado no cluster no espaço de trabalho remoto do Azure Databricks e as respostas de execução são enviadas de volta ao chamador local.

14. Para depurar o código, clique em Executar > Depuração. Todo o código Python é depurado localmente, enquanto todo o código PySpark continua a ser executado no cluster no espaço de trabalho remoto do Azure Databricks. O código principal do mecanismo Spark não pode ser depurado diretamente do cliente.

15. Siga as instruções na tela para começar a executar ou depurar o código.

Para obter instruções de execução e depuração mais específicas, consulte Executar sem nenhuma configuração e depuração anteriores.