Use o PyCharm com o Databricks Connect para Python
Nota
Este artigo aborda o Databricks Connect for Databricks Runtime 13.3 LTS e superior.
Este artigo aborda como usar o Databricks Connect for Python com o PyCharm. O Databricks Connect permite conectar IDEs populares, servidores de notebook e outros aplicativos personalizados a clusters do Azure Databricks. Consulte O que é Databricks Connect?.
Nota
Antes de começar a usar o Databricks Connect, você deve configurar o cliente Databricks Connect.
IntelliJ IDEA Ultimate fornece suporte de plugin para PyCharm com Python também. Para obter detalhes, consulte Plug-in Python para IntelliJ IDEA Ultimate.
Para usar o Databricks Connect com PyCharm e Python, siga estas instruções para venv ou Poetry. Este artigo foi testado com o PyCharm Community Edition 2023.3.5. Se você usar uma versão ou edição diferente do PyCharm, as instruções a seguir podem variar.
Use o PyCharm com venv e Databricks Connect para Python
Inicie o PyCharm.
Criar um projeto: clique em Arquivo > Novo Projeto.
Na caixa de diálogo Novo projeto, clique em Python puro.
Em Local, clique no ícone da pasta e selecione o caminho para o ambiente virtual existente
venv
que você criou em Install Databricks Connect for Python.Para Tipo de intérprete, clique em Ambiente personalizado.
Em Ambiente, selecione Selecionar existente.
Em Type, selecione Python.
Para Path, use o ícone de pasta ou a lista suspensa para selecionar o caminho para o interpretador Python no ambiente virtual existente
venv
.Gorjeta
O interpretador Python para um
venv
ambiente virtual é normalmente instalado no</path-to-venv>/bin
. Para obter mais informações, consulte venv.Clique em OK.
Clique em Criar.
Adicione ao projeto um arquivo de código Python (
.py
) que contenha o código de exemplo ou seu próprio código. Se você usar seu próprio código, no mínimo você deve inicializarDatabricksSession
como mostrado no código de exemplo.Com o arquivo de código Python aberto, defina quaisquer pontos de interrupção onde você deseja que seu código pause durante a execução.
Para executar o código, clique em Executar > Executar. Todo o código Python é executado localmente, enquanto todo o código PySpark envolvendo operações DataFrame é executado no cluster no espaço de trabalho remoto do Azure Databricks e as respostas de execução são enviadas de volta ao chamador local.
Para depurar o código, clique em Executar > Depuração. Todo o código Python é depurado localmente, enquanto todo o código PySpark continua a ser executado no cluster no espaço de trabalho remoto do Azure Databricks. O código principal do mecanismo Spark não pode ser depurado diretamente do cliente.
Siga as instruções na tela para começar a executar ou depurar o código.
Para obter instruções de execução e depuração mais específicas, consulte Executar sem nenhuma configuração e depuração anteriores.
Use o PyCharm com o Poetry e o Databricks Connect para Python
Inicie o PyCharm.
Criar um projeto: clique em Arquivo > Novo Projeto.
-
- Na caixa de diálogo Novo projeto, clique em Python puro.
Em Local, clique no ícone da pasta e selecione o caminho para o ambiente virtual Poetry existente que você criou em Install Databricks Connect for Python.
Para Tipo de intérprete, clique em Ambiente personalizado.
Em Ambiente, selecione Selecionar existente.
Em Type, selecione Python.
Para Path, use o ícone de pasta ou a lista suspensa para selecionar o caminho para o interpretador Python no ambiente virtual Poetry existente.
Gorjeta
Certifique-se de selecionar o caminho para o interpretador Python. Não selecione o caminho para o executável Poetry.
Para obter informações sobre onde a versão do sistema do interpretador Python está instalada, consulte Como adicionar Python ao PATH.
Clique em OK.
Clique em Criar.
Adicione ao projeto um arquivo de código Python (
.py
) que contenha o código de exemplo ou seu próprio código. Se você usar seu próprio código, no mínimo você deve inicializarDatabricksSession
como mostrado no código de exemplo.Com o arquivo de código Python aberto, defina quaisquer pontos de interrupção onde você deseja que seu código pause durante a execução.
Para executar o código, clique em Executar > Executar. Todo o código Python é executado localmente, enquanto todo o código PySpark envolvendo operações DataFrame é executado no cluster no espaço de trabalho remoto do Azure Databricks e as respostas de execução são enviadas de volta ao chamador local.
Para depurar o código, clique em Executar > Depuração. Todo o código Python é depurado localmente, enquanto todo o código PySpark continua a ser executado no cluster no espaço de trabalho remoto do Azure Databricks. O código principal do mecanismo Spark não pode ser depurado diretamente do cliente.
Siga as instruções na tela para começar a executar ou depurar o código.
Para obter instruções de execução e depuração mais específicas, consulte Executar sem nenhuma configuração e depuração anteriores.