Ferramentas de desenvolvimento local

O Databricks fornece um ecossistema de ferramentas para ajudá-lo a desenvolver aplicativos e soluções que se integram ao Azure Databricks e gerenciam programaticamente os recursos e dados do Databricks.

Este artigo fornece uma visão geral dessas ferramentas e recomendações para as melhores ferramentas para cenários comuns de desenvolvedor.

Quais ferramentas o Databricks fornece para desenvolver localmente?

A tabela a seguir fornece uma lista de ferramentas de desenvolvedor fornecidas pela Databricks.

Ferramenta	Descrição
Autenticação e autorização	Configure a autenticação e a autorização para que suas ferramentas, scripts e aplicativos funcionem com o Azure Databricks.
Conexão do Databricks	Conecte-se ao Azure Databricks usando IDEs (ambientes de desenvolvimento integrados) populares, como PyCharm, IntelliJ IDEA, Eclipse, RStudio e JupyterLab. Se você estiver usando o Visual Studio Code, o Databricks recomendará a extensão do Databricks para Visual Studio Code, que é criada com base no Databricks Connect, pois fornece recursos adicionais para permitir uma configuração mais fácil.
Extensão do Databricks para Visual Studio Code	Conecte-se aos workspaces remotos do Azure Databricks no IDE (ambiente de desenvolvimento integrado) do Visual Studio Code .
Plug-in PyCharm Databricks	Configure uma conexão com um workspace remoto do Databricks e execute arquivos nos clusters do Databricks a partir do PyCharm. Este plugin é desenvolvido e fornecido pela JetBrains em parceria com a Databricks.
SDKs do Databricks	Automatize o Azure Databricks de bibliotecas de código escritas para linguagens populares, como Python, Java, Go e R. Em vez de enviar chamadas à API REST diretamente usando curl/ Postman, você pode usar um SDK para interagir com o Databricks usando uma linguagem de programação de sua escolha. Os SDKs do Databricks dão suporte à API REST completa e fornecem outros recursos, incluindo autenticação e paginação unificadas, que facilitam o uso e a extensão para abranger muitos cenários.
Drivers e ferramentas do SQL	Conecte-se ao Azure Databricks para executar comandos e scripts SQL, interaja programaticamente com o Azure Databricks e integre a funcionalidade SQL do Azure Databricks a aplicativos criados em linguagens muito usadas, como Python, Go, JavaScript e TypeScript.
Databricks CLI	Acesse a funcionalidade do Azure Databricks usando a CLI (interface de linha de comando) do Databricks. A CLI encapsula a API REST do Databricks, portanto, em vez de enviar chamadas à API REST diretamente usando curl ou Postman, você pode usar a CLI do Databricks para interagir com o Databricks.
Pacotes de Ativos do Databricks	Implemente as melhores práticas de CI/CD (desenvolvimento, teste e implantação) padrão do setor para seus dados do Azure Databricks e projetos de IA usando pacotes de ativos do Databricks.
Provedor do Databricks Terraform e CDKTF do Terraform para Databricks	Provisione a infraestrutura e os recursos do Azure Databricks usando o Terraform.
Ferramentas de CI/CD	Integre sistemas e estruturas populares de CI/CD, como GitHub Actions, Jenkins e Apache Airflow.

Dica

Também é possível conectar várias ferramentas populares adicionais de terceiros a clusters e SQL warehouses para acessar dados no Azure Databricks. Confira os parceiros de tecnologia.

Qual ferramenta de desenvolvedor devo usar?

A tabela a seguir descreve as recomendações da ferramenta Databricks para cenários comuns de desenvolvedor.

Ferramenta	Recomendação de uso
Extensão do Databricks para Visual Studio Code Plug-in PyCharm Databricks Para outros IDEs, use a CLI do Databricks junto com o Databricks Connect	Desenvolvimento interativo e depuração de um IDE local
Databricks CLI	Interação direta com o Databricks pela linha de comando Scripts de shell Experimentação Invocar a API REST diretamente Gerenciar perfis de autenticação local Sincronizar código do IDE com o workspace do Databricks
Pacotes de Ativos do Databricks (um recurso da CLI)	Gerenciar fluxos de trabalho e implantar projetos no Databricks Aplicar práticas recomendadas de CI/CD Co-versão, coautoria, co-implantar seus recursos e ativos como uma unidade Dá suporte aos recursos mais comuns
Provedor Terraform do Databricks	Infraestrutura como código, CI/CD Administrar e criar workspaces, catálogos, metastores e impor permissões Garantir a portabilidade do ambiente e a recuperação de desastre Muitos recursos com suporte
Databricks Python SDK Databricks Java SDK Databricks Go SDK Databricks R SDK	Desenvolvimento de aplicativo Integrar com sistemas de implantação existentes Criar fluxos de trabalho personalizados do Databricks e novos serviços Web
Drivers do SQL	Executar comandos e scripts do SQL de aplicativos cliente
API REST do Databricks	Automatizar processos em que um SDK em sua linguagem de programação preferencial não está disponível Somente cenários avançados Quase todos os recursos do Databricks estão disponíveis