Como posso usar o IntelliJ IDEA com o Azure Databricks?

IntelliJ IDEA da JetBrains é um ambiente de desenvolvimento integrado (IDE) para linguagens JVM projetado para maximizar a produtividade do desenvolvedor. Ele faz as tarefas rotineiras e repetitivas para você, fornecendo conclusão de código inteligente, análise de código estático e refatoração, e permite que você se concentre no lado bom do desenvolvimento de software, tornando-o não apenas produtivo, mas também uma experiência agradável. Você pode usar o IntelliJ IDEA em sua máquina de desenvolvimento local para escrever, executar e depurar código no Azure Databricks, da seguinte maneira:

Nome	Use esta ferramenta quando quiser...
Databricks Connect no IntelliJ IDEA com o Scala	Use o IntelliJ IDEA Ultimate para escrever, executar e depurar código Scala local em um espaço de trabalho remoto do Azure Databricks.
Pacotes de Ativos do Databricks	Use o IntelliJ IDEA para facilitar a criação, a implantação e a execução de pacotes. Os Pacotes de Ativos do Databricks (ou pacotes para abreviar) permitem que você defina, implante e execute programaticamente trabalhos do Azure Databricks, pipelines de Tabelas Dinâmicas Delta e Pilhas de MLOps usando as práticas recomendadas de CI/CD e fluxos de trabalho.
CLI do Databricks	Use o Terminal interno no IntelliJ IDEA para trabalhar com o Azure Databricks na linha de comando.
SDK do Databricks para Java	Use o IntelliJ IDEA para escrever, executar e depurar código Java que funciona com o Azure Databricks.
Provisionar a infraestrutura	Use o plug-in Terraform e HCL para IntelliJ IDEA para facilitar o provisionamento da infraestrutura do Azure Databricks com o Terraform e seguir as práticas recomendadas de infraestrutura como código (IaC). Use o IntelliJ IDEA para escrever e implantar definições Java da infraestrutura do Azure Databricks por meio de ofertas de terceiros, como o Cloud Development Kit for Terraform (CDKTF) e o Pulumi.