Engenharia de dados do Databricks
Os recursos de engenharia de dados do Databricks são um ambiente robusto para colaboração entre cientistas de dados, engenheiros de dados e analistas de dados. As tarefas de engenharia de dados também são o backbone das soluções de machine learning do Databricks .
Observação
Se você for um analista de dados que trabalha principalmente com consultas SQL e ferramentas de BI, você pode preferir o Databricks SQL.
| Nome | Use esta ferramenta quando quiser... |
|---|---|
| Delta Live Tables | Saiba como criar pipelines de dados para ingestão e transformação com o Databricks Delta Live Tables. |
| Streaming estruturado | Saiba mais sobre cargas de trabalho de streaming, incrementais e em tempo real alimentadas pelo Streaming Estruturado no Databricks. |
| Apache Spark | Saiba como o Apache Spark funciona no Databricks e na plataforma Databricks. |
| Computação | Saiba mais sobre clusters do Databricks e como criá-los e gerenciá-los. |
| Notebooks | Saiba o que é um notebook do Databricks e como usar e gerenciar notebooks para processar, analisar e exibir seus dados. |
| Fluxos de trabalho | Saiba como orquestrar fluxos de trabalho de processamento de dados, machine learning e análise de dados na plataforma Databricks. |
| Bibliotecas | Saiba como disponibilizar código personalizado ou de terceiros no Databricks usando bibliotecas. Saiba mais sobre os diferentes modos para instalar bibliotecas no Databricks. |
| pastas Git | Saiba como usar o Git para controle de versão de seus notebooks e outros arquivos para desenvolvimento no Databricks. |
| DBFS | Saiba mais sobre o DBFS (sistema de arquivos do Databricks), um sistema de arquivos distribuído montado em um workspace do Databricks e disponível em clusters do Databricks |
| Arquivos | Saiba mais sobre as opções para trabalhar com arquivos no Databricks. |
| Migração | Saiba como migrar aplicativos de dados, como trabalhos de ETL, data warehouses corporativos, ML, ciência de dados e análise para o Azure Databricks. |
| Otimização e desempenho | Saiba mais sobre otimizações e recomendações de desempenho no Databricks. |