Conceitos: Ciência de dados e aprendizagem automática no Azure Databricks

Ciência de dados e aprendizagem automática (DS e ML) extraem insights e constroem modelos preditivos a partir dos dados. DS e ML incluem tanto exploração e modelação interativas como sistemas de produção automatizados. O ML clássico inclui técnicas como classificação, regressão, deteção de anomalias, previsão e recomendação.

Os métodos modernos de aprendizagem profunda e IA generativa (GenAI) são tecnicamente tipos de ML. Esta secção aborda o deep learning. Relativamente à GenAI, veja Conceitos: IA generativa no Azure Databricks.

O ciclo de vida do ML

O ciclo de vida do ML abrange a jornada de ponta a ponta, desde dados brutos até um modelo de produção e vice-versa, através de monitorização e retreinamento. As fases-chave incluem:

1. Defina o âmbito do caso de uso definindo o alvo de previsão, métricas de sucesso e requisitos de produção.
2. Execute uma análise exploratória de dados (EDA) para compreender distribuições de dados, sinais preditivos e questões de qualidade dos dados antes de modelar.
3. Preparar dados e características, geridos num repositório de características.
4. Treinar modelos e acompanhar experiências, registando metadados dos experimentos para análise e implementação.
5. Avaliar a qualidade do modelo com base nos dados retidos e critérios das partes interessadas.
6. Registar, preparar e testar modelos antes de os promover para produção.
7. Implementar em produção em endpoints em tempo real ou tarefas de inferência em lote.
8. Monitorizar e retreinar para adaptar modelos a dados ou comportamentos do utilizador em constante mudança.

Consulte Ciclo de vida de aprendizagem automática para um guia de cada etapa.

Desenvolvimento e operações assistidas por IA

O Azure Databricks tem o Genie Code, um assistente de IA integrado entre os cadernos e o espaço de trabalho. Utilize-o para desenvolvimento, depuração e operações contínuas, aproveitando o seu conhecimento especializado do contexto empresarial. Consulte Use Genie Code para ciência de dados.

Pode usar o Genie Code em todas as etapas do seu fluxo de trabalho:

• Comece pelo chat do Genie para descobrir modelos, dados e funcionalidades relevantes no seu espaço de trabalho e no Catálogo Unity.
• Use o Genie Code para prototipar pipelines para caracterização, treino e ajuste de modelos, avaliação e implementação.
• Analise endpoints de disponibilização de modelos com Genie Code para diagnosticar e investigar problemas em produção.

Também pode usar ferramentas de programação de terceiros para desenvolver e manter pipelines de ML no Azure Databricks. Veja Competências de Agente para assistentes de programação de IA.

O que é uma plataforma de ML?

Uma plataforma de ML é a camada combinada de infraestrutura, ferramentas e governação que suporta todo o ciclo de vida do ML, desde os dados brutos até aos modelos de produção. Uma plataforma de ML bem concebida liga engenharia de dados, ciência de dados interativa e aprendizagem automática de produção num único sistema governado.

Os principais componentes incluem:

• Ativos de dados como ficheiros, tabelas, pipelines de processamento e repositórios de funcionalidades
• Ferramentas de experimentação como cadernos e visualizações, com colaboração simples e assistência por IA
• Infraestrutura de treino com ambientes personalizáveis e recursos de computação flexíveis
• Infraestrutura de implementação e monitorização para serviço em lote e em tempo real, com painéis de produção e alertas
• MLOps e ferramentas de governação para orquestração, CI/CD, linhagem, gestão de acessos e registo de auditoria

As principais capacidades de governação incluem:

• Governação unificada de dados e ativos de ML. Saiba mais em O que é o Unity Catalog?.
• Governação unificada dos endpoints do modelo. Saiba mais em AI Gateway para servir endpoints.
• Abordagem de segurança unificada. Saiba mais em Databricks IA Security.
• Administração unificada de dados e ferramentas de ML. Saiba mais em Administração.

Veja também capacidades de ciência de dados e ML do Azure Databricks e arquitetura Azure Databricks.

ML vs. aprendizagem profunda vs. GenAI

As fronteiras entre aprendizagem automática (ML), aprendizagem profunda (DL) e IA generativa (GenAI) podem ser difusas. Este guia foca-se em ML e aprendizagem profunda, mas as seguintes funcionalidades da plataforma suportam os três paradigmas:

• O Model Serving suporta modelos clássicos de ML, deep learning e GenAI personalizados, tanto para inferência em tempo real como em lote.
• ai_query suporta consultas SQL e cargas de trabalho de inferência em lote para os três paradigmas.

• Ambiente de execução de IA e o Databricks Runtime para Machine Learning com GPU suportam o treino e a afinação nos três paradigmas.

• O rastreio de experiências do MLflow rastreia execuções e experiências nos três paradigmas.
• O Databricks AI Search serve dados não estruturados para os três paradigmas.

Recursos adicionais

• Ciclo de vida da aprendizagem automática - Estágios e melhores práticas do ciclo de vida de ML
• Capacidades de ciência de dados e ML do Azure Databricks - Capacidades de ML do Azure Databricks por fase do fluxo de trabalho
• IA em Databricks - Casos de uso, clientes e outros recursos