IA e aprendizagem automática no Databricks

Crie, implante e gerencie aplicativos de IA e aprendizado de máquina com o Mosaic AI, uma plataforma integrada que unifica todo o ciclo de vida da IA, desde a preparação dos dados até o monitoramento da produção.

Para obter um conjunto de tutoriais para você começar, consulte Tutoriais de IA e aprendizado de máquina.

Crie aplicações de IA generativas

Desenvolva e implemente aplicações de IA generativa de nível empresarial, como Modelos de Linguagem de Grande Escala ajustados, agentes de IA e geração com recuperação aumentada.

Característica	Descrição
Parque Infantil AI	Prototipe e teste modelos de IA generativa com engenharia de incitação sem necessidade de programação e afinação de parâmetros.
Agent Bricks	Abordagem simples e sem código para criar e otimizar sistemas de agentes de IA específicos do domínio e de alta qualidade para casos de uso comuns de IA.
Modelos de Fundação	Sirva LLMs de última geração, incluindo Meta Llama, Anthropic Claude e OpenAI GPT por meio de APIs seguras e escaláveis.
Estrutura do Mosaic AI Agent	Crie e implante agentes de qualidade de produção, incluindo aplicativos RAG e sistemas multiagentes com Python.
MLflow para GenAI	Meça, melhore e monitore a qualidade durante todo o ciclo de vida do aplicativo GenAI usando métricas alimentadas por IA e observabilidade de rastreamento abrangente.
Pesquisa vetorial	Armazene e consulte vetores de incorporação com sincronização automática com sua base de conhecimento para aplicativos RAG.
Ajuste fino do modelo fundamental	Personalize modelos de base com seus próprios dados para otimizar o desempenho para aplicativos específicos.

Treinar modelos clássicos de aprendizado de máquina

Crie modelos de aprendizado de máquina com ferramentas automatizadas e ambientes de desenvolvimento colaborativo.

Característica	Descrição
AutoML	Crie automaticamente modelos de alta qualidade com o mínimo de código usando engenharia de recursos automatizada e ajuste de hiperparâmetros.
Tempo de execução do Databricks para ML	Clusters pré-configurados com suporte a TensorFlow, PyTorch, Keras e GPU para desenvolvimento de aprendizagem profunda.
Rastreamento de MLflow	Acompanhe experimentos, compare o desempenho do modelo e gerencie todo o ciclo de vida de desenvolvimento do modelo.
Engenharia de recursos	Crie, gere e disponibilize funcionalidades com pipelines de dados automatizados e descoberta de funcionalidades.
Databricks Notebooks	Ambiente de desenvolvimento colaborativo com suporte para Python, R, Scala e SQL em fluxos de trabalho de ML.

Treinar modelos de aprendizagem profunda

Use estruturas integradas para desenvolver modelos de aprendizagem profunda.

Característica	Descrição
Formação distribuída	Exemplos de aprendizagem profunda distribuída usando Ray, TorchDistributor e DeepSpeed.
Práticas recomendadas para aprendizagem profunda no Databricks	Práticas recomendadas para aprendizagem profunda em Databricks.
PyTorch	Formação de nó único e distribuída usando PyTorch.
TensorFlow	Formação de nó único e distribuída usando TensorFlow e TensorBoard.
Soluções de referência	Soluções de referência para deep learning.

Implantar e servir modelos

Implante modelos na produção com endpoints escaláveis, inferência em tempo real e monitoramento de nível empresarial.

Característica	Descrição
Serviço de Modelos	Implante modelos personalizados e LLMs como pontos de extremidade REST escaláveis com escalonamento automático e suporte a GPU.
Gateway de IA	Governe e monitore o acesso a modelos de IA generativa com rastreamento de uso, registro de carga útil e controles de segurança.
Modelos externos	Integre modelos de terceiros hospedados fora do Databricks com governança e monitoramento unificados.
APIs de modelo de base	Acesse e consulte modelos abertos de última geração hospedados pelo Databricks.

Monitorar e controlar sistemas de ML

Garanta a qualidade do modelo, a integridade dos dados e a conformidade com ferramentas abrangentes de monitoramento e governança.

Característica	Descrição
Catálogo Unity	Controle dados, recursos, modelos e funções com controle de acesso unificado, rastreamento de linhagem e descoberta.
Monitoramento Lakehouse	Monitore a qualidade dos dados, o desempenho do modelo e o desvio de previsão com alertas automatizados e análise de causa raiz.
MLflow para modelos	Rastreie, avalie e monitore aplicativos de IA generativa durante todo o ciclo de vida do desenvolvimento.

Produzir fluxos de trabalho de ML

Dimensione operações de aprendizado de máquina com fluxos de trabalho automatizados, integração de CI/CD e pipelines prontos para produção.

Tarefa	Descrição
Registo Modelo	Gerencie versões, aprovações e implantações de modelos com gerenciamento centralizado do ciclo de vida do modelo.
Empregos em Lakeflow	Crie fluxos de trabalho automatizados e pipelines ETL prontos para produção para processamento de dados de ML.
Ray em Databricks	Dimensione cargas de trabalho de ML com computação distribuída para treinamento e inferência de modelos em larga escala.
Fluxos de trabalho MLOps	Implemente MLOps completos com pipelines automatizados de treinamento, teste e implantação.
Integração com Git	Controle de versão, código ML e notebooks com integração Git perfeita e desenvolvimento colaborativo.