Runtime de IA

Importante

Esse recurso está em Visualização Pública.

AI Runtime é uma oferta de computação com GPU sem servidor da Databricks, voltada para cargas de trabalho de aprendizado profundo. Você pode usar o AI Runtime para treinar e ajustar modelos personalizados usando suas estruturas favoritas e obter eficiência, desempenho e qualidade de última geração.

Introdução

Realize sua primeira carga de trabalho em minutos usando nossos guias de início rápido.

Introdução	Descrição
🚀 Databricks CLI quickstart	Vindo de um cluster Slurm ou Kubernetes? Treine no AI Runtime a partir do seu terminal em minutos.
📓 Guia de início rápido do notebook	Conecte seu notebook a uma GPU em segundos e desenvolva de forma interativa.
⚡ Ray	Vindo de um cluster de raios? Execute o Ray no AI Runtime com suporte ao painel.
🧭 Visão geral	Aprenda os pontos-chave sobre o tempo de execução da IA em dois minutos: GPUs disponíveis, como ela funciona e limitações.

Características

AI Runtime é uma plataforma de GPU full-stack, com várias formas de se conectar a GPUs, ferramentas integradas de observabilidade e depuração, além de ambientes pré-construídos.

Conecte-se a GPUs sem servidor: Acesse GPUs sem servidor de onde você estiver trabalhando.

Característica	Descrição
Notebooks	Conecte um notebook à computação serverless com GPU e desenvolva de forma interativa, sem necessidade de configurar um cluster.
IDE via SSH	Conecte-se a partir do seu IDE ou terminal por meio de um túnel SSH para trabalhar diretamente em um nó com GPU.
Databricks CLI	Submeta e gerencie trabalhos de treinamento de GPU distribuída a partir do seu laptop usando configurações de trabalhos YAML.
Agentes de IA	Use a habilidade de agente databricks-ai-runtime para enviar, monitorar e gerenciar trabalhos de treinamento de GPU do seu agente de IA.
Ray	Execute Ray Core, Ray Data, Ray Train e Ray Tune em computação serverless com GPU.

Gerenciando Dependências: Controle o Python e as bibliotecas do sistema com as quais sua carga de trabalho roda.

Característica	Descrição
Ambientes pré-construídos	Comece de um ambiente padrão mínimo ou de um ambiente de IA Databricks pré-carregado com frameworks de ML.

Carregando dados nas GPUs: Alimente os dados de treinamento para suas GPUs de forma eficiente.

Característica	Descrição
Carregadores de dados eficientes	Transmita dados de volumes do Unity Catalog com carregadores tolerantes a falhas construídos para alta utilização de GPU.

Depuração e Observabilidade: Acompanhe experimentos, inspecione a saída e diagnostique falhas.

Característica	Descrição
MLflow para aprendizado profundo	Acompanhe experimentos, métricas e execuções com MLflow.
Visualizador de logs	Visualize a saída do treinamento e monitore o uso dos recursos da GPU enquanto seu código roda.
Depuração com agentes	Use o Genie Code para gerar código de treinamento, resolver problemas do ambiente e depurar falhas de GPU.

Agendamento e atendimento em tempo real: Migre do desenvolvimento interativo para tarefas e endpoints agendados.

Característica	Descrição
Programar cargas de trabalho da GPU	Implante código de treinamento com Pacotes de Automação Declarativa, agende execuções e construa fluxos de trabalho multitarefa de GPU e CPU.
Disponibilize seus modelos	Implante seus modelos treinados por trás de um endpoint escalável com Model Serving.

Exemplos

Clone exemplos de ponta a ponta e execute-os no AI Runtime em minutos, pela CLI ou em notebooks.

Example	Descrição
Aprendizado de máquina clássico	XGBoost acelerado por GPU, previsão tabular zero-shot e previsão de séries temporais.
Sistemas de recomendação	Treine modelos de recomendação de aprendizado profundo, como arquiteturas de duas torres.
Visão Computacional	Cargas de trabalho de detecção de objetos e classificação de imagem em GPUs.
Modelos OSS (LLMs) pós-treinamento	Faça o ajuste fino e o pós-treinamento de LLMs de código aberto com LoRA, ajuste fino completo e bibliotecas como TRL, Unsloth e Axolotl.
Inferência de lote	Execute inferência em lote em grande escala com Ray Data e vLLM em várias GPUs.
Treinamento distribuído com várias GPUs	Escale o treinamento em múltiplas GPUs e nós com DDP, FSDP e DeepSpeed.

Guides

Guias focados em tarefas para migrar cargas de trabalho para o tempo de execução de IA e aproveitar ao máximo suas GPUs.

Guide	Descrição
Migrar de Slurm	Mapeie seus scripts em lote do Slurm, launchers distribuídos e armazenamento compartilhado para a CLI do Databricks.
Migrar cargas de trabalho clássicas da GPU	Transferir uma carga de trabalho de deep learning existente de um cluster clássico do Databricks para o AI Runtime.
Desempenho e resiliência	Melhorar o fluxo de treinamentos e tornar os trabalhos de longa duração mais resilientes contra falhas.

Recursos adicionais

Encontre conteúdo útil: as últimas atualizações de produtos e como o AI Runtime funciona por trás do capô.

Resource	Descrição
Atualizações de produtos	Veja as últimas atualizações e anúncios de produtos AI Runtime.
Como o AI Runtime funciona por trás do capô	Leia como o Databricks mantém as GPUs confiáveis ao longo do tempo de execução da IA.