Runtime di intelligenza artificiale

Importante

Questa funzionalità è in Anteprima Pubblica.

AI Runtime è un'offerta di calcolo GPU serverless di Databricks pensata per carichi di lavoro di deep learning . È possibile usare il runtime di intelligenza artificiale per eseguire il training e ottimizzare i modelli personalizzati usando i framework preferiti e ottenere efficienza, prestazioni e qualità all'avanguardia.

Get started

Esegui il tuo primo carico di lavoro in pochi minuti usando le nostre guide quickstart.

Get started	Descrizione
🚀 Databricks CLI quickstart	Vieni da un cluster Slurm o Kubernetes? Allenati con l'IA Runtime dal tuo terminal in pochi minuti.
📓 Avvio rapido del quaderno	Collega il tuo notebook a una GPU in pochi secondi e sviluppa in modo interattivo.
⚡ Ray	Provenire da un cluster di raggi? Esegui Ray su AI Runtime con supporto per dashboard.
🧭 Panoramica	Scopri le cose chiave sull'AI Runtime in due minuti: GPU disponibili, come funziona e limitazioni.

Funzionalità

AI Runtime è una piattaforma GPU full-stack, con molti modi per connettersi alle GPU, strumenti integrati di osservabilità e debug, e ambienti predefiniti.

Connettiti alle GPU serverless: raggiungi le GPU serverless da dove lavori.

Feature	Descrizione
Computer portatili	Collega un notebook a una GPU serverless e sviluppa in modo interattivo, senza configurazione di cluster.
IDE tramite SSH	Collegati dal tuo IDE o terminale tramite un tunnel SSH per lavorare direttamente su un nodo GPU.
Interfaccia della riga di comando di Databricks	Invia e gestisci i lavori di addestramento GPU distribuiti dal tuo laptop usando le configurazioni di job YAML.
Agenti di intelligenza artificiale	Usa l'abilità dell'agente databricks-ai-runtime per inviare, monitorare e gestire i lavori di addestramento GPU dal tuo agente AI.
Raggio	Esegui Ray Core, Ray Data, Ray Train e Ray Tune su risorse di calcolo GPU serverless.

Gestione delle dipendenze: Controlla Python e le librerie di sistema con cui esegue il tuo carico di lavoro.

Feature	Descrizione
Ambienti precostruiti	Inizia da un ambiente Standard minimale o da un ambiente AI Databricks preinstallato con framework ML.

Caricamento dei dati nelle GPU: Invia dati di addestramento alle tue GPU in modo efficiente.

Feature	Descrizione
Caricatori dati efficienti	Trasmetti dati da volumi del Catalogo Unity con loader tolleranti ai guasti progettati per un alto utilizzo della GPU.

Debug e Osservabilità: Monitorare gli esperimenti, ispezionare i risultati e diagnosticare i guasti.

Feature	Descrizione
MLflow per il deep learning	Monitora esperimenti, metriche e run con MLflow.
Visualizzatore di log	Visualizza l'output dell'addestramento e monitora l'uso delle risorse GPU mentre il tuo codice è in esecuzione.
Debug con agenti	Usa Genie Code per generare codice di addestramento, risolvere problemi di ambiente e debug dei guasti della GPU.

Programmazione e servizio in tempo reale: Passare dallo sviluppo interattivo a job e endpoint programmati.

Feature	Descrizione
Pianifica i carichi di lavoro GPU	Distribuisci codice di addestramento con Declarative Automation Bundles, programma le esecuzioni e crea flussi di lavoro multi-task di GPU e CPU.
Servi i tuoi modelli	Distribuisci i tuoi modelli addestrati dietro un endpoint scalabile con Model Serving.

Examples

Clona esempi end-to-end ed eseguili su AI Runtime in pochi minuti, dalla CLI o nei notebook.

Example	Descrizione
Apprendimento automatico classico	XGBoost con accelerazione GPU, predizione zero-shot su dati tabulari e previsione di serie temporali.
Sistemi di raccomandazione	Addestrare modelli di raccomandazione per il deep learning, come le architetture a due torri.
Visione artificiale	Carichi di lavoro per il rilevamento degli oggetti e la classificazione delle immagini sulle GPU.
Modelli OSS (LLM) post-addestramento	Ottimizza e post-addestra gli LLM open-source con LoRA, fine-tuning completo e librerie come TRL, Unsloth e Axolotl.
Inferenza batch	Esegui inferenza batch su larga scala con Ray Data e vLLM su più GPU.
Training distribuito su più GPU	Scala l'addestramento su più GPU e nodi con DDP, FSDP e DeepSpeed.

Guides

Guide focalizzate sui compiti per migrare i carichi di lavoro in AI Runtime e ottenere il massimo dalle tue GPU.

Guide	Descrizione
Migrazione da Slurm	Mappare i tuoi script batch Slurm, i launcher distribuiti e lo storage condiviso sulla CLI di Databricks.
Migra i carichi di lavoro classici delle GPU	Sposta un carico di lavoro di deep learning esistente da un cluster classico di Databricks a AI Runtime.
Prestazioni e resilienza	Migliorare il flusso di formazione e rendere i lavori di lunga durata più resilienti ai fallimenti.

Risorse aggiuntive

Trova contenuti utili: gli ultimi aggiornamenti di prodotto e come funziona AI Runtime sotto il cofano.

Resource	Descrizione
Aggiornamenti del prodotto	Consulta gli ultimi aggiornamenti e annunci sui prodotti AI Runtime.
Come funziona l'AI Runtime sotto il cofano	Leggi come Databricks mantiene le GPU affidabili durante l'esecuzione dell'IA.