Condividi tramite

Introduzione alla creazione di app di IA generativa in Databricks

  • Articolo

Mosaic AI offre una piattaforma completa per creare, distribuire e gestire applicazioni GenAI. Questo articolo illustra i componenti e i processi essenziali coinvolti nello sviluppo di applicazioni GenAI in Databricks.

Distribuire ed eseguire query sui modelli di intelligenza artificiale di generazione

Per semplici casi d'uso, è possibile gestire e eseguire query direttamente sui modelli di intelligenza artificiale di generazione delle query, inclusi modelli open source di alta qualità, nonché modelli di terze parti di provider LLM, ad esempio OpenAI e Anthropic.

Mosaic AI Model Serving supporta la gestione e l'esecuzione di query sui modelli di IA generativa usando le funzionalità seguenti:

  • API dei modelli di base. Questa funzionalità rende disponibili modelli aperti all'avanguardia e varianti di modello ottimizzate per l'endpoint di servizio del modello. Questi modelli sono architetture di modelli di base curate che supportano l'inferenza ottimizzata. I modelli di base, ad esempio DBRX Instruct, Meta-Llama-3.1-70B-Instruct, GTE-Large e Mistral-7B sono disponibili per l'uso immediato con prezzi con pagamento per token e carichi di lavoro che richiedono garanzie di prestazioni, ad esempio varianti di modello ottimizzate, possono essere distribuiti con velocità effettiva con provisioning.
  • Modelli esterni. Si tratta di modelli di intelligenza artificiale generativi ospitati all'esterno di Databricks. Gli endpoint che servono modelli esterni possono essere regolati a livello centrale per i quali i clienti possono stabilire limitazioni di velocità e controllo di accesso. Alcuni esempi includono modelli di base come GPT-4 di OpenAI, Claude di Anthropic e altri.

Vedere Creare un modello di IA generativa che serve gli endpoint.

Mosaic AI Agent Framework

Mosaic AI Agent Framework include un set di strumenti in Databricks progettato per aiutare gli sviluppatori a creare, distribuire e valutare agenti di qualità di produzione, come applicazioni RAG (Retrieval Augmented Generation).

È compatibile con framework di terze parti come LangChain e LlamaIndex, consentendo di sviluppare con il framework preferito e sfruttando al contempo i vantaggi di Unity gestiti da Databricks, Agent Evaluation Framework e altri vantaggi della piattaforma.

Scorrere rapidamente lo sviluppo di agenti usando le funzionalità seguenti:

  • Creare e registrare agenti usando qualsiasi libreria e MLflow. Parametrizzare gli agenti per sperimentare e scorrere rapidamente lo sviluppo dell'agente.
  • Il tracciamento dell'agente consente di registrare, analizzare e confrontare tracce nel codice dell'agente per eseguire il debug e comprendere in che modo l'agente risponde alle richieste.
  • Migliorare la qualità dell'agente tramite DSPy. DSPy può automatizzare la progettazione dei prompt e l'ottimizzazione per migliorare la qualità degli agenti GenAI.
  • Distribuire gli agenti nell'ambiente di produzione con supporto nativo per il flusso di token e la registrazione di richieste/risposte, oltre a un'app di revisione predefinita per ottenere commenti e suggerimenti degli utenti per l'agente.