Interrogare gli LLM e gli agenti su Azure Databricks

Azure Databricks offre diversi modi per eseguire query su modelli di linguaggio di grandi dimensioni, modelli di base e agenti distribuiti. Scegliere un'interfaccia utente interattiva, SQL, API REST o librerie client a seconda del flusso di lavoro.

AI Playground

Il AI Playground è un ambiente di chat senza codice nell'area di lavoro di Azure Databricks per richiedere e confrontare i file LLM. Usalo per sperimentare con i prompt, regolare parametri come la temperatura e il numero massimo di token e creare prototipi di agenti con chiamata di strumenti e bot di domande e risposte, uno accanto all'altro, prima di passare al codice.

Modelli di base

Unity AI Gateway fornisce modelli di base gestiti da Azure Databricks, con pagamento per token, tramite un'API unificata, pronti all'uso senza alcun impegno in termini di infrastruttura. Scegli il tipo di servizio di modelli più adatto alle tue esigenze:

• Servizi di modello forniti dal sistema in system.ai — servizi di modello preconfigurati in Unity Catalog. Buono per iniziare.
• Servizi modello personalizzati : creare servizi modello personalizzati per distribuire il carico tra più modelli o configurare i fallback. Ideale per la governance e la scalabilità avanzate.

Agenti di query

Dopo aver creato e distribuito un agente, interroga l'agente dalla tua applicazione. Gli agenti possono essere ospitati su Databricks Apps o endpoint Model Serving. Azure Databricks supporta tre metodi di query:

• Client OpenAI di Databricks : consigliato per le nuove applicazioni, con streaming nativo e supporto completo delle funzionalità.
• API REST compatibile con OpenAI : indipendente dal linguaggio, funziona con qualsiasi piattaforma che già parla l'API OpenAI.
• ai_query : eseguire query sugli agenti legacy ospitati sugli endpoint di gestione dei modelli da SQL.

Arricchire i dati usando funzioni di intelligenza artificiale

AI Functions sono funzioni SQL predefinite che applicano llms e altri modelli ai dati archiviati in Azure Databricks. Eseguili in Databricks SQL, notebook, pipeline di Lakeflow o Workflows per classificare i ticket di supporto, estrarre entità dai documenti, riepilogare il contenuto o tradurre il testo in modalità batch su larga scala.

Scegliere tra due stili di funzioni:

• Funzioni specifiche per attività come ai_classify, ai_extract e ai_parse_document sono ottimizzate per una singola attività e utilizzano sistemi gestiti da Azure Databricks e supportati dalla ricerca.
• ai_query è la funzione per utilizzo generico: fornire una richiesta personalizzata e scegliere qualsiasi modello di base supportato. Vedere Usare ai_query.

Per un esempio end-to-end, vedere Analizzare le recensioni dei clienti usando Funzioni di intelligenza artificiale.