Interrogare gli LLM e gli agenti su Azure Databricks

Azure Databricks offre diversi modi per eseguire query su modelli di linguaggio di grandi dimensioni, modelli di base e agenti distribuiti. Scegliere un'interfaccia utente interattiva, SQL, API REST o librerie client a seconda del flusso di lavoro.

AI Playground

Il AI Playground è un ambiente di chat senza codice nell'area di lavoro di Azure Databricks per richiedere e confrontare i file LLM. Usalo per sperimentare con i prompt, regolare parametri come la temperatura e il numero massimo di token e creare prototipi di agenti con chiamata di strumenti e bot di domande e risposte, uno accanto all'altro, prima di passare al codice.

Arricchire i dati usando funzioni di intelligenza artificiale

AI Functions sono funzioni SQL predefinite che applicano llms e altri modelli ai dati archiviati in Azure Databricks. Eseguili da Databricks SQL, dai notebook, da Lakeflow Spark Declarative Pipelines o dai flussi di lavoro per classificare i ticket di supporto, estrarre entità dai documenti, riepilogare i contenuti o tradurre testi in batch su larga scala.

Scegliere tra due stili di funzioni:

• Funzioni specifiche per attività come ai_classify, ai_extract e ai_parse_document sono ottimizzate per una singola attività e utilizzano sistemi gestiti da Azure Databricks e supportati dalla ricerca.
• ai_query è la funzione per utilizzo generico: fornire una richiesta personalizzata e scegliere qualsiasi modello di base supportato. Vedere Usare ai_query.

Per un esempio end-to-end, vedere Analizzare le recensioni dei clienti usando Funzioni di intelligenza artificiale.

Agenti di query

Dopo aver creato e distribuito un agente, interroga l'agente dalla tua applicazione. Gli agenti possono essere ospitati in endpoint Databricks Apps o Mosaic AI Model Serving. Azure Databricks supporta tre metodi di query:

• Client OpenAI di Databricks : consigliato per le nuove applicazioni, con streaming nativo e supporto completo delle funzionalità.
• API REST compatibile con OpenAI : indipendente dal linguaggio, funziona con qualsiasi piattaforma che già parla l'API OpenAI.
• ai_query : eseguire query sugli agenti legacy ospitati sugli endpoint di gestione dei modelli da SQL.

Modelli di base

Mosaic AI Model Serving ospita modelli di base aperti, gestiti da Azure Databricks ed esterni dietro un'unica API. Scegliere l'opzione di distribuzione adatta al carico di lavoro:

• Pagamento per token — interroga endpoint preconfigurati nel tuo spazio di lavoro senza alcun impegno a livello di infrastruttura. Buono per la sperimentazione.
• Capacità effettiva con provisioning — distribuisci modelli perfezionati con erogazione ottimizzata e garanzie di prestazioni per la produzione.
• Modelli esterni: instradare le richieste ai provider come OpenAI o Anthropic tramite la governance Azure Databricks.