LLM's en agents op Azure Databricks bevragen

Azure Databricks biedt meerdere manieren om query's uit te voeren op grote taalmodellen (LLM's), basismodellen en geïmplementeerde agents. Kies een interactieve gebruikersinterface, SQL, REST API's of clientbibliotheken, afhankelijk van uw werkstroom.

AI-speeltuin

De AI Playground is een no-code chatomgeving in je Azure Databricks-werkruimte voor het invoeren van prompts en het vergelijken van LLMs. Gebruik het om te experimenteren met prompts, parameters zoals temperature en max tokens af te stemmen, en tool-calling agents en vraag-en-antwoordbots zij aan zij te prototypen voordat u overstapt op code.

Gegevens verrijken met BEHULP van AI Functions

AI Functions zijn ingebouwde SQL-functies die LLM's en andere modellen toepassen op gegevens die zijn opgeslagen in Azure Databricks. Voer ze uit vanuit Databricks SQL, notebooks, Lakeflow Spark-declaratieve pijplijnen of werkstromen om ondersteuningstickets te classificeren, entiteiten te extraheren uit documenten, inhoud samen te vatten of tekst op batchschaal te vertalen.

Kies tussen twee stijlen van functies:

• Taakspecifieke functies zoals ai_classify, ai_extract en ai_parse_document zijn geoptimaliseerd voor één taak en Azure Databricks beheerde, door onderzoek ondersteunde systemen.
• ai_query is de functie algemeen gebruik: geef uw eigen prompt op en kies elk ondersteund basismodel. Zie Gebruik ai_query.

Zie Klantenbeoordelingen analyseren met BEHULP van AI Functions voor een end-to-end-voorbeeld.

Queryagenten

Nadat u een agent hebt gebouwd en geïmplementeerd, voert u een query uit op de agent vanuit uw toepassing. Agents kunnen worden gehost op Databricks Apps of Mosaic AI Model Serving-eindpunten. Azure Databricks ondersteunt drie querymethoden:

• Databricks OpenAI-client : aanbevolen voor nieuwe toepassingen, met systeemeigen streaming en volledige functieondersteuning.
• OpenAI-compatibele REST API : taalneutraal, werkt met elk platform dat al de OpenAI-API spreekt.
• ai_query — query's uitvoeren op legacy-agents die worden gehost op Model Serving-eindpunten vanuit SQL.

Basismodellen

Mosaic AI Model Serving host open-source-, door Azure Databricks beheerde en externe foundationmodellen achter één uniforme API. Kies de implementatieoptie die past bij uw workload:

• Betalen per token : query's uitvoeren op vooraf geconfigureerde eindpunten in uw werkruimte zonder dat er infrastructuur is toegezegd. Goed voor experimenten.
• Gereserveerde doorvoercapaciteit — implementeer fijnafgestelde modellen met geoptimaliseerde verwerking en prestatiegaranties voor productie.
• External-modellen — routeer aanvragen naar providers zoals OpenAI of Anthropic via Azure Databricks governance.