LLM's en agents op Azure Databricks bevragen

Azure Databricks biedt meerdere manieren om query's uit te voeren op grote taalmodellen (LLM's), basismodellen en geïmplementeerde agents. Kies een interactieve gebruikersinterface, SQL, REST API's of clientbibliotheken, afhankelijk van uw werkstroom.

AI-speeltuin

De AI Playground is een no-code chatomgeving in je Azure Databricks-werkruimte voor het invoeren van prompts en het vergelijken van LLMs. Gebruik het om te experimenteren met prompts, parameters zoals temperature en max tokens af te stemmen, en tool-calling agents en vraag-en-antwoordbots zij aan zij te prototypen voordat u overstapt op code.

Basismodellen

Unity AI Gateway dient Azure Databricks beheerde, betalen per token foundation-modellen achter een geïntegreerde API, die klaar zijn voor gebruik zonder infrastructuurverplichting. Kies het type modelservice dat aan uw behoeften voldoet:

• Door het systeem geleverde modelservices in system.ai — vooraf geconfigureerde modelservices in Unity Catalog. Goed om mee te beginnen.
• Aangepaste modelservices: maak uw eigen modelservices om de belasting over meerdere modellen te verdelen of fallbacks in te stellen. Ideaal voor geavanceerde governance en schaalbaarheid.

Queryagenten

Nadat u een agent hebt gebouwd en geïmplementeerd, voert u een query uit op de agent vanuit uw toepassing. Agents kunnen worden gehost op Databricks Apps of Model Serving-endpoints. Azure Databricks ondersteunt drie querymethoden:

• Databricks OpenAI-client : aanbevolen voor nieuwe toepassingen, met systeemeigen streaming en volledige functieondersteuning.
• OpenAI-compatibele REST API : taalneutraal, werkt met elk platform dat al de OpenAI-API spreekt.
• ai_query — query's uitvoeren op legacy-agents die worden gehost op Model Serving-eindpunten vanuit SQL.

Gegevens verrijken met BEHULP van AI Functions

AI Functions zijn ingebouwde SQL-functies die LLM's en andere modellen toepassen op gegevens die zijn opgeslagen in Azure Databricks. Voer ze uit vanuit Databricks SQL, notebooks, Lakeflow-pijplijnen of werkstromen om ondersteuningstickets te classificeren, entiteiten te extraheren uit documenten, inhoud samen te vatten of tekst op batchschaal te vertalen.

Kies tussen twee stijlen van functies:

• Taakspecifieke functies zoals ai_classify, ai_extract en ai_parse_document zijn geoptimaliseerd voor één taak en Azure Databricks beheerde, door onderzoek ondersteunde systemen.
• ai_query is de functie algemeen gebruik: geef uw eigen prompt op en kies elk ondersteund basismodel. Zie Gebruik ai_query.

Zie Klantenbeoordelingen analyseren met BEHULP van AI Functions voor een end-to-end-voorbeeld.