LLMs und Agenten in Azure Databricks abfragen

Azure Databricks bietet mehrere Möglichkeiten zum Abfragen großer Sprachmodelle (LLMs), Foundation-Modelle und bereitgestellter Agents. Wählen Sie je nach Workflow eine interaktive Benutzeroberfläche, SQL- oder REST-APIs oder Clientbibliotheken aus.

KI-Spielplatz

Der AI Playground ist eine Chatumgebung ohne Code in Ihrem Azure Databricks Arbeitsbereich zum Anfordern und Vergleichen von LLMs. Verwenden Sie sie, um mit Prompts zu experimentieren, Parameter wie Temperatur und die maximale Token-Anzahl abzustimmen und Prototypen von Agenten mit Tool-Aufrufen und Frage-Antwort-Bots nebeneinander zu entwickeln, bevor Sie mit der Implementierung im Code beginnen.

Anreichern von Daten mithilfe von KI-Funktionen

AI-Funktionen sind integrierte SQL-Funktionen, die LLMs und andere Modelle auf Daten anwenden, die in Azure Databricks gespeichert sind. Führen Sie sie aus Databricks SQL, Notizbüchern, Lakeflow Spark Declarative Pipelines oder Workflows aus, um Supporttickets zu klassifizieren, Entitäten aus Dokumenten zu extrahieren, Inhalte zusammenzufassen oder Text im Batchmaßstab zu übersetzen.

Wählen Sie zwischen zwei Stilen für Funktionen aus:

• Task-spezifische Funktionen wie ai_classify, ai_extract und ai_parse_document sind für einen einzelnen Vorgang optimiert und verwenden Azure Databricks verwaltete, forschungsgestützte Systeme.
• ai_query ist die allgemeine Funktion – geben Sie Ihre eigene Eingabeaufforderung ein, und wählen Sie ein beliebiges unterstütztes Foundation-Modell aus. Siehe Verwenden ai_query.

Ein End-to-End-Beispiel finden Sie unter Analysieren von Kundenbewertungen mithilfe von KI-Funktionen.

Abfrage-Agenten

Nachdem Sie einen Agent erstellt und bereitgestellt haben, fragen Sie den Agent von Ihrer Anwendung ab. Agents können auf Databricks-Apps oder Mosaik AI Model Serving-Endpunkten gehostet werden. Azure Databricks unterstützt drei Abfragemethoden:

• Databricks OpenAI Client – empfohlen für neue Anwendungen mit nativem Streaming und vollständiger Featureunterstützung.
• OpenAI-kompatible REST-API – sprachunabhängig, funktioniert mit jeder Plattform, die bereits die OpenAI-API spricht.
• ai_query – Abfragen von Legacy-Agents, die auf Model Serving-Endpunkten von SQL gehostet werden.

Basismodelle

Mosaic AI Model Serving hostet offene, von Azure Databricks verwaltete und externe Foundation-Modelle über eine einheitliche API. Wählen Sie die Bereitstellungsoption aus, die Ihrer Workload entspricht:

• Pay-per-Token – Fragen Sie vorkonfigurierte Endpunkte in Ihrem Arbeitsbereich ohne Infrastrukturverpflichtung ab. Gut für Experimente.
• Bereitgestellter Durchsatz – Bereitstellen fein abgestimmter Modelle mit optimierten Dienst- und Leistungsgarantien für die Produktion.
• Externale Modelle – leiten Anforderungen an Anbieter wie OpenAI oder Anthropic über Azure Databricks Governance weiter.