LLMs und Agenten in Azure Databricks abfragen

Azure Databricks bietet mehrere Möglichkeiten zum Abfragen großer Sprachmodelle (LLMs), Foundation-Modelle und bereitgestellter Agents. Wählen Sie je nach Workflow eine interaktive Benutzeroberfläche, SQL- oder REST-APIs oder Clientbibliotheken aus.

KI-Spielplatz

Der AI Playground ist eine Chatumgebung ohne Code in Ihrem Azure Databricks Arbeitsbereich zum Anfordern und Vergleichen von LLMs. Verwenden Sie sie, um mit Prompts zu experimentieren, Parameter wie Temperatur und die maximale Token-Anzahl abzustimmen und Prototypen von Agenten mit Tool-Aufrufen und Frage-Antwort-Bots nebeneinander zu entwickeln, bevor Sie mit der Implementierung im Code beginnen.

Basismodelle

Azure Databricks bedient Foundation-Modelle nativ als Modell-APIs (Model Services) über Unity AI Gateway. Jeder Kontonutzer kann die Pay-per-Token-Modelle im system.ai Schema ohne Einrichtung aufrufen. Wählen Sie die Modell-APIs, die Ihren Anforderungen entsprechen:

• Systembereitgestellte Modell-APIs in system.ai: Modelle, die nativ von Azure Databricks bereitgestellt werden, bereit zur Abfrage mit dem OpenAI-kompatiblen SDK, nativen Provider-APIs oder ai_query. Siehe Abfragemodell-APIs (Modelldienste).
• Benutzerdefinierte Modell-APIs: Erstellen Sie eigene Modelle, wenn Sie Modelle über die Standardwerte hinaus benötigen oder um die Last zu verteilen und Rückfälle einzurichten.

Abfrage-Agenten

Nachdem Sie einen Agent erstellt und bereitgestellt haben, fragen Sie den Agent von Ihrer Anwendung ab. Agents können auf Databricks-Apps oder Model Serving-Endpunkten gehostet werden. Azure Databricks unterstützt drei Abfragemethoden:

• Databricks OpenAI-Client: Empfohlen für neue Anwendungen, mit nativem Streaming und vollständiger Funktionsunterstützung.
• OpenAI-kompatible REST-API: Sprachunabhängig, funktioniert mit jeder Plattform, die bereits die OpenAI-API verwendet.
• ai_query: Abfragen Sie Legacy-Agenten, die auf Model Serving Endpunkten gehostet werden, von SQL ab.

Anreichern von Daten mithilfe von KI-Funktionen

AI-Funktionen sind integrierte SQL-Funktionen, die LLMs und andere Modelle auf Daten anwenden, die in Azure Databricks gespeichert sind. Führen Sie sie aus Databricks SQL, Notizbüchern, Lakeflow-Pipelines oder Workflows aus, um Supporttickets zu klassifizieren, Entitäten aus Dokumenten zu extrahieren, Inhalte zusammenzufassen oder Text im Batchmaßstab zu übersetzen.

Wählen Sie zwischen zwei Stilen für Funktionen aus:

• Task-spezifische Funktionen wie ai_classify, ai_extract und ai_parse_document sind für einen einzelnen Vorgang optimiert und verwenden Azure Databricks verwaltete, forschungsgestützte Systeme.
• ai_query ist die allgemeine Funktion. Erstellen Sie Ihren eigenen Prompt und wählen Sie ein beliebiges unterstütztes Foundation-Modell. Siehe Verwenden ai_query.

Ein End-to-End-Beispiel finden Sie unter Analysieren von Kundenbewertungen mithilfe von KI-Funktionen.