Freigeben über

Einführung in das Erstellen von generativen KI-Apps in Databricks

  • Artikel

Mosaic AI bietet eine umfassende Plattform zum Erstellen, Bereitstellen und Verwalten von generativen KI-Anwendungen. In diesem Artikel werden Sie durch die essenziellen Komponenten und Prozesse geführt, die bei der Entwicklung von generativen KI-Anwendungen in Databricks eine Rolle spielen.

Einsatz und Abfrage von generativen KI-Modellen

Für einfache Anwendungsfälle können Sie KI-Modelle direkt bereitstellen und abfragen, einschließlich hochwertiger Open-Source-Modelle sowie Modelle von LLM-Anbietern wie OpenAI und Anthropic.

Mosaic AI Model Serving unterstützt das Bereitstellen und Abfragen von generativen KI-Modellen mithilfe der folgenden Funktionen:

  • Basismodell-APIs. Diese Funktion macht moderne offene Modelle und optimierte Modellvarianten für Ihren Modellbereitstellungsendpunkt verfügbar. Diese Modelle sind kuratierte Basismodellarchitekturen, die optimierte Rückschlüsse unterstützen. Basismodelle wie DBRX Instruct, Meta-Llama-3.1-70B-Instruct, GTE-Large und Mistral-7B stehen für die sofortige Verwendung mit Preispreisen für Pay-per-Token zur Verfügung, und Workloads, die Leistungsgarantien erfordern, wie Feinabstimmungsmodellvarianten, können mit bereitgestellten Durchsatz bereitgestellt werden.
  • Externe Modelle. Dies sind generative KI-Modelle, die außerhalb von Databricks gehostet werden. Endpunkte, die externe Modelle bedienen, können zentral gesteuert werden, und Kunden können Ratenbegrenzungen und Zugriffssteuerungen für sie festlegen. Beispiele sind Basismodelle wie GPT-4 von OpenAI, Claude von Anthropic und andere.

Siehe Erstellen von Bereitstellungsendpunkten für generative KI-Modelle.

Mosaic AI Agent Framework

Mosaic AI Agent Framework umfasst eine Reihe von Tools in Databricks, die Entwicklern beim Erstellen, Bereitstellen und Bewerten von Produktionsqualitäts-Agents wie RAG-Anwendungen (Retrieval Augmented Generation) helfen sollen.

Es ist kompatibel mit Frameworks von Drittanbietern wie LangChain und LlamaIndex, so dass Sie mit Ihrem bevorzugten Framework entwickeln und gleichzeitig den verwalteten Unity-Katalog, das Agent Evaluation Framework und andere Plattformvorteile von Databricks nutzen können.

Schnelles Durchlaufen der Agententwicklung mithilfe der folgenden Features:

  • Erstellen und Protokollieren von Agents mithilfe einer beliebigen Bibliothek und eines MLflows. Parametrisieren Sie Ihre Agents, um schnell zu experimentieren und die Agententwicklung zu durchlaufen.
  • Mit der Agent-Ablaufverfolgung können Sie Ablaufverfolgungen in Ihrem Agentcode protokollieren, analysieren und vergleichen, um zu debuggen und zu verstehen, wie Ihr Agent auf Anforderungen reagiert.
  • Verbessern Sie die Agentqualität mithilfe von DSPy. DSPy kann ein promptes Engineering und feinabstimmungen automatisieren, um die Qualität Ihrer GenAI-Agenten zu verbessern.
  • Stellen Sie Agents für die Produktion mit systemeigener Unterstützung für Tokenstreaming und Anforderungs-/Antwortprotokollierung sowie eine integrierte Prüf-App bereit, um Benutzerfeedback für Ihren Agent zu erhalten.