Freigeben über

Einführung in Mosaic AI Gateway

In diesem Artikel wird das Mosaik AI-Gateway, die Databricks-Lösung zum Verwalten und Überwachen des Zugriffs auf unterstützte generative KI-Modelle und deren zugehöriges Modell beschrieben, das Endpunkte bedient.

Was ist Mosaic AI Gateway?

Mosaik AI Gateway wurde entwickelt, um die Nutzung und Verwaltung von generativen KI-Modellen und Agents innerhalb einer Organisation zu optimieren. Es handelt sich um einen zentralisierten Dienst, der Modellbereitstellungsendpunkten Governance, Überwachung und Produktionsbereitschaft bereitstellt. Es bietet Ihnen auch die Möglichkeit, den KI-Datenverkehr auszuführen, zu sichern und zu kontrollieren, um die Adaption von KI in Ihrer Organisation zu demokratisieren und zu beschleunigen.

Alle Daten werden in Delta-Tabellen in Unity Catalog protokolliert.

Um mit der Visualisierung von Insights aus Ihren KI Gateway-Daten zu beginnen, laden Sie das Beispiel AI Gateway Dashboard von GitHub herunter. Dieses Dashboard nutzt die Daten aus den Ableitungstabellen der Nutzungsverfolgung und der Payload-Protokollierung.

Nachdem Sie die JSON-Datei heruntergeladen haben, importieren Sie das Dashboard in Ihren Arbeitsbereich. Anweisungen zum Importieren von Dashboards finden Sie unter Importieren einer Dashboarddatei.

Unterstützte Features

Die folgende Tabelle definiert die verfügbaren Funktionen von AI Gateway und welche Endpunkttypen des Model Serving sie unterstützen.

Funktion Definition Endpunkt des externen Modells Durch Basismodell-APIs bereitgestellter Durchsatz-Endpunkt Foundation-Modell-APIs für Pay-per-Token-Endpunkt Mosaic AI-Agenten Benutzerdefinierter Modellendpunkt
Berechtigungs- und Ratenbegrenzung Kontrollieren Sie, wer Zugriff hat und in welchem Umfang. Unterstützt Unterstützt Unterstützt Nicht unterstützt Unterstützt
Nutzdatenprotokollierung Überwachen und Prüfen von Daten, die an Modell-APIs gesendet werden, mithilfe von -Inferenztabellen. Unterstützt Unterstützt Unterstützt Unterstützt Unterstützt
Nutzungsverfolgung Überwachen Sie die betriebliche Nutzung von Endpunkten und damit verbundenen Kosten mithilfe Systemtabellen. Unterstützt Unterstützt Unterstützt Nicht unterstützt Unterstützt
AI Guardrails Verhindern Sie unerwünschte und unsichere Daten in Anforderungen und Antworten. Weitere Informationen finden Sie unter KI-Schutzmaßnahmen. Unterstützt Unterstützt Unterstützt Nicht unterstützt Nicht unterstützt
Fallbacks Minimieren Sie Produktionsausfälle während und nach der Bereitstellung. Unterstützt Nicht unterstützt Nicht unterstützt Nicht unterstützt Nicht unterstützt
Trennung von Datenverkehr Lastenausgleich für Datenverkehr über Modelle hinweg. Unterstützt Unterstützt Nicht unterstützt Nicht unterstützt Unterstützt

Mosaic AI Gateway erhebt Gebühren auf Basis der aktivierten Funktionen. Kostenpflichtige Features umfassen die Nutzlastprotokollierung und die Nutzungsnachverfolgung. Features wie Abfrageberechtigungen, Rate Limitierung, Fallbacks und Traffic-Aufteilung sind kostenlos. Alle neuen Funktionen sind kostenpflichtig.

AI Guardrails

Wichtig

Dieses Feature befindet sich in der Public Preview.

AI Guardrails bieten Benutzern die Möglichkeit, die Daten-Compliance auf der Ebene des Modells, das die Endpunkte bedient, zu konfigurieren und durchzusetzen und schädliche Inhalte bei allen Anfragen an das zugrunde liegende Modell zu reduzieren. Unzulässige Anfragen und Antworten werden blockiert und der Benutzer erhält eine Standardnachricht. Weitere Informationen finden Sie unter Konfigurieren von KI-Schutzmaßnahmen für einen Modellbereitstellungsendpunkt.

Wichtig

Der Moderationsdienst von AI Guardrails ist abhängig von den "Pay-per-Token"-Modellen der Foundation Model APIs. Diese Abhängigkeit beschränkt die Verfügbarkeit des AI Guardrails Moderationsdiensts auf Regionen, die Foundation Model APIs pay-per-token unterstützen.

In der folgenden Tabelle sind die konfigurierbaren Schutzmaßnahmen zusammengefasst. Siehe Einschränkungen.

Hinweis

Nach dem 30. Mai 2025 werden die Themenmoderation und die KI-Leitplanken für die Schlüsselwortfilterung nicht mehr unterstützt. Wenn diese Funktionen für Ihre Workflows erforderlich sind, wenden Sie sich an Ihr Databricks-Kontoteam, um an der privaten Vorschau der benutzerdefinierten Leitplanken teilzunehmen.

Schutzmaßnahme Definition
Sicherheitsfilterung Die Sicherheitsfilterung verhindert, dass Ihr Modell mit unsicheren und schädlichen Inhalten wie Gewaltverbrechen, Selbstverletzung und Hassreden interagiert.
Der Sicherheitsfilter von AI Gateway wurde mit Meta Llama 3 erstellt. Databricks verwendet Llama Guard 2-8b als Sicherheitsfilter. Um mehr über den Llama Guard Sicherheitsfilter zu erfahren und welche Themen für den Sicherheitsfilter gelten, lesen Sie die Meta Llama Guard 2 8B Modellkarte.
Meta Llama 3 ist lizenziert unter der LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Alle Rechte vorbehalten. Kunden sind dafür verantwortlich, die Einhaltung anwendbarer Modelllizenzen sicherzustellen.
Erkennung personenbezogener Endbenutzerinformationen (Personally Identifiable Information, PII) Kunden können alle vertraulichen Informationen wie z. B. Namen, Adressen, Guthaben von Benutzern erkennen.
Für diese Funktion verwendet AI Gateway Presidio, um die folgenden PII-Kategorien in den USA zu erkennen: Kreditkartennummern, E-Mail-Adressen, Telefonnummern, Bankkontonummern und Sozialversicherungsnummern.
Der Klassifizierer für PII kann helfen, vertrauliche Informationen oder PII in strukturierten und unstrukturierten Daten zu erkennen. Da er jedoch automatische Erkennungsmechanismen verwendet, gibt es keine Garantie, dass der Dienst alle vertraulichen Informationen findet. Daher sollten zusätzliche Systeme und Schutzmaßnahmen eingesetzt werden.
Diese Klassifizierungsmethoden sind in erster Linie auf US-Kategorien von PII, wie z. B. US-Telefonnummern und Sozialversicherungsnummern, beschränkt.

AI Gateway verwenden

Sie können die Funktionen von AI Gateway auf den Endpunkten Ihres Modells mit der Serving-UI konfigurieren. Siehe AI Gateway auf den Endpunkten des Modells konfigurieren.

Limitations

Die folgenden Einschränkungen gelten für KI-Gateway-fähige Endpunkte:

  • Wenn AI Guardrails verwendet werden, darf die Batch-Größe von Anfragen, d.h. die Batch-Größe von Einbettungen, Vervollständigungen oder der n-Parameter von Chat-Anfragen, 16 nicht überschreiten.
  • Für Workloads mit bereitgestelltem Durchsatz werden nur die Ratenbegrenzung und die Protokollierung des Payloads über AI Gateway-aktivierte Ableitungstabellen unterstützt.
  • Wenn Sie Funktionsaufrufe verwenden und AI Guardrails angeben, werden diese Guardrails nicht auf die Anfragen und Zwischenantworten der Funktion angewendet. Schutzmaßnahmen werden jedoch auf die endgültige Ausgabeantwort angewendet.
  • Text-zu-Image-Workloads werden nicht unterstützt.
  • Nur die Verwendungsnachverfolgung wird für Batch-Inference-Workloads auf Pay-per-Token-Endpunkten unterstützt, die AI-Gateway-Features aktiviert haben. In der endpoint_usage Systemtabelle sind nur die Zeilen, die der Batch-Ableitungsanforderung entsprechen, sichtbar.
  • KI-Schutzläufe und Fallbacks werden für benutzerdefinierte Modellbereitstellungsendpunkte nicht unterstützt.
  • Bei benutzerdefinierten Modellendpunkten unterstützen nur Workloads, die nicht routenoptimiert sind, die Ratenbegrenzung und Nutzungsnachverfolgung.
  • Ableitungstabellen für routenoptimierte Modelle, die Endpunkte bedienen, befinden sich in der öffentlichen Vorschau.