Überwachen von Modelldiensten mithilfe von Rückschlusstabellen

Wichtig

Dieses Feature befindet sich in der Betaversion. Kontoadministratoren können den Zugriff auf dieses Feature über die Seite " Vorschau" der Kontokonsole steuern. Siehe Manage Azure Databricks Previews.

Auf dieser Seite wird beschrieben, wie Sie Schlussfolgerungstabellen zum Überwachen von Unity AI Gateway-Modelldiensten verwenden.

Was sind Unity AI Gateway-Ableitungstabellen?

Unity AI Gateway-Inferenz-Tabellen protokollieren Anfragen und Antworten aus Ihren Modelldiensten in Unity Catalog-Delta-Tabellen. Sie können diese Daten zum Überwachen, Debuggen und Optimieren Ihrer Modelle verwenden.

Zu den gängigen Anwendungsfällen gehören:

• Debuggen: Analysieren Sie Anforderungs- und Antwortnutzlasten, um Probleme zu beheben.
• Überwachung: Nachverfolgen der Modellleistung und Identifizieren von Anomalien.
• Optimierung: Überprüfen Sie Interaktionen, um Modellaufforderungen und -konfigurationen zu verbessern.
• Compliance: Führen von Prüfprotokollen aller Modellinteraktionen.

Requirements

• Unity AI Gateway Preview für Ihr Konto aktiviert. Siehe Manage Azure Databricks Previews.

• Ein Azure Databricks-Arbeitsbereich in einer von Unity AI Gateway unterstützten Region.

• Unity-Katalog für Ihren Arbeitsbereich aktiviert. Weitere Informationen finden Sie unter Aktivieren eines Arbeitsbereichs für Unity Catalog.

• Die MANAGE Berechtigung für den Modelldienst. Sowohl der Ersteller als auch der Modifizierer des Modelldiensts müssen über diese Berechtigung verfügen.

• Die CREATE TABLE-Berechtigung im angegebenen Katalog und Schema von Unity-Katalog.

• Die USE CATALOG Berechtigung für den angegebenen Katalog.

• Die USE SCHEMA Berechtigung für das angegebene Schema.

• Der Katalog kann kein OpenSharing-Katalog für den aktuellen Metastore sein.

• Databricks empfiehlt, eine predictive Optimierung für eine verbesserte Leistung zu ermöglichen.

Aktivieren von Rückschlusstabellen

Rückschlusstabellen können nur konfiguriert werden, nachdem Sie einen Modelldienst erstellt haben.

So aktivieren Sie Inferencetabellen:

1. Klicken Sie in der Randleiste auf AI-Gateway.
2. Klicken Sie auf den Modelldienstnamen, um die Modelldienstseite zu öffnen.
3. Klicken Sie auf Einrichten neben Inference-Tabellen.
4. Geben Sie den Katalog und das Schema an, in dem Die Ableitungstabelle gespeichert werden soll.
5. Klicke auf Speichern.

Der Besitzer der Rückschlusstabelle ist der Benutzer, der den Modelldienst erstellt hat. Alle ACLs folgen den Standardberechtigungen des Unity-Katalogs und können vom Tabellenbesitzer geändert werden.

Hinweis

Das Angeben einer vorhandenen Tabelle wird nicht unterstützt. Azure Databricks erstellt automatisch eine neue Ableitungstabelle, wenn Sie Rückschlusstabellen aktivieren.

Warnung

Die Ableitungstabelle könnte die Protokollierung von Daten beenden oder beschädigt werden, wenn Sie eine der folgenden Aktionen ausführen:

• Ändern Sie das Tabellenschema.
• Ändern Sie den Tabellennamen.
• Löschen Sie die Tabelle.

Deaktivieren von Rückschlusstabellen

So deaktivieren Sie Inferencetabellen:

1. Klicken Sie in der Randleiste auf AI-Gateway.
2. Klicken Sie auf den Modelldienstnamen, um die Modelldienstseite zu öffnen.
3. Klicken Sie auf das Bearbeitungssymbol neben Inferenz-Tabellen.
4. Klicken Sie auf "Rückschlusstabellen deaktivieren".

Abfrage der Inferenztabelle

Sie können die Tabelle auf der Benutzeroberfläche anzeigen oder die Tabelle aus Databricks SQL oder einem Notizbuch abfragen.

Wenn Sie die Tabelle auf der Benutzeroberfläche anzeigen möchten, klicken Sie auf der Modelldienstseite auf den Link zur Ableitungstabelle, um die Tabelle im Katalog-Explorer zu öffnen.

So fragen Sie die Tabelle aus Databricks SQL oder einem Notizbuch ab:

SELECT * FROM <catalog>.<schema>.<payload_table>

Ersetzen Sie <catalog>, <schema> und <payload_table> mit Ihrem Tabellenstandort.

Inference-Tabellenschema

Unity AI Gateway-Ableitungstabellen weisen das folgende Schema auf:

Spaltenname	Typ	Beschreibung	Example
request_id	STRING	Ein eindeutiger Bezeichner für die Anforderung.	7a99b43cb46c432bb0a7814217701909
invocation_id	STRING	Ein eindeutiger Bezeichner für jeden einzelnen Ableitungsaufruf. Mehrere Aufrufe können dasselbe request_id teilen, z. B. Guardrail-Prüfungen oder Multi-Turn-Agent-Aufrufe. Verwenden Sie invocation_id, um sie zu unterscheiden.	c0a8012e-9f3b-4d21-8a7e-1b2c3d4e5f60
request_tags	MAP	Tags, die der Anforderung zugeordnet sind.	{"team": "engineering"}
event_time	TIMESTAMP	Der Zeitstempel, zu dem die Anforderung empfangen wurde.	2024-05-17T13:47:13.282-07:00
status_code	INT	Der HTTP-Statuscode der Antwort.	200
sampling_fraction	DOUBLE	Der Samplinganteil, wenn Downsampling verwendet wurde. Ein Wert von 1 bedeutet kein Downsampling.	1
latency_ms	LONG	Die Gesamtlatenz in Millisekunden.	300
time_to_first_byte_ms	LONG	Die Zeit für das erste Byte in Millisekunden.	200
request	STRING	Die unformatierte JSON-Anforderungsnutzlast.	{"messages": [...], ...}
response	STRING	Die unformatierte JSON-Antwort-Payload.	{"choices": [...], ...}
destination_type	STRING	Der Zieltyp (z. B. externes Modell oder Foundation-Modell).	PAY_PER_TOKEN_FOUNDATION_MODEL
destination_name	STRING	Der Name des Zielmodells oder Anbieters.	databricks-gpt-5-2
destination_model	STRING	Das für die Anforderung verwendete spezifische Modell.	GPT-5.2
logging_error_codes	ARRAY	Fehlercodes, wenn die Protokollierung fehlgeschlagen ist (z. B. MAX_REQUEST_SIZE_EXCEEDED).	["MAX_RESPONSE_SIZE_EXCEEDED"]
requester	STRING	Die ID des Benutzers oder Dienstprinzipals, der die Anforderung gestellt hat.	databricks.engineer@databricks.com
schema_version	STRING	Die Schemaversion des Inferenztabellendatensatzes.	0

Limitations

• Nur externe Speicherkataloge: Inference-Tabellen können nur in externen Speicherkatalogen erstellt werden. Standardspeicherkataloge werden derzeit nicht unterstützt.
• Private Endpunkte werden nicht unterstützt: Inference-Tabellen können nicht im Speicher erstellt werden, der über einen privaten Endpunkt gesichert ist. Siehe Einschränkungen des Zerobus-Ingest-Connectors.
• Bestmögliche Zustellung: Protokolle sind in der Regel innerhalb von Minuten nach einer Anforderung verfügbar, aber die Übermittlung ist nicht garantiert.
• Maximale Nutzlastgröße: Anforderungen und Antworten, die größer als 10 MiB sind, werden nicht protokolliert. Die logging_error_codes-Spalte gibt an, wann dies mit MAX_REQUEST_SIZE_EXCEEDED oder MAX_RESPONSE_SIZE_EXCEEDED erfolgt.
• Fehlerantworten: Protokolle werden möglicherweise nicht für Anforderungen aufgefüllt, die Fehler 401, 403, 429 oder 500 zurückgeben.

Weitere Ressourcen

• Modellnutzung für Unity AI Gateway-Dienste
• Konfigurieren von Ratenlimits für KI-Dienste mit Unity AI Gateway
• Konfigurieren von Datenverkehrsteilungen und Fallbacks für Modelldienste im Unity AI-Gateway