Dela via

Introduktion till Mosaic AI Gateway

Den här artikeln beskriver Mosaic AI Gateway, Databricks-lösningen för styrning och övervakning av åtkomst till generativa AI-modeller som stöds och deras associerade modell som betjänar slutpunkter.

Vad är Mosaic AI Gateway?

Mosaic AI Gateway är utformad för att effektivisera användningen och hanteringen av generativa AI-modeller och agenter inom en organisation. Det är en centraliserad tjänst som ger styrnings-, övervaknings- och produktionsberedskap för att modellera serverdelsslutpunkter. Du kan också köra, skydda och styra AI-trafik för att demokratisera och påskynda AI-implementeringen för din organisation.

Alla data loggas in i Delta-tabeller i Unity Catalog.

För att börja visualisera insikter från dina AI Gateway-data, ladda ner exempelpanelen för AI Gateway från GitHub. Den här instrumentpanelen utnyttjar data från inferenstabellerna för användningsspårning och nyttolastloggning.

När du har laddat ned JSON-filen importerar du instrumentpanelen till din arbetsyta. Anvisningar om hur du importerar instrumentpaneler finns i Importera en instrumentpanelsfil.

funktioner som stöds

I följande tabell definieras tillgängliga AI Gateway-funktioner och vilken modell som betjänar slutpunktstyper stöder dem.

Funktionalitet Definition Slutpunkt för extern modell Förberedd genomströmningsslutpunkt för Foundation Model API:er Foundation Model API:er betalning per token-endpoint Mosaic AI-agenter Slutpunkt för anpassad modell
Behörighets- och hastighetsbegränsning Kontrollera vem som har åtkomst och hur mycket åtkomst. Understödd Understödd Understödd Stöds inte Understödd
Nyttolastloggning Övervaka och granska data som skickas till modell-API:er med hjälp av slutsatsdragningstabeller. Understödd Understödd Understödd Understödd Understödd
Användningsspårning Övervaka driftanvändningen på slutpunkter och tillhörande kostnader med hjälp av systemtabeller. Understödd Understödd Understödd Stöds inte Understödd
AI-skyddsräcken Förhindra oönskade och osäkra data i begäranden och svar. Se AI Guardrails. Understödd Understödd Understödd Stöds inte Stöds inte
Återställningar Minimera produktionsstopp under och efter distributionen. Understödd Stöds inte Stöds inte Stöds inte Stöds inte
Trafikdelning Fördela trafikbelastningen mellan modeller. Understödd Understödd Stöds inte Stöds inte Understödd

Mosaic AI Gateway tar ut avgifter för varje aktiverad funktion. Betalfunktioner inkluderar nyttolastloggning och användningsspårning. Funktioner som frågebehörigheter, hastighetsbegränsning, återställningar och trafikdelning är kostnadsfria. Alla nya funktioner debiteras.

AI-skyddsräcken

Viktigt!

Den här funktionen finns i offentlig förhandsversion.

MED AI Guardrails kan användare konfigurera och framtvinga dataefterlevnad på den modell som betjänar slutpunktsnivå och minska skadligt innehåll på alla begäranden som skickas till den underliggande modellen. Felaktiga begäranden och svar blockeras och ett standardmeddelande returneras till användaren. Se hur du konfigurerar skyddsräcken på en modell som betjänar slutpunkten.

Viktigt!

AI Guardrails-modereringstjänsten har ett beroende av Foundation Model API:er för betalning per token-modeller. Det här beroendet begränsar tillgängligheten för AI Guardrails-modereringstjänsten till regioner som stöder Foundation Model API:er med betalning per token.

I följande tabell sammanfattas de konfigurerbara skyddsräckena. Se Begränsningar.

Anmärkning

Efter den 30 maj 2025 stöds inte längre ämnesmoderering och nyckelordsfiltrering av AI-skyddsräcken. Om dessa funktioner är nödvändiga för dina arbetsflöden kan du kontakta ditt Databricks-kontoteam för att delta i custom guardrails Private Preview.

Skyddsräcke Definition
Säkerhetsfiltrering Säkerhetsfiltrering hindrar din modell från att interagera med osäkert och skadligt innehåll, till exempel våldsbrott, självskadebeteende och hatpropaganda.
Säkerhetsfiltret för AI Gateway skapas med Meta Llama 3. Databricks använder Llama Guard 2-8b som säkerhetsfilter. Mer information om Llama Guard-säkerhetsfiltret och vilka ämnen som gäller för säkerhetsfiltret finns i Meta Llama Guard 2 8B-modellkortet.
Meta Llama 3 är licensierad under LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Alla rättigheter reserverade. Kunderna ansvarar för att säkerställa efterlevnaden av tillämpliga modelllicenser.
Identifiering av personligt identifierbar information (PII) Kunder kan identifiera känslig information, till exempel namn, adresser, kreditkortsnummer för användare.
För den här funktionen använder AI Gateway Presidio för att identifiera följande amerikanska kategorier av PII: kreditkortsnummer, e-postadresser, telefonnummer, bankkontonummer och personnummer.
PII-klassificeraren kan hjälpa till att identifiera känslig information eller PII i strukturerade och ostrukturerade data. Men eftersom den använder automatiserade identifieringsmekanismer finns det ingen garanti för att tjänsten hittar all känslig information. Därför bör ytterligare system och skydd användas.
Dessa klassificeringsmetoder är främst begränsade till amerikanska kategorier av PII, till exempel amerikanska telefonnummer och personnummer.

Använda AI Gateway

Du kan konfigurera AI Gateway-funktioner på din modell som betjänar slutpunkter med hjälp av användargränssnittet för servering. Se Konfigurera AI Gateway på modell som betjänar slutpunkter.

begränsningar

Följande är begränsningar för AI Gateway-aktiverade slutpunkter:

  • När AI-skyddsräcken används kan batchstorleken för begäranden, som kan vara en inbäddningsbatchstorlek, batchstorlek för slutföranden eller parametern n för chattbegäranden, inte överstiga 16.
  • För etablerade dataflödesarbetsbelastningar stöds endast hastighetsbegränsning och nyttolastloggning med hjälp av AI Gateway-aktiverade slutsatsdragningstabeller.
  • Om du använder funktionsanrop och anger AI-skyddsräcken tillämpas inte dessa skyddsräcken på begäranden och mellanliggande svar i funktionen. Dock tillämpas begränsningar på det slutgiltiga svaret.
  • Text-till-bild-arbetsbelastningar stöds inte.
  • Endast användningsspårning stöds för batchinferensarbetsbelastningar på pay-per-token-slutpunkter som har AI Gateway-funktioner aktiverade. I systemtabellen endpoint_usage visas endast de rader som motsvarar batchinferensbegäran.
  • AI-skyddsräcken och återfallsmekanismer stöds inte på anpassade modellens slutpunkter.
  • För slutpunkter för anpassade modellservrar stöder bara arbetsbelastningar som inte är routningsoptimerade frekvensbegränsning och användningsspårning.
  • Slutsatsdragningstabeller för routningsoptimerade modell som betjänar slutpunkter finns i offentlig förhandsversion.