AI-poort

AI Gateway is de Databricks-oplossing voor het beheren en bewaken van LLM-eindpunten, coderingsagenten en modelleringseindpunten. Gebruik AI Gateway om gebruik te analyseren, machtigingen te configureren en capaciteit tussen providers te beheren.

AI Gateway (bèta)

De nieuwe AI Gateway-ervaring is beschikbaar in bètaversie. AI Gateway (bèta) is het besturingsvlak voor ondernemingen voor het beheren van LLM-eindpunten en coderingsagenten met verbeterde functies, waaronder een uitgebreide gebruikersinterface, verbeterde waarneembaarheid en uitgebreide API-dekking.

Onderwerp	Description
AI Gateway (bèta)	Meer informatie over AI Gateway (bèta), de ondersteunde functies en hoe u aan de slag kunt gaan.
AI Gateway-eindpunten configureren	AI Gateway-eindpunten maken en configureren voor uw LLM's en coderingsagents.
Queries uitvoeren op AI Gateway-eindpunten	Query's uitvoeren op AI Gateway-eindpunten met behulp van de OpenAI-client en andere ondersteunde API's.
Gebruik bewaken voor AI Gateway-eindpunten	Bewaak het gebruik en de kosten voor AI Gateway-eindpunten met behulp van systeemtabellen.
Modellen bewaken met behulp van deductietabellen	Aanvragen en antwoorden in Unity Catalog Delta-tabellen bewaken en controleren.
Integreren met coderingsagents	Integreer coderingsagents zoals Cursor, Gemini CLI, Codex CLI en Claude Code met AI Gateway.

Opmerking

Voor AI Gateway-functies worden geen kosten in rekening gebracht tijdens de bètaversie.

Eindpunten leveren

AI Gateway-functies zijn ook beschikbaar voor modellen die eindpunten leveren, waaronder externe modeleindpunten, Foundation Model-API-eindpunten en aangepaste modeleindpunten.

Onderwerp	Description
AI Gateway voor het serveren van endpoints	Meer informatie over AI Gateway-functies voor het leveren van eindpunten, waaronder ondersteunde functies en beperkingen.
AI Gateway configureren voor eindpunten voor modelservice	Configureer AI Gateway-functies zoals het bijhouden van gebruik, logboekregistratie van nettoladingen, frequentielimieten en kaders voor een model dat het eindpunt bedient.
Bewaken van geserveerde modellen via inferentietabellen met AI Gateway	Bewaak gediende modellen met behulp van inferentietabellen met AI Gateway.