AI 게이트웨이는 LLM 엔드포인트, 코딩 에이전트 및 엔드포인트를 제공하는 모델을 관리 및 모니터링하기 위한 Databricks 솔루션입니다. AI 게이트웨이를 사용하여 사용량을 분석하고, 권한을 구성하고, 공급자 전체에서 용량을 관리합니다.
AI 게이트웨이(베타)
새로운 AI 게이트웨이 환경은 베타에서 사용할 수 있습니다. AI 게이트웨이(베타)는 풍부한 UI, 향상된 관찰성 및 확장된 API 범위를 포함하여 향상된 기능을 사용하여 LLM 엔드포인트 및 코딩 에이전트를 관리하기 위한 엔터프라이즈 제어 평면입니다.
| 주제 | Description |
|---|---|
| AI 게이트웨이(베타) | AI 게이트웨이(베타), 지원되는 기능 및 시작하는 방법에 대해 알아봅니다. |
| AI 게이트웨이 엔드포인트 구성 | LLM 및 코딩 에이전트에 대한 AI 게이트웨이 엔드포인트를 만들고 구성합니다. |
| AI 게이트웨이 엔드포인트 쿼리 | OpenAI 클라이언트 및 기타 지원되는 API를 사용하여 AI 게이트웨이 엔드포인트를 쿼리합니다. |
| AI 게이트웨이 엔드포인트에 대한 사용량 모니터링 | 시스템 테이블을 사용하여 AI 게이트웨이 엔드포인트의 사용량 및 비용을 모니터링합니다. |
| 유추 테이블을 사용하여 모델 모니터링 | Unity 카탈로그 델타 테이블에서 요청 및 응답을 모니터링하고 감사합니다. |
| 코딩 에이전트와 통합 | 커서, Gemini CLI, Codex CLI 및 Claude Code와 같은 코딩 에이전트를 AI 게이트웨이와 통합합니다. |
비고
AI 게이트웨이 기능은 베타 중에 요금이 부과되지 않습니다.
엔드포인트 제공
AI 게이트웨이 기능은 외부 모델 엔드포인트, 파운데이션 모델 API 엔드포인트 및 사용자 지정 모델 엔드포인트를 포함하여 엔드포인트를 제공하는 모델에도 사용할 수 있습니다.
| 주제 | Description |
|---|---|
| 엔드포인트를 제공하기 위한 AI 게이트웨이 | 지원되는 기능 및 제한 사항을 포함하여 엔드포인트를 제공하기 위한 AI 게이트웨이 기능에 대해 알아봅니다. |
| 모델서빙 엔드포인트에서 AI Gateway 구성 | 엔드포인트를 제공하는 모델에서 사용량 추적, 페이로드 로깅, 속도 제한 및 가드레일과 같은 AI 게이트웨이 기능을 구성합니다. |
| AI 게이트웨이의 유추 테이블을 사용하여 제공된 모델을 모니터링하다 | AI 게이트웨이 사용 유추 테이블을 사용하여 제공된 모델을 모니터링합니다. |