중요합니다
이 페이지에서는 현재 베타에 있는 새 AI 게이트웨이(UI의 왼쪽 탐색에 표시됨)를 다룹니다. 계정 관리자는 계정 콘솔 미리 보기 페이지에서 이 기능에 대한 액세스를 사용하도록 설정할 수 있습니다. Azure Databricks 미리 보기 관리 참조하세요.
이전 버전의 Unity AI Gateway에 대한 자세한 내용은 엔드포인트를 제공하는 Unity AI Gateway를 참조하세요.
Unity AI 게이트웨이란?
Unity AI 게이트웨이는 LLM 엔드포인트 및 코딩 에이전트를 제어하기 위한 엔터프라이즈 제어 평면입니다. 이 기능을 사용하여 사용량을 분석하고, 사용 권한을 구성하고, 공급자 전체에서 용량을 관리할 수 있습니다.
Unity AI 게이트웨이를 사용하면 다음을 수행할 수 있습니다.
- 조직에서 LLM 및 코딩 에이전트를 사용하는 방법 분석
- Govern Azure Databricks 호스팅 및 외부 모델에 대한 액세스
- 로그 모든 엔드포인트에서 Unity 카탈로그로 향하는 LLM 트래픽
- 엔드포인트 상태 및 공급자 가용성 모니터링
- 속도 제한 및 가드레일 적용
- 특정 엔드포인트, 사용자 및 팀에 대한 특성 비용
- 안정성 및 부하 분산을 위해 공급자 간에 트래픽을 지능적으로 라우팅
- 확장성을 위해 여러 모델 백 엔드 간에 트래픽 분할
- 코드 변경 없이 공급자 및 모델 전환
지원되는 기능
다음 표에서는 사용 가능한 Unity AI 게이트웨이 기능을 정의합니다.
| 특징 | Description |
|---|---|
| Permissions | 엔드포인트에 대한 액세스 권한이 있는 사용자를 제어합니다. |
| 사용량 추적 | 시스템 테이블을 사용하여 사용량 및 비용을 모니터링합니다. |
| 유추 테이블 | Unity 카탈로그 델타 테이블에서 요청 및 응답을 모니터링하고 감사합니다. |
| 운영 메트릭 | 실시간으로 사용량을 모니터링합니다. |
| 속도 제한 | 엔드포인트, 사용자 또는 그룹 수준에서 사용 제한을 적용합니다. |
| 가드레일 | 콘텐츠 필터링, 중요한 데이터 보호 및 사용자 지정 정책을 적용합니다. |
| 비용 배분 | 엔드포인트 및 요청 태그를 사용하여 엔드포인트, 사용자 및 팀별로 세분화된 수준에서 비용을 추적합니다. |
| 대안 | 오류가 발생할 때 여러 공급자로 라우팅하여 안정성을 높입니다. |
| 트래픽 분할 | 확장성 및 부하 분산을 향상하기 위해 여러 모델 백 엔드에 트래픽을 분산합니다. |
| 사용자 지정 API | LLM 엔드포인트와 동일한 액세스 제어, 속도 제한 및 로깅을 사용하여 사용자 지정 및 외부 API를 제어합니다. |
비고
Unity AI 게이트웨이 기능은 베타 중에 요금이 부과되지 않습니다.
Unity AI 게이트웨이 사용
Azure Databricks 인기 있는 LLM에 대한 Unity AI 게이트웨이 엔드포인트를 제공합니다. 코딩 에이전트 및 기타 애플리케이션을 제어하는 새 엔드포인트를 만들 수 있습니다.
시작하려면 Unity AI 게이트웨이 엔드포인트 구성을 참조하세요. 엔드포인트를 쿼리하려면 Unity AI 게이트웨이 엔드포인트 쿼리를 참조하세요. 커서, Gemini CLI, Codex CLI 및 Claude Code와 같은 코딩 에이전트를 통합하려면 코딩 에이전트와 통합을 참조하세요.
쿼리 빠른 시작
다음 예제에서는 Python 및 OpenAI 클라이언트를 사용하여 Unity AI 게이트웨이 엔드포인트를 쿼리하는 방법을 보여 줍니다.
from openai import OpenAI
import os
# To get a Databricks token, see https://docs.databricks.com/dev-tools/auth/pat
DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')
client = OpenAI(
api_key=DATABRICKS_TOKEN,
base_url="https://<ai-gateway-url>/mlflow/v1"
)
chat_completion = client.chat.completions.create(
messages=[
{"role": "user", "content": "Hello!"},
{"role": "assistant", "content": "Hello! How can I assist you today?"},
{"role": "user", "content": "What is Databricks?"},
],
model="databricks-gpt-5-2",
max_tokens=256
)
print(chat_completion.choices[0].message.content)
<ai-gateway-url>를 Unity AI 게이트웨이 엔드포인트 URL로 대체하십시오.