적용 대상: AI 게이트웨이 티어 (미리보기)
Important
AI 게이트웨이 티어는 현재 공개 미리보기 단계입니다. 공개 프리뷰 기간 동안 AI 게이트웨이 계층은 다음 지역에서 이용 가능합니다:
- 미국 - 미국 동부 2
- 유럽 - 스웨덴 중앙
Azure API Management의 AI Gateway 계층(미리보기)은 AI 워크로드를 위한 완전 관리 게이트웨이입니다. 이 프로그램은 팀이 AI 모델과 모델 컨텍스트 프로토콜(MCP) 도구에 대한 접근을 게시, 보안, 관리, 관찰할 수 있는 한 곳을 제공합니다.
AI 게이트웨이 티어는 공개 미리보기 단계입니다. 미리보기 기능, 지역, 서비스 제한, API는 일반 제공 전에 변경될 수 있습니다. 가격 책정과 비즈니스 모델은 미리보기 후 발표될 예정입니다.
AI 게이트웨이 티어란 무엇인가요?
AI 게이트웨이 계층은 모델과 도구를 호출하는 애플리케이션을 위한 관리형 게이트웨이입니다. 애플리케이션은 각 공급자나 도구 백엔드를 직접 호출하는 대신 게이트웨이 엔드포인트를 호출합니다. 각 요청마다 게이트웨이는 다음과 같습니다:
- 헤더의
api-key런타임 액세스 키를 인증합니다. - 대상 모델이나 도구에 적용되는 정책을 평가합니다.
- 구성한 백엔드 자격 증명을 사용하여, 모델의 경우
model필드를 기준으로, 도구의 경우 도구 이름을 기준으로 요청을 선택한 백엔드로 라우팅합니다. - 응답을 반환하고 텔레메트리를 방출합니다 — OpenTelemetry 로그와 토큰 수 및 지연 시간 같은 지표.
사용하는 이유
AI 게이트웨이 계층은 플랫폼 팀이 앱, 모델, 도구에 대해 하나의 거버넌스가 적용된 런타임 경계를 제공합니다. 이를 사용하여 다음을 수행합니다.
- 지원되는 AI 제공업체 앞에 하나의 게이트웨이 엔드포인트를 배치하세요.
- 제공자 자격증은 신청서에 숨기세요.
- 모델, MCP 서버, 런타임 접근 키, 정책 및 모니터링을 관리합니다.
- 토큰 속도 제한, 요청 속도 제한, 콘텐츠 안전, IP 필터 등 거버넌스 통제를 적용하세요.
- AI 에이전트용 승인된 MCP 도구를 공개합니다.
- 셀프 서비스 카탈로그를 통해 이용 가능한 모델과 도구를 발견하고 활용하세요.
- Microsoft Entra ID로 게이트웨이를 관리하려면 로그인하세요.
경로 선택
주요 개념
Gateway
게이트웨이는 AI 트래픽의 런타임 및 관리 경계입니다. 확장 유닛 계획 없이 약 1분 만에 프로비저닝할 수 있는 전용 Azure 리소스입니다. 애플리케이션은 각 제공자나 도구를 직접 백엔드로 호출하는 대신 런타임 액세스 키로 하나의 게이트웨이 엔드포인트를 호출합니다. 모델, 도구, 정책, 키, 그리고 아이덴티티를 한 곳에서 관리할 수 있습니다.
모델
모델은 게이트웨이를 통해 공개하는 제공자의 모델입니다. 애플리케이션은 요청란 model 에서 이름으로 선택합니다. 모든 OpenAI 호환 제공업체(Microsoft Foundry, Azure OpenAI, AWS Bedrock, Google Vertex, OpenAI)는 하나의 엔드포인트를 공유합니다. .../models/openai/v1 게이트웨이는 model의 정확한 일치를 기준으로 라우팅하므로 각 모델에 고유한 이름을 지정하세요. Anthropic은 .../models/anthropic/v1/messages에서 Messages API 패스스루를 제공하는 맞춤형 공급자를 사용합니다. 게이트웨이는 백엔드 자격 증명을 보관하기 때문에 애플리케이션이 제공자 키를 다루지 않습니다.
MCP 서버 및 도구
MCP 서버는 에이전트가 툴에 접근하기 위해 호출하는 하나의 거버넌스된 엔드포인트(.../toolservers/<server-name>/mcp)입니다. 이 방식은 세 가지 출처에서 하나 이상의 백엔드를 연합합니다: 원격 MCP 서버 (URL), OpenAPI 사양, 또는 내장 커넥터 (1,000개 이상의 SaaS 앱, 호스팅할 서버가 없는 경우). 각 백엔드의 운영은 도구가 됩니다. 게이트웨이가 각 백엔드에 어떻게 인증할지 선택할 수 있습니다: None, API Key, OAuth 2.0, 또는 관리 신원.
Policies
정책은 포털에서 카드로 구성하는 런타임 가드레일이며, XML은 없습니다.
| Policy | 제어하는 내용 |
|---|---|
| 콘텐츠 안전성 | 안전 점검은 프롬프트와 응답에 대한 것입니다. |
| IP 필터 | 승인된 클라이언트 네트워크 범위에서 런타임 호출. |
| 토큰 속도 제한 | 1분 단위 토큰 처리량. |
| 요청 속도 한도 | 1분 동안 볼륨 요청. |
신원 및 접근 키
관리자는 Microsoft Entra ID를 사용하여 게이트웨이 관리를 위해 로그인합니다. 애플리케이션은 런타임 액세스 키 로 인증하며, 포털의 키 페이지(Create API 키)에서 키를 생성하고 헤더에 전송 api-key 하세요. 키는 게이트웨이 범위의 키이므로 모든 모델과 도구에 적용됩니다. 백엔드의 경우, 게이트웨이는 가능한 경우 관리 ID를 사용하여 비밀 정보가 저장되지 않도록 하며, 그렇지 않은 경우에는 사용자가 제공한 공급자 키를 사용합니다. 애플리케이션과 환경당 하나의 키를 발급하고, 모든 신원에 최소 권한을 부여하세요.
셀프 서비스 카탈로그
개발자들은 셀프 서비스 카탈로그에서 모델과 도구를 발견하며, 각 사이트에는 연결 정보와 샘플이 포함되어 있습니다. 즐겨찾기를 고정하고, Ctrl+K(macOS에서는 ⌘K) 명령 팔레트로 어디든 이동할 수 있습니다.
지역별 가용성
공개 프리뷰 기간 동안 AI 게이트웨이 계층은 다음 Azure 지역에서 이용 가능합니다.
| Geography | 지역 |
|---|---|
| 미국 | 미국 동부 2 |
| Europe | 스웨덴 중부 |
지역 가용성은 구독, 클라우드, 용량, 기능 플래그, 미리보기 등록량에 따라 달라질 수 있습니다. 포털이나 배포 도구에서 목표 지역이 제공되지 않는다면, 다른 지원되는 미리보기 지역을 선택하거나 Microsoft 담당자에게 연락하세요.
사용자, 애플리케이션, AI 백엔드, 네트워크 의존성에 가장 잘 맞는 지역을 선택하세요. 게이트웨이가 Azure OpenAI, Microsoft Foundry, 모델 엔드포인트, API, MCP 서버로 라우팅된다면 해당 위치들도 고려하세요. 데이터 레지던시는 게이트웨이 리전뿐 아니라 전체 요청 경로에 따라 결정됩니다. 게이트웨이, AI 백엔드, 도구, 로그 목적지, 관리 신원, 클라이언트 애플리케이션 등 각 구성 요소의 배포 위치를 검토하세요.
자주 묻는 질문
언제 제공자에게 직접 전화하는 대신 AI 게이트웨이 티어를 사용해야 하나요?
여러 모델과 도구 앞에 하나의 관리 엔드포인트를 두고 싶을 때는 AI 게이트웨이 계층을 사용하세요: 모든 애플리케이션에서 제공자 자격 증명 대신 중앙 런타임 키, 토큰 및 요청 한도, 콘텐츠 보안, IP 필터 같은 공유 정책, 통합 텔레메트리, 셀프 서비스 카탈로그 등이 있습니다. 단일 애플리케이션에서 단일 모델을 호출하고 거버넌스나 중앙 자격 증명이 필요 없다면, 제공자에게 직접 전화하는 것이 더 간단할 수 있습니다.
Foundry에서 가져오는 게 좋을까요, 아니면 커스텀 모델을 추가해야 할까요?
모델이 Microsoft Foundry 또는 Azure OpenAI(Azure AI Services) 리소스에서 실행될 때 Foundry에서 가져오세요; 마법사가 리소스의 배포를 자동으로 찾아줍니다. AWS Bedrock, Google Vertex, OpenAI, Anthropic 또는 기타 OpenAI 호환 엔드포인트용 커스텀 모델을 추가하고, 직접 엔드포인트와 모델 이름을 입력하세요. 모델 및 도구 관리(Manage Model and tools)를 참조하세요.
AI 게이트웨이 티어는 운영 환경에 적합한가요?
AI 게이트웨이 계층은 공개 프리뷰 단계에 있으며, 가용성은 서비스 수준 협약(SLA) 없이 최선의 노력 방식이며, API, 포털 워크플로우, 텔레메트리, 제한, 지역, 가격 등이 변경될 수 있습니다. 미리보기 할당량은 모델, 도구, 런타임 접근 키 수와 요청 및 토큰 처리량을 제한할 수 있습니다; 구체적인 한도는 일반 제공 전에 공개될 예정입니다. 중요하지 않은 작업량, 통제된 파일럿, 명확한 롤백 계획부터 시작하세요.
프리뷰 기간 동안 가격은 어떻게 처리되나요?
AI 게이트웨이 티어의 가격 책정과 비즈니스 모델은 프리뷰 후반에 발표될 예정입니다. 게이트웨이와 함께 사용하는 모델 제공자, 애플리케이션 인사이트, 네트워킹, 관측 플랫폼 등 관련 자원에 대해 비용을 지불할 수도 있습니다.
어떤 지역이 있나요?
AI 게이트웨이 계층은 동부 미국 2와 스웨덴 센트럴에서 제공됩니다. 지역별 가용성을 참조하세요.
내 데이터는 어떻게 처리되는가?
텔레메트리가 어디로 가는지 직접 선택하세요. Application Insights를 사용하면 Azure 구독에 계속 남아 있습니다. 다른 OpenTelemetry(OTLP) 목적지는 귀하의 설정과 제공업체의 조건을 따릅니다. Telemetry는 OpenTelemetry GenAI 의미 규칙(접두사) gen_ai.* 을 사용합니다. 데이터 상주 여부는 전체 요청 경로에 따라 달라지므로, 게이트웨이, 백엔드, 텔레메트리 목적지를 승인된 지역에 배치하고 보안 및 개인정보 보호 팀을 참여시키세요.
AI 게이트웨이 계층이 프라이비셜 네트워킹을 지원하나요?
Yes. Inbound Private Link와 Outbound Virtual Network 통합이 공개 프리뷰의 일부입니다. 설정, DNS 및 제한 사항에 대해서는 '프라이글 네트워킹 구성 '을 참조하세요.
자동화를 위해 어떤 API 버전을 사용해야 할까요?
미리보기 관리 API 버전을 2026-05-01-preview사용하세요. API가 미리보기(preview) 단계이기 때문에 광범위한 배포 전에 자동화를 검증하세요.