관리자에 연결된 모델은 관리자가 Foundry 프로젝트에 연결하는 Azure API Management 또는 Azure 아닌 AI 모델 게이트웨이와 같은 엔터프라이즈 AI 게이트웨이 뒤에서 호스트되는 모델입니다. 모델 배포를 허용하는 클라우드 평가 시나리오에 관리자 연결 모델을 사용할 수 있습니다.
Foundry는 API 키, 관리 ID 또는 OAuth 2.0 인증을 포함하여 연결 엔드포인트 및 인증을 확인합니다. 평가 요청은 게이트웨이 엔드포인트 또는 해당 자격 증명이 아닌 연결 및 배포를 참조합니다.
Important
클라우드 평가는 연결된 배포가 OpenAI 채팅 완료 API를 노출하는 경우에만 관리자 연결 모델을 지원합니다.
메모
클라우드 평가의 관리자 연결 모델 지원은 미리 보기 상태이며 모든 지역에서는 사용할 수 없습니다.
Prerequisites
- 파운드리 프로젝트.
- Foundry 프로젝트의 Foundry 사용자 역할입니다.
- 관리자가 Foundry 리소스에 Azure API Management 또는 Azure 없는 AI 모델 게이트웨이 연결을 만들고리소스 세부 정보>관리>관리자 연결 모델 탭에 모델을 추가했습니다. 설치 지침은 Foundry 에이전트 서비스에 사용자 고유의 모델 가져오기를 참조하세요.
- OpenAI 채팅 완료 API를 지원하는 모델의 연결 이름 및 배포 이름입니다.
관리자 연결 모델 참조
지원되는 평가 시나리오에서 모델 배포를 허용하는 경우 다음 형식을 사용합니다.
<connection-name>/<deployment-name>
다음 표에서는 일반적인 평가 화면과 참조를 허용하는 필드를 보여 줍니다.
| 시나리오 | Field |
|---|---|
| AI 지원 평가자(판사) | initialization_parameters.model |
| 모델 대상 | target.model |
| 대화 시뮬레이션 | item_generation_params.model |
관리자 연결 모델을 평가자 판사 모델로 사용
AI 지원 평가기를 구성할 때 설정합니다 initialization_parameters.model . 이 예제에서는 일관성 평가자의 판사로 관리자 연결 모델을 사용합니다.
from azure.ai.projects.models import TestingCriterionAzureAIEvaluator
admin_connected_model = "my-apim-connection/gpt-4o"
testing_criteria = [
TestingCriterionAzureAIEvaluator(
type="azure_ai_evaluator",
name="coherence",
evaluator_name="builtin.coherence",
initialization_parameters={"model": admin_connected_model},
data_mapping={
"query": "{{item.query}}",
"response": "{{item.response}}",
},
),
]
관리자 연결 모델을 대상으로 사용
관리자 연결 모델에 각 평가 입력을 보내도록 설정합니다 target.model .
admin_connected_model = "my-apim-connection/gpt-4o"
target = {
"type": "azure_ai_model",
"model": admin_connected_model,
"sampling_params": {
"top_p": 1.0,
"max_completion_tokens": 2048,
},
}
클라우드의 실행 평가에 설명된 모델 대상 평가 흐름과 함께 이 대상을 사용합니다.
다른 평가 시나리오 사용
Microsoft Foundry SDK를 사용하여 클라우드에서 평가 실행의 다른 모델 기반 시나리오는 관리자 연결 모델과 유사하게 작동합니다. 시나리오에서 지원되는 모델 배포를 허용하는 경우 배포 이름을 .로 <connection-name>/<deployment-name>바꿉니다. 예를 들어 대화 시뮬레이션은 .에서 item_generation_params.model이 참조를 허용합니다.
Foundry 프로젝트 엔드포인트를 변경하지 않고 평가 요청에 게이트웨이 엔드포인트 또는 자격 증명을 추가하지 마세요. Foundry는 관리자 연결 모델 연결에서 해당 값을 확인합니다.
메모
관리자 연결 모델은 가상 데이터 생성에 사용할 수 없습니다.