Azure AI Foundry 모델은 사용자 지정 부조합을 빌드하거나 에이전트를 빌드하거나 기존 애플리케이션을 개선하거나 새로운 AI 기능을 탐색하는 등 강력한 AI 모델을 검색, 평가 및 배포하기 위한 원스톱 대상입니다.
Foundry 모델을 사용하면 다음을 수행할 수 있습니다.
- Microsoft, OpenAI, DeepSeek, Hugging Face, Meta 등에서 다양한 최첨단 모델 카탈로그를 살펴보세요.
- 실제 작업 및 사용자 고유의 데이터를 사용하여 모델을 나란히 비교하고 평가합니다.
- 미세 조정, 관찰 가능성 및 책임 있는 AI를 위한 기본 제공 도구 덕분에 확신을 가지고 배포합니다.
- 경로를 선택하거나, 고유한 모델을 가져오거나, 호스트된 모델을 사용하거나, Azure 서비스와 원활하게 통합합니다.
- 개발자, 데이터 과학자 또는 엔터프라이즈 설계자이든 Foundry Models는 안전하고 책임감 있고 빠른 AI 솔루션을 빌드할 수 있는 유연성과 제어 기능을 제공합니다.
Azure AI Foundry는 포괄적인 AI 모델 카탈로그를 제공합니다. 파운데이션 모델, 추론 모델, 작은 언어 모델, 다중 모달 모델, 도메인 특정 모델, 산업 모델 등 다양한 1900개 이상의 모델이 있습니다.
카탈로그는 다음 두 가지 주요 범주로 구성됩니다.
이러한 범주 간의 차이점을 이해하면 특정 요구 사항 및 전략적 목표에 따라 올바른 모델을 선택하는 데 도움이 됩니다.
Azure에서 직접 판매되는 모델
Microsoft 제품 약관에 따라 Microsoft에서 호스트하고 판매하는 모델입니다. 이러한 모델은 엄격한 평가를 거쳤으며 Azure의 AI 에코시스템에 깊이 통합되어 있습니다. 모델은 다양한 상위 공급자로부터 제공되며, 엔터프라이즈급 SLA(서비스 수준 계약)를 포함하여 향상된 통합, 최적화된 성능 및 직접 Microsoft 지원을 제공합니다.
Azure에서 직접 판매하는 모델의 특징:
- Microsoft의 공식 자사 지원
- Azure 서비스 및 인프라와의 높은 수준의 통합
- 광범위한 성능 벤치마킹 및 유효성 검사
- Microsoft의 책임 있는 AI 표준 준수
- 엔터프라이즈급 확장성, 안정성 및 보안
또한 이러한 모델은 펑블 프로비전된 처리량의 이점이 있습니다. 즉, 이러한 모델에서 할당량 및 예약을 유연하게 사용할 수 있습니다.
파트너 및 커뮤니티의 모델
이러한 모델은 대부분의 Azure AI Foundry 모델을 구성하며 신뢰할 수 있는 타사 조직, 파트너, 연구 랩 및 커뮤니티 기여자가 제공합니다. 이러한 모델은 다양한 시나리오, 산업 및 혁신을 다루는 전문적이고 다양한 AI 기능을 제공합니다.
파트너와 커뮤니티의 모델 예는 Hugging Face 허브의 Open 모델입니다. 여기에는 관리형 컴퓨팅을 사용한 실시간 유추를 위해 Hugging Face 허브의 수백 개의 모델이 포함됩니다. Hugging Face는 이 컬렉션에 나열된 모델을 만들고 유지 관리합니다. 포옹 얼굴 모델에 대한 도움을 받으려면 포옹 얼굴 포럼 또는 포옹 얼굴 지원을 사용하세요. Azure AI Foundry를 사용하여 개방형 모델 배포에서 Hugging Face 모델을 배포하는 방법을 알아봅니다.
파트너 및 커뮤니티의 모델 특징:
- 외부 파트너 및 커뮤니티 기여자가 개발하고 지원합니다.
- 틈새 또는 광범위한 사용 사례에 맞는 다양한 특수 모델
- 일반적으로 Azure에서 제공하는 통합 지침을 사용하여 공급자 자체에서 유효성을 검사합니다.
- 커뮤니티 기반의 혁신 및 최첨단 모델의 신속한 가용성
- 각 공급자가 관리하는 지원 및 유지 관리와 함께 표준 Azure AI 통합
파트너 및 커뮤니티의 모델은 관리형 컴퓨팅 또는 서버리스 API 배포 옵션으로 배포할 수 있습니다. 모델 공급자는 모델을 배포할 수 있는 방법을 선택합니다.
모델 카탈로그에 포함할 모델 요청
Azure AI Foundry 포털의 모델 카탈로그 페이지에서 바로 모델 카탈로그에 모델을 추가하도록 요청할 수 있습니다. 모델 카탈로그 페이지의 검색 창에서 mymodel과 같이 카탈로그에 없는 모델을 검색하면 모델 요청 단추가 반환됩니다. 이 단추를 선택하여 요청하는 모델에 대한 세부 정보를 공유할 수 있는 양식을 엽니다.
직접 모델 및 파트너 및 커뮤니티 모델 중에서 선택
Azure AI Foundry 모델에서 모델을 선택할 때 다음을 고려합니다.
- 사용 사례 및 요구 사항: Azure에서 직접 판매하는 모델은 심층적인 Azure 통합, 보장된 지원 및 엔터프라이즈 SLA가 필요한 시나리오에 이상적입니다. 파트너 및 커뮤니티의 모델은 특수한 사용 사례 및 혁신 주도 시나리오에서 탁월합니다.
- 지원 기대치: Azure에서 직접 판매되는 모델에는 강력한 Microsoft 제공 지원 및 유지 관리가 제공됩니다. 이러한 모델은 다양한 수준의 SLA 및 지원 구조를 사용하여 공급자가 지원합니다.
- 혁신 및 전문화: 파트너와 커뮤니티의 모델은 선도적인 연구 랩 및 신흥 AI 공급자가 종종 개발한 전문 혁신 및 틈새 기능에 빠르게 액세스할 수 있도록 합니다.
모델 카탈로그 기능 개요
Azure AI Foundry 포털의 모델 카탈로그는 생성 AI 애플리케이션을 빌드하기 위해 다양한 모델을 검색하고 사용하는 허브입니다. 모델 카탈로그는 Microsoft에서 학습한 모델을 포함하여 Azure OpenAI, Mistral, Meta, Cohere, NVIDIA 및 Hugging Face와 같은 모델 공급자에 걸쳐 수백 개의 모델을 제공합니다. Microsoft가 아닌 공급자의 모델은 Microsoft 제품 약관에 정의된 대로 Microsoft가 아닌 타사 제품이며 해당 모델과 함께 제공된 약관이 적용됩니다.
키워드 검색 및 필터를 통해 필요에 맞는 모델을 검색하고 검색할 수 있습니다. 모델 카탈로그는 또한 선택한 모델에 대한 모델 성능 순위표 및 벤치마크 메트릭을 제공합니다. 순위표 찾아보기 및 모델 비교를 선택하여 액세스할 수 있습니다. 벤치마크 데이터는 모델 카드 벤치마크 탭에서도 액세스할 수 있습니다.
모델 카탈로그 필터에서 다음을 찾을 수 있습니다.
- 컬렉션: 모델 공급자 컬렉션을 기반으로 모델을 필터링할 수 있습니다.
- 산업: 산업별 데이터 세트에 대해 학습된 모델을 필터링할 수 있습니다.
- 기능: 추론 및 도구 호출과 같은 고유한 모델 기능을 필터링할 수 있습니다.
- 배포 옵션: 특정 배포 옵션을 지원하는 모델을 필터링할 수 있습니다.
- 서버리스 API: 이 옵션을 사용하면 API 호출당 요금을 지불할 수 있습니다.
- 프로비저닝됨: 일관된 대용량의 실시간 처리에 가장 적합합니다.
- Batch: 대기 시간이 아닌 비용 최적화 일괄 처리 작업에 가장 적합합니다. 일괄 배포에 대한 플레이그라운드 지원은 제공되지 않습니다.
- 관리형 컴퓨팅: 이 옵션을 사용하면 Azure 가상 머신에 모델을 배포할 수 있습니다. 호스팅 및 추론에 대한 요금이 청구됩니다.
- 유추 작업: 유추 작업 유형에 따라 모델을 필터링할 수 있습니다.
- 미세 조정 작업: 미세 조정 작업 유형에 따라 모델을 필터링할 수 있습니다.
- 라이선스: 라이선스 유형에 따라 모델을 필터링할 수 있습니다.
모델 카드에서 다음을 찾을 수 있습니다.
- 요약 정보: 모델에 대한 주요 정보를 한눈에 볼 수 있습니다.
- 세부 정보: 이 페이지에는 설명, 버전 정보, 지원되는 데이터 형식 등 모델에 대한 자세한 정보가 포함되어 있습니다.
- 벤치마크: 일부 모델에 대한 성능 벤치마크 메트릭을 확인할 수 있습니다.
- 기존 배포: 이미 모델을 배포한 경우 기존 배포 탭에서 확인할 수 있습니다.
- 라이선스: 모델 라이선싱과 관련된 법적 정보를 확인할 수 있습니다.
- 아티팩트: 이 탭은 개방형 모델인 경우에만 표시됩니다. 모델 자산을 확인하고 사용자 인터페이스를 통해 다운로드할 수 있습니다.
모델 배포: 관리형 컴퓨팅 및 서버리스 API 배포
모델 카탈로그는 Azure OpenAI에 배포하는 것 외에도 사용할 모델을 배포하는 두 가지 방법, 즉 관리형 컴퓨팅 및 서버리스 API 배포를 제공합니다.
다음 표에 설명된 대로 각 모델에 사용할 수 있는 배포 옵션 및 기능은 다양합니다. 배포 옵션을 사용한 데이터 처리에 대해 자세히 알아봅니다.
모델 배포 옵션의 기능
| 기능 | 관리되는 컴퓨팅 | 서버리스 API 배포 |
|---|---|---|
| 배포 환경 및 청구 | 모델 가중치는 관리형 컴퓨팅이 있는 전용 가상 머신에 배포됩니다. 하나 이상의 배포가 가능한 관리형 컴퓨팅은 유추를 위한 REST API를 제공합니다. 배포에 사용된 가상 머신 코어 시간에 대한 요금이 청구됩니다. | 모델에 대한 액세스는 모델에 액세스하기 위한 API를 프로비전하는 배포를 통해 이루어집니다. API는 유추를 위해 Microsoft에서 호스트하고 관리하는 모델에 액세스할 수 있도록 합니다. API에 대한 입/출력 요금은 대개 토큰으로 청구됩니다. 가격 책정 정보는 배포하기 전에 제공됩니다. |
| API 인증 | 키 및 Microsoft Entra 인증. | 키 전용. |
| 콘텐츠 안전 | Azure AI 콘텐츠 보안 서비스 API를 사용합니다. | Azure AI 콘텐츠 보안 필터는 유추 API와 통합되어 제공됩니다. Azure AI 콘텐츠 보안 필터는 별도로 청구됩니다. |
| 네트워크 격리 | Azure AI 파운드리 허브에 대한 관리형 네트워크를 구성합니다. | 관리형 컴퓨팅은 허브의 PNA(공용 네트워크 액세스) 플래그 설정을 따릅니다. 자세한 내용은 이 문서의 뒷부분에 있는 서버리스 API 배포를 통해 배포된 모델에 대한 네트워크 격리 섹션을 참조하세요. |
지원되는 배포 옵션에 대해 사용 가능한 모델
Azure OpenAI 모델의 경우 Azure OpenAI를 참조하세요.
서버리스 API 배포 또는 Managed Compute에 지원되는 모델 목록을 보려면 Azure AI Foundry에서 모델 카탈로그의 홈페이지로 이동합니다. 배포 옵션 필터를 사용하여 서버리스 API 배포 또는 Managed Compute를 선택합니다.
모델 수명 주기: 사용 중단 및 사용 중지
AI 모델은 빠르게 진화하며, 동일한 모델 제품군에서 새 버전 또는 업데이트된 기능을 갖춘 새 모델을 사용할 수 있게 되면 AI 파운드리 모델 카탈로그에서 이전 모델의 사용이 중지될 수 있습니다. 최신 모델 버전으로 원활하게 전환할 수 있도록 일부 모델에서는 사용자에게 자동 업데이트를 사용하도록 설정하는 옵션을 제공합니다. 다양한 모델의 모델 수명 주기, 예정된 모델 사용 중지 날짜, 권장 교체 모델 및 버전에 대해 자세히 알아보려면 다음을 참조하세요.
관리되는 컴퓨팅
관리형 컴퓨팅으로 모델을 배포하는 기능은 Azure Machine Learning의 플랫폼 기능을 기반으로 빌드되어 LLM(대규모 언어 모델)의 전체 수명 주기에 걸쳐 모델 카탈로그의 광범위한 모델 컬렉션을 원활하게 통합할 수 있습니다.
관리형 컴퓨팅으로 배포할 수 있는 모델의 가용성
모델은 Azure Machine Learning 레지스트리를 통해 사용할 수 있습니다. 이러한 레지스트리를 사용하면 Azure Machine Learning 자산을 호스트 및 배포할 때 기계 학습 우선 방식을 적용할 수 있습니다. 이러한 자산에는 모델 가중치, 모델 실행을 위한 컨테이너 런타임, 모델 평가 및 미세 조정을 위한 파이프라인, 벤치마크 및 샘플에 대한 데이터 세트가 포함됩니다.
이 레지스트리는 다음과 같은 확장성이 뛰어난 엔터프라이즈급 인프라를 기반으로 빌드됩니다.
기본 제공 지역 복제를 통해 모든 Azure 지역에 짧은 대기 시간 액세스 모델 아티팩트를 제공합니다.
Azure Policy를 사용한 모델 액세스 제한과 관리되는 가상 네트워크를 사용한 보안 배포 같은 엔터프라이즈 보안 요구 사항을 지원합니다.
관리형 컴퓨팅을 사용하여 유추를 위한 모델 배포
관리형 컴퓨팅에 배포할 수 있는 모델은 실시간 유추를 위해 Azure Machine Learning 관리형 컴퓨팅에 배포할 수 있습니다. 관리형 컴퓨팅에 배포하려면 모델을 최적으로 실행하는 데 필요한 특정 제품에 대해 Azure 구독에 가상 머신 할당량이 있어야 합니다. 일부 모델에서는 모델 테스트를 위한 임시 공유 할당량에 배포할 수 있습니다.
모델 배포 방법에 대한 자세한 정보:
관리형 컴퓨팅을 사용하여 생성형 AI 앱 빌드
Azure Machine Learning의 프롬프트 흐름 기능은 프로토타입을 만드는 데 유용한 환경을 제공합니다. 개방형 모델 LLM 도구를 사용하면 프롬프트 흐름에서 관리형 컴퓨팅으로 배포된 모델을 사용할 수 있습니다. Azure Machine Learning 확장을 통해 LangChain과 같은 널리 사용되는 LLM 도구의 관리형 컴퓨팅에 의해 노출되는 REST API를 사용할 수도 있습니다.
관리형 컴퓨팅으로 배포된 모델의 콘텐츠 보안
Azure AI 콘텐츠 보안 서비스를 관리형 컴퓨팅과 함께 사용하여 성적 콘텐츠, 폭력, 증오, 자해 등 다양한 범주의 유해 콘텐츠를 차단할 수 있습니다. 이 서비스를 사용하여 탈옥 위험 감지 및 보호된 자료 텍스트 감지와 같은 고급 위협을 차단할 수도 있습니다.
Llama 2용 Azure AI 콘텐츠 보안과의 참조 통합에 대한 자세한 내용은 이 Notebook을 참조하면 됩니다. 또는 프롬프트 흐름에서 콘텐츠 안전(텍스트) 도구를 사용하여 모델에서 Azure AI 콘텐츠 안전으로 응답을 전달하여 차단할 수 있습니다. Azure AI 콘텐츠 보안 가격 책정에 설명된 대로 이러한 사용에 대해서는 별도로 요금이 청구됩니다.
서버리스 API 배포 청구
서버리스 API 청구를 사용하여 모델 카탈로그에 특정 모델을 배포할 수 있습니다. 서버리스 API 배포라고도 하는 이 배포 방법은 구독에서 모델을 호스팅하지 않고 모델을 API로 사용하는 방법을 제공합니다. 모델은 Microsoft가 관리하는 인프라에서 호스트되므로 모델 공급자의 모델에 API를 통해 액세스할 수 있게 해 줍니다. API 기반 액세스는 모델 액세스 비용을 대폭 줄이고 프로비전 환경을 간소화할 수 있습니다.
서버리스 API 배포로 배포할 수 있는 모델은 모델 공급자가 제공하지만 Microsoft 관리형 Azure 인프라에서 호스트되고 API를 통해 액세스됩니다. 모델 공급자는 사용 조건을 정의하고 모델 사용에 대한 가격을 설정합니다. Azure Machine Learning Service는 다음을 수행합니다.
- 호스팅 인프라를 관리합니다.
- 유추 API를 사용할 수 있도록 합니다.
- MaaS를 통해 배포된 모델에서 제출한 프롬프트 및 콘텐츠 출력에 대한 데이터 프로세서 역할을 합니다.
데이터 개인 정보 보호 관련 문서에서 MaaS의 데이터 처리에 대해 자세히 알아보세요.
비고
CSP(클라우드 솔루션 공급자) 구독에는 서버리스 API 배포 모델을 구매할 수 있는 기능이 없습니다.
결제
MaaS를 통해 배포된 모델에 대한 검색, 구독 및 사용량 환경은 Azure AI 파운드리 포털 및 Azure Machine Learning 스튜디오에 있습니다. 사용자는 모델 사용에 대한 사용 조건을 수락합니다. 사용량에 대한 가격 책정 정보는 배포 중에 제공됩니다.
Microsoft가 아닌 공급자의 모델은 Microsoft 상업용 Marketplace 사용 약관에 따라 Azure Marketplace를 통해 청구됩니다.
Microsoft의 모델은 Azure 미터를 통해 자사 사용량 서비스로 청구됩니다. 제품 약관에 설명된 대로 Azure 미터를 사용하여 자사 사용량 서비스를 구매하지만 Azure 서비스 약관이 적용되지는 않습니다. 이러한 모델의 사용에는 제공된 사용 조건이 적용됩니다.
모델 미세 조정
일부 모델은 미세 조정도 지원합니다. 이러한 모델의 경우 관리형 컴퓨팅(미리 보기) 또는 서버리스 API 배포를 미세 조정하여 제공하는 데이터를 사용하여 모델을 조정할 수 있습니다. 자세한 내용은 미세 조정 개요를 참조하세요.
RAG를 서버리스 API 배포 방식으로 모델을 배포하여 사용하기
Azure AI 파운드리 포털에서는 벡터 인덱스 및 RAG(검색 증강 생성)를 사용할 수 있습니다. 서버리스 API 배포를 통해 배포할 수 있는 모델을 사용하여 사용자 지정 데이터를 기반으로 포함 및 추론을 생성할 수 있습니다. 그런 다음 이러한 포함 및 유추는 사용 사례와 관련된 답변을 생성할 수 있습니다. 자세한 내용은 Azure AI 파운드리 포털에서 벡터 인덱스 작성 및 사용을 참조하세요.
제품 및 모델의 지역적 가용성
토큰당 지불 청구는 Azure 구독이 모델 공급자가 제품을 제공한 국가/지역의 청구 계정에 속한 사용자에게만 제공됩니다. 관련 지역에서 제품을 사용할 수 있는 경우 사용자는 해당 모델을 배포하거나 미세 조정할 수 있는 Azure 지역에 프로젝트 리소스가 있어야 합니다. 서버리스 API 배포의 모델에 대한 지역 가용성 참조 | 자세한 내용은 Azure AI Foundry입니다.
서버리스 API 배포를 통해 배포된 모델의 콘텐츠 안전성
서버리스 API를 통해 배포된 언어 모델의 경우 Azure AI는 증오, 자해, 성적 및 폭력적인 콘텐츠와 같은 유해한 콘텐츠를 감지하는 Azure AI 콘텐츠 안전 텍스트 조정 필터의 기본 구성을 구현합니다. 콘텐츠 필터링에 대한 자세한 내용은 Azure에서 직접 판매하는 모델에 대한 Guardrails 및 컨트롤을 참조하세요.
팁 (조언)
서버리스 API를 통해 배포되는 특정 모델 형식에는 콘텐츠 필터링을 사용할 수 없습니다. 이러한 모델 유형에는 포함 모델 및 시계열 모델이 포함됩니다.
콘텐츠 필터링은 서비스가 콘텐츠를 생성하라는 메시지를 처리할 때 동기적으로 발생합니다. 이러한 사용에 대해서는 Azure AI 콘텐츠 보안 가격 책정에 따라 별도로 요금이 청구될 수 있습니다. 개별 서버리스 엔드포인트에 대해 콘텐츠 필터링을 사용하지 않도록 설정할 수 있습니다.
- 언어 모델을 처음 배포할 때
- 나중에 배포 세부 정보 페이지에서 콘텐츠 필터링 토글을 선택하여
모델 유추 API 이외의 API를 사용하여 서버리스 API를 통해 배포된 모델을 사용한다고 가정합니다. 이러한 상황에서는 Azure AI Content Safety를 사용하여 별도로 구현하지 않는 한 콘텐츠 필터링이 활성화되지 않습니다.
Azure AI 콘텐츠 보안을 시작하려면 빠른 시작: 텍스트 콘텐츠 분석을 참조하세요. 서버리스 API를 통해 배포된 모델을 사용할 때 콘텐츠 필터링을 사용하지 않는 경우 사용자에게 유해한 콘텐츠가 노출될 위험이 더 높습니다.
서버리스 API 배포를 통해 배포된 모델에 대한 네트워크 격리
서버리스 API 배포로 배포된 모델의 엔드포인트는 배포가 있는 프로젝트가 있는 Azure AI Foundry 허브의 공용 네트워크 액세스 플래그 설정을 따릅니다. 서버리스 API 배포를 보호하려면 Azure AI Foundry 허브에서 공용 네트워크 액세스 플래그를 사용하지 않도록 설정합니다. 허브에 프라이빗 엔드포인트를 사용하여 클라이언트에서 엔드포인트로의 인바운드 통신을 보호할 수 있습니다.
Azure AI 파운드리 허브에 공용 네트워크 액세스 플래그를 설정하려면 다음을 수행합니다.
- Azure Portal로 이동합니다.
- 허브가 속한 리소스 그룹을 검색하고 이 리소스 그룹에 나열된 리소스에서 Azure AI 파운드리 허브를 선택합니다.
- 허브 개요 페이지에서 왼쪽 창에서 설정>네트워킹으로 이동합니다.
- 공용 액세스 탭에서 공용 네트워크 액세스 플래그에 대한 설정을 구성할 수 있습니다.
- 변경 내용을 저장합니다. 변경 내용을 전파하는 데 최대 5분이 걸릴 수 있습니다.
제한점
2024년 7월 11일 이전에 만들어진 프라이빗 엔드포인트가 있는 Azure AI Foundry 허브가 있는 경우 이 허브의 프로젝트에 추가된 서버리스 API 배포는 허브의 네트워킹 구성을 따르지 않습니다. 대신 새 배포가 허브의 네트워킹 구성을 따를 수 있도록 허브에 대한 새 프라이빗 엔드포인트를 만들고 프로젝트에 서버리스 API 배포를 새로 만들어야 합니다.
2024년 7월 11일 이전에 MaaS 배포를 만든 Azure AI 파운드리 허브가 있고 이 허브에서 프라이빗 엔드포인트를 사용하도록 설정하는 경우 기존 서버리스 API 배포는 허브의 네트워킹 구성을 따르지 않습니다. 허브의 서버리스 API 배포가 허브의 네트워킹 구성을 따르려면 배포를 다시 만들어야 합니다.
프라이빗 허브에는 공용 네트워크 액세스 플래그가 사용하지 않도록 설정되어 있으므로 프라이빗 허브의 서버리스 API 배포에는 Azure OpenAI On Your Data 지원을 사용할 수 없습니다.
네트워크 구성 변경(예: 공용 네트워크 액세스 플래그를 사용하거나 사용하지 않도록 설정)은 전파하는 데 최대 5분이 걸릴 수 있습니다.