다음을 통해 공유

개요: Azure AI 스튜디오를 사용하여 모델, 흐름, 웹앱 배포

  • 아티클

Important

이 문서에 설명된 기능 중 일부는 미리 보기로만 제공될 수 있습니다. 이 미리 보기는 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다. 자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.

Azure AI 스튜디오는 LLM(대규모 언어 모델), 흐름, 웹앱 배포를 지원합니다. LLM 또는 흐름을 배포하면 웹 사이트, 애플리케이션 또는 기타 프로덕션 환경에서 LLM 또는 흐름을 사용할 수 있습니다. 일반적으로 여기에는 서버 또는 클라우드에서 모델을 호스트하고 사용자가 모델과 상호 작용할 수 있도록 API 또는 기타 인터페이스를 만드는 작업이 포함됩니다.

"유추"라고 하는 모델과의 상호 작용에 대해 자주 듣게 됩니다. 유추는 새로운 입력 데이터를 모델에 적용하여 출력을 생성하는 프로세스입니다. 유추는 다양한 애플리케이션에서 사용할 수 있습니다. 예를 들어 채팅 완성 모델을 사용하여 사람이 실시간으로 입력하는 단어 또는 구를 자동으로 완성할 수 있습니다. 채팅 모델을 사용하여 "시애틀 하루 방문 여행 일정을 만들 수 있어?"에 대한 대답을 생성할 수 있습니다. 가능성은 무한합니다.

모델 배포

먼저 다음과 같이 물어볼 수 있습니다.

  • "어떤 모델을 배포할 수 있지?" Azure AI 스튜디오는 Microsoft, Hugging Face, Meta에서 큐레이팅한 가장 인기 있는 대규모 언어 및 비전 기반 모델 일부의 배포를 지원합니다.
  • “올바른 모델을 어떻게 선택할까?” Azure AI 스튜디오는 사용 사례에 따라 모델을 검색하고 필터링할 수 있는 모델 카탈로그를 제공합니다. 프로젝트에 배포하기 전에 샘플 플레이그라운드에서 모델을 테스트할 수도 있습니다.
  • "Azure AI 스튜디오의 어디에서 모델을 배포할 수 있을까?" 모델 카탈로그 또는 프로젝트의 배포 페이지에서 모델을 배포할 수 있습니다.

Azure AI 스튜디오는 배포를 간소화합니다. 간단한 선택 또는 코드 한 줄로 모델을 배포하고 애플리케이션이 사용할 API 엔드포인트를 생성할 수 있습니다.

Azure OpenAI 모델

Azure OpenAI를 사용하면 Azure의 엔터프라이즈 기능을 사용하여 최신 OpenAI 모델에 액세스할 수 있습니다. AI 스튜디오에서 OpenAI 모델을 배포하는 방법에 대해 자세히 알아봅니다.

모델 열기

모델 카탈로그는 다양한 형식의 다양한 모델에 대한 액세스를 제공합니다. 모델 카탈로그의 특정 모델은 종량제 서비스로 배포할 수 있으므로 구독에서 호스트하지 않고 API로 사용하는 방법을 제공하면서 조직에 필요한 엔터프라이즈 보안 및 규정 준수를 유지할 수 있습니다.

Maas(Model as a Service)를 사용하여 모델 배포

이 배포 옵션에는 구독으로부터의 할당량이 필요하지 않습니다. 서버리스 API 배포로 배포하고 종량제 방식으로 토큰당 요금이 청구됩니다. 모델을 서비스로 사용하여 Llama 2 모델 패밀리를 배포하고 사용하는 방법을 알아봅니다.

호스트된 관리형 인프라를 사용하여 모델 배포

또한 용량 관리를 위해 관리형 인프라, 가상 머신, 인스턴스 수를 사용하여 자체 구독에서 열린 모델을 호스트할 수도 있습니다. 현재 Azure AI, HuggingFace, Nvidia의 다양한 모델을 제공하고 있습니다. 실시간 엔드포인트에 열린 모델을 배포하는 방법에 대해 자세히 알아봅니다.

Azure AI 스튜디오에서 LLM 배포 및 유추에 대한 청구

다음 표에서는 Azure AI 스튜디오에서 LLM 배포 및 유추에 대한 요금이 청구되는 방법을 설명합니다. 비용을 추적하는 방법에 대한 자세한 내용은 Azure Marketplace 전체에서 제공되는 모델의 모니터링 비용을 참조하세요.

사용 사례 Azure OpenAI 모델 서버리스 API로 배포되는 모델(종량제) 관리형 컴퓨팅으로 배포되는 모델
모델 카탈로그에서 프로젝트로 모델 배포 아니요, Azure OpenAI 모델을 프로젝트에 배포하면 요금이 청구되지 않습니다. 예, 엔드포인트의 인프라에 따라 요금이 청구됩니다1. 예, 모델을 호스트하는 인프라에 대해 요금이 청구됩니다2.
프로젝트에 모델을 배포한 후 플레이그라운드에서 채팅 모드 테스트 예, 토큰 사용량에 따라 요금이 청구됩니다. 예, 토큰 사용량에 따라 요금이 청구됩니다. 없음.
모델 카탈로그의 샘플 플레이그라운드에서 모델 테스트(해당하는 경우) 해당 없음 없음. 없음.
프로젝트 아래(해당하는 경우) 플레이그라운드 또는 프로젝트 아래의 배포 세부 정보 페이지의 테스트 탭에서 모델 테스트. 예, 토큰 사용량에 따라 요금이 청구됩니다. 예, 토큰 사용량에 따라 요금이 청구됩니다. 없음.

1 최소 엔드포인트 인프라는 분당 요금이 청구됩니다. 종량제로 모델 자체를 호스트하는 인프라에 대해서는 요금이 청구되지 않습니다. 엔드포인트가 삭제된 후에는 추가 요금이 부과되지 않습니다.

2 청구는 만든 시점 이후 배포에 사용된 인스턴스 수 및 SKU에 따라 분 단위로 이루어집니다. 엔드포인트가 삭제된 후에는 추가 요금이 부과되지 않습니다.

흐름 배포

흐름이란 무엇이며 배포하려는 이유는 무엇인가요? 흐름은 생성 AI 애플리케이션을 빌드하는 데 사용할 수 있는 도구의 시퀀스입니다. 흐름 배포는 자체 데이터 및 기타 구성 요소(예: 포함, 벡터 DB 조회, 사용자 지정 연결)를 사용하여 흐름을 사용자 지정할 수 있다는 점에서 모델 배포와 다릅니다. 방법 가이드는 Azure AI 스튜디오를 사용하여 흐름 배포를 참조하세요.

예를 들어 데이터를 사용하여 사용자 쿼리에 대한 정보와 근거 있는 응답을 생성하는 챗봇을 빌드할 수 있습니다. 플레이그라운드에 데이터를 추가하면 프롬프트 흐름이 자동으로 생성됩니다. 흐름을 있는 그대로 배포하거나 자체 데이터 및 기타 구성 요소를 사용하여 추가로 사용자 지정할 수 있습니다. Azure AI 스튜디오에서 처음부터 자체 흐름을 만들 수도 있습니다.

Azure AI 스튜디오에서 흐름을 만드는 어떤 방법을 선택하든 신속하게 배포하고 애플리케이션이 사용할 API 엔드포인트를 생성할 수 있습니다.

웹앱 배포

배포하는 모델 또는 흐름은 Azure에서 호스트되는 웹 애플리케이션에서 사용할 수 있습니다. Azure AI 스튜디오는 웹앱을 배포하는 빠른 방법을 제공합니다. 자세한 내용은 Azure AI Enterprise 채팅 자습서를 참조하세요.

배포된 모델의 AI 안전 계획

GPT-4와 같은 Azure OpenAI 모델의 경우 Azure AI 스튜디오는 배포 중에 AI 안전 필터를 제공하여 책임감 있는 AI 사용을 보장합니다. AI 콘텐츠 안전 필터를 사용하면 유해하고 민감한 콘텐츠를 조정하여 AI 강화 애플리케이션의 안전을 증진할 수 있습니다. Azure AI 스튜디오는 AI 안전 필터 외에도 배포된 모델에 대한 모델 모니터링을 제공합니다. LLM에 대한 모델 모니터링은 최신 GPT 언어 모델을 사용하여 설정된 생성 안전 및 품질 임계값에 비추어 모델의 출력이 제대로 수행되지 않는 경우 모니터링하고 경고합니다. 예를 들어 모델의 생성된 답변이 입력 원본의 정보와 얼마나 잘 일치하는지("groundedness") 평가하고 ground truth 문장 또는 문서("유사도")와 밀접하게 일치하도록 모니터를 구성할 수 있습니다.

배포된 모델의 성능 최적화

LLM을 최적화하려면 운영 메트릭(예: 대기 시간), 품질 메트릭(예: 정확도), 비용을 비롯한 여러 요인을 신중하게 고려해야 합니다. 숙련된 데이터 과학자 및 엔지니어와 협력하여 모델이 특정 사용 사례에 맞게 최적화되도록 하는 것이 중요합니다.

다음 단계