모델 카탈로그 및 컬렉션

  • 아티클

Azure Machine Learning 스튜디오의 모델 카탈로그는 다양한 타사 오픈 소스뿐만 아니라 다양한 언어, 음성 및 비전 사용 사례에 대해 미리 학습된 Microsoft 개발 기본 모델의 허브입니다. 엔터프라이즈급 보안 및 데이터 거버넌스를 통해 이러한 미리 학습된 모델을 애플리케이션에 쉽게 통합하기 위해 대규모 오픈 소스 기본 모델을 빌드 및 운영하는 네이티브 기능을 사용하여 이러한 모델을 평가, 사용자 지정 및 배포할 수 있습니다.

  • 검색: 모델 설명을 검토하고, 샘플 유추를 시도하고, 코드 샘플을 찾아 모델을 평가, 미세 조정 또는 배포합니다.
  • 평가: 자체 테스트 데이터를 제공하여 모델이 특정 워크로드에 적합한지 평가합니다. 평가 메트릭을 사용하면 선택한 모델이 시나리오에서 얼마나 잘 수행되었는지 쉽게 시각화할 수 있습니다.
  • 미세 조정: 고유의 학습 데이터를 사용하여 이러한 모델을 사용자 지정합니다. 미세 조정 속도를 높이고 미세 조정에 필요한 메모리 및 컴퓨팅을 줄이는 기본 제공 최적화입니다. Azure Machine Learning의 실험 및 추적 기능을 적용하여 학습 작업을 구성하고 요구 사항에 가장 적합한 모델을 찾습니다.
  • 배포: 실시간 유추를 위한 온라인 엔드포인트 또는 작업 모드에서 대규모 유추 데이터 세트를 처리하기 위한 일괄 처리 엔드포인트에 미리 학습된 기초 모델 또는 미세 조정된 모델을 원활하게 배포합니다. Azure Machine Learning에서 업계 최고의 Machine Learning 운영화 기능을 적용합니다.
  • 가져오기: 오픈 소스 모델이 자주 릴리스됩니다. 카탈로그의 모델과 유사한 모델을 가져와서 Azure Machine Learning에서 언제든지 최신 모델을 사용할 수 있습니다. 예를 들어, 동일한 라이브러리를 사용하는 지원되는 작업에 대한 모델을 가져올 수 있습니다.

먼저 모델 컬렉션을 탐색하거나 작업 및 라이선스를 기준으로 필터링하여 사용 사례에 맞는 모델을 찾습니다. Task는 기초 모델을 사용할 수 있는 유추 작업을 호출합니다. Finetuning-tasks 이 모델을 미세 조정할 수 있는 작업을 나열합니다. License는 라이선스 정보를 호출합니다.

컬렉션

모델 카탈로그에는 세 가지 형식의 컬렉션이 있습니다.

Azure AI로 큐레이팅된 오픈 소스 모델: Azure Machine Learning으로 큐레이팅된 가장 자주 사용되는 오픈 소스 타사 모델입니다. 이러한 모델은 기본 제공할 수 있도록 패키지되어 있으며 Azure Machine Learning에 사용하도록 최적화되어 Azure 하드웨어에서 최첨단 성능과 처리량을 제공합니다. 분산 학습에 대한 네이티브 지원을 제공하며 Azure 하드웨어 전체에 쉽게 이식할 수 있습니다.

'Azure AI에서 큐레이팅' 및 Meta, NVIDIA, Mistral AI와 같은 파트너의 컬렉션은 모두 카탈로그에서 큐레이팅된 컬렉션입니다.

Azure에서만 사용할 수 있는 Azure OpenAI 모델: 모델 카탈로그의 'Azure Open AI' 컬렉션을 통해 Azure OpenAI 모델을 배포합니다.

HuggingFace 허브의 Transformers 모델: HuggingFace 허브의 수천 개 모델은 온라인 엔드포인트와의 실시간 유추를 위해 'Hugging Face' 컬렉션을 통해 액세스할 수 있습니다.

Important

모델 카탈로그의 모델에는 타사 라이선스가 적용됩니다. 사용하려는 모델의 라이선스를 이해하고 라이선스가 사용 사례를 허용하는지 확인합니다. 모델 카탈로그의 일부 모델은 현재 미리 보기 상태입니다. 다음 설명 중 하나 이상이 모델에 적용되는 경우 모델은 미리 보기 상태입니다.
격리된 네트워크 내에서는 모델을 사용할 수 없습니다(배포, 미세 조정 및 평가 가능).
모델 패키지 및 유추 스키마는 최신 버전의 모델에 따라 변경될 수 있습니다. 미리 보기에 대한 자세한 내용은 Microsoft Azure 미리 보기에 대한 추가 사용 약관을 참조하세요.

컬렉션별 모델 기능 비교

기능 Azure Machine Learning으로 큐레이팅된 오픈 소스 모델 HuggingFace 허브의 변환기 모델
유추 온라인 및 일괄 처리 유추 온라인 추론
평가 및 미세 조정 UI, SDK 또는 CLI를 사용하여 평가 및 미세 조정 사용할 수 없음
모델 가져오기 SDK 또는 CLI를 사용하여 모델 가져오기에 대한 제한적인 지원 사용할 수 없음

컬렉션의 특성 비교

Attribute Azure Machine Learning으로 큐레이팅된 오픈 소스 모델 HuggingFace 허브의 변환기 모델
모델 형식 온라인 및 일괄 처리 엔드포인트를 통한 원활한 코드 없는 배포를 위해 MLFlow 또는 Triton 모델 형식으로 큐레이팅됨 변환기
모델 호스팅 Azure에서 호스트되는 모델 가중치 HuggingFace 허브에서 배포하는 동안 요청 시 모델 가중치를 가져옵니다.
네트워크로 격리된 작업 영역에서 사용 모델을 사용하기 위한 기본 제공 아웃바운드 기능입니다. 일부 모델에서는 런타임 시 패키지를 설치하기 위해 퍼블릭 도메인으로의 아웃바운드가 필요합니다. HuggingFace 허브, Docker 허브 및 해당 CDN에 대한 아웃바운드 허용
지원 Microsoft에서 지원하고 Azure Machine Learning SLA가 적용됩니다. Hugging Face는 HuggingFace 커뮤니티 레지스트리에 나열된 모델을 만들고 유지 관리합니다. 도움이 필요하면 HuggingFace 포럼 또는 HuggingFace 지원을 사용합니다.

자세한 정보