다음을 통해 공유

Mosaic AI 모델 서비스에서 지원되는 기본 모델

이 문서에서는 Mosaic AI 모델 서비스를 사용하여 제공할 수 있는 기본 모델을 설명합니다.

기초 모델은 대규모 및 광범위한 데이터 모두에서 학습된 대규모 미리 학습된 신경망입니다. 이러한 모델은 언어, 이미지 또는 기타 데이터 형식의 일반적인 패턴을 학습하도록 설계되었으며 추가 학습을 통해 특정 작업에 대해 미세 조정할 수 있습니다. 특정 기본 모델의 사용은 모델 개발자의 라이선스 및 허용 가능한 사용 정책의 적용을 받습니다. 적용 가능한 모델 개발자 라이선스 및 약관을 참조하세요.

Model Serving는 필요에 따라 기본 모델을 호스팅하고 쿼리하기 위한 유연한 옵션을 제공합니다.

  • AI 함수 최적화 모델: Databricks 호스팅 모델의 하위 집합은 AI Functions에 최적화되어 있습니다. 이러한 함수 및 지원되는 모델을 사용하여 데이터에 AI를 적용하고 일괄 처리 유추 프로덕션 워크로드를 대규모로 실행할 수 있습니다.
  • 토큰당 지불: 실험 및 빠른 탐색에 적합합니다. 이 옵션을 사용하면 선행 인프라 약정 없이 Databricks 작업 영역에서 미리 구성된 엔드포인트를 쿼리할 수 있습니다.
  • 프로비전된 처리량: 성능 보장이 필요한 프로덕션 사용 사례에 권장됩니다. 이 옵션을 사용하면 최적화된 서비스 엔드포인트를 사용하여 미세 조정된 기본 모델을 배포할 수 있습니다.
  • 외부 모델: 이 옵션을 사용하면 OpenAI 또는 Anthropic에서 제공하는 모델과 같이 Databricks 외부에서 호스트되는 기본 모델에 액세스할 수 있습니다. 이러한 모델은 간소화된 거버넌스를 위해 Databricks 내에서 중앙에서 관리할 수 있습니다.

Databricks에서 호스트되는 기본 모델

Databricks는 메타 라마와 같은 최신 오픈 파운데이션 모델을 호스트합니다. 이러한 모델은 Foundation Model API사용하여 사용할 수 있습니다.

다음 표에는 모델 서비스 기능을 기반으로 각 지역에서 지원되는 Databricks 호스팅 모델 및 모델 패밀리가 요약되어 있습니다.

중요하다

  • 메타 라마 4 매버릭은 퍼블릭 미리 보기에서 프로비전된 처리량 워크로드에 대해 파운데이션 모델 API에 사용할 수 있습니다.

  • 2024년 12월 11일부터 Meta-Llama-3.3-70B-Instruct는 Foundation Model API의 토큰당 요금제 엔드포인트에서 Meta-Llama-3.1-70B-Instruct에 대한 지원을 대체합니다.

  • Meta-Llama-3.1-405B-Instruct는 AzureML 모델 카탈로그를 사용하여 Meta에서 빌드 및 학습하고 Azure Machine Learning에서 배포하는 가장 큰 공개적으로 사용 가능한 최신 대형 언어 모델입니다.

  • 이제 다음 모델이 사용 중지됩니다. 사용 중지된 모델을 참고하여 추천 대체 모델을 확인하세요.

    • Mixtral-8x7B 명령어
    • DBRX
    • Llama 2 70B 챗봇
    • MPT 7B 인스트럭트
    • MPT 30B 설명서
지역 AI 기능이 최적화한 모델 파운데이션 모델 API 토큰당 종량제 파운데이션 모델 API 프로비전된 처리량
australiacentral 지원되지 않음 지원되지 않음 지원되지 않음
australiacentral2 지원되지 않음 지원되지 않음 지원되지 않음
australiaeast 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭 (미리 보기)*
  • 메타 라마 3.3
  • 메타 라마 3.2 3B
  • 메타 라마 3.2 1B
  • 메타 라마 3.1
  • GTE v1.5(영어)
  • BGE v1.5(영어)
  • DeepSeek R1(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
australiasoutheast 지원되지 않음 지원되지 않음 지원되지 않음
brazilsouth 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭* (미리 보기)
  • 메타 라마 3.3*
  • 메타 라마 3.2 3B*
  • 메타 라마 3.2 1B*
  • 메타 라마 3.1*
  • GTE v1.5(영어)*
  • BGE v1.5(영어)*
  • DeepSeek R1(Unity 카탈로그에서는 사용할 수 없음)*

지원되는 레거시 모델 제품군:
  • 메타 라마 3*
  • 메타 라마 2*
  • DBRX*
  • 미스트랄*
  • Mixtral*
  • MPT*
canadacentral 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭* (미리 보기)
  • 메타 라마 3.3*
  • 메타 라마 3.2 3B*
  • 메타 라마 3.2 1B*
  • 메타 라마 3.1*
  • GTE v1.5(영어)*
  • BGE v1.5(영어)*
  • DeepSeek R1(Unity 카탈로그에서는 사용할 수 없음)*

지원되는 레거시 모델 제품군:
  • 메타 라마 3*
  • 메타 라마 2*
  • DBRX*
  • 미스트랄*
  • Mixtral*
  • MPT*
canadaeast 지원되지 않음 지원되지 않음 지원되지 않음
centralindia 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭* (미리 보기)
  • 메타 라마 3.3*
  • 메타 라마 3.2 3B*
  • 메타 라마 3.2 1B*
  • 메타 라마 3.1*
  • GTE v1.5(영어)*
  • BGE v1.5(영어)*
  • DeepSeek R1(Unity 카탈로그에서는 사용할 수 없음)*

지원되는 레거시 모델 제품군:
  • 메타 라마 3*
  • 메타 라마 2*
  • DBRX*
  • 미스트랄*
  • Mixtral*
  • MPT*
centralus 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭 (미리 보기)
  • 메타 라마 3.3
  • 메타 라마 3.2 3B
  • 메타 라마 3.2 1B
  • 메타 라마 3.1
  • GTE v1.5(영어)
  • BGE v1.5(영어)
  • DeepSeek R1(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
chinaeast2 지원되지 않음 지원되지 않음 지원되지 않음
chinaeast3 지원되지 않음 지원되지 않음 지원되지 않음
chinanorth2 지원되지 않음 지원되지 않음 지원되지 않음
chinanorth3 지원되지 않음 지원되지 않음 지원되지 않음
eastasia 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭* (미리 보기)
  • 메타 라마 3.3*
  • 메타 라마 3.2 3B*
  • 메타 라마 3.2 1B*
  • 메타 라마 3.1*
  • GTE v1.5(영어)*
  • BGE v1.5(영어)*
  • DeepSeek R1(Unity 카탈로그에서는 사용할 수 없음)*

지원되는 레거시 모델 제품군:
  • 메타 라마 3*
  • 메타 라마 2*
  • DBRX*
  • 미스트랄*
  • Mixtral*
  • MPT*
eastus 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭 (미리 보기)
  • 메타 라마 3.3
  • 메타 라마 3.2 3B
  • 메타 라마 3.2 1B
  • 메타 라마 3.1
  • GTE v1.5(영어)
  • BGE v1.5(영어)
  • DeepSeek R1(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
eastus2 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭 (미리 보기)
  • 메타 라마 3.3
  • 메타 라마 3.2 3B
  • 메타 라마 3.2 1B
  • 메타 라마 3.1
  • GTE v1.5(영어)
  • BGE v1.5(영어)
  • DeepSeek R1(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
francecentral 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭 (미리 보기)
  • 메타 라마 3.3
  • 메타 라마 3.2 3B
  • 메타 라마 3.2 1B
  • 메타 라마 3.1
  • GTE v1.5(영어)
  • BGE v1.5(영어)
  • DeepSeek R1(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
germanywestcentral 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭 (미리 보기)
  • 메타 라마 3.3
  • 메타 라마 3.2 3B
  • 메타 라마 3.2 1B
  • 메타 라마 3.1
  • GTE v1.5(영어)
  • BGE v1.5(영어)
  • DeepSeek R1(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
japaneast 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭* (미리 보기)
  • 메타 라마 3.3*
  • 메타 라마 3.2 3B*
  • 메타 라마 3.2 1B*
  • 메타 라마 3.1*
  • GTE v1.5(영어)*
  • BGE v1.5(영어)*
  • DeepSeek R1*(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3*
  • 메타 라마 2*
  • DBRX*
  • 미스트랄*
  • Mixtral*
  • MPT*
japanwest 지원되지 않음 지원되지 않음 지원되지 않음
koreacentral 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭*
  • 메타 라마 3.3*
  • 메타 라마 3.2 3B*
  • 메타 라마 3.2 1B*
  • 메타 라마 3.1*
  • DeepSeek R1*(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3*
  • 메타 라마 2*
  • DBRX*
  • 미스트랄*
  • Mixtral*
  • MPT*
mexicocentral 지원되지 않음 지원되지 않음 지원되지 않음
northcentralus 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭 (미리 보기)
  • 메타 라마 3.3
  • 메타 라마 3.2 3B
  • 메타 라마 3.2 1B
  • 메타 라마 3.1
  • GTE v1.5(영어)
  • BGE v1.5(영어)
  • DeepSeek R1(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
northeurope 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭 (미리 보기)
  • 메타 라마 3.3
  • 메타 라마 3.2 3B
  • 메타 라마 3.2 1B
  • 메타 라마 3.1
  • GTE v1.5(영어)
  • BGE v1.5(영어)
  • DeepSeek R1

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
norwayeast 지원되지 않음 지원되지 않음 지원되지 않음
qatarcentral 지원되지 않음 지원되지 않음 지원되지 않음
southafricanorth 지원되지 않음 지원되지 않음 지원되지 않음
southcentralus 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭 (미리 보기)
  • 메타 라마 3.3
  • 메타 라마 3.2 3B
  • 메타 라마 3.2 1B
  • 메타 라마 3.1
  • GTE v1.5(영어)
  • BGE v1.5(영어)
  • DeepSeek R1

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
southeastasia 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭* (미리 보기)
  • 메타 라마 3.3*
  • 메타 라마 3.2 3B*
  • 메타 라마 3.2 1B*
  • 메타 라마 3.1*
  • GTE v1.5(영어)*
  • BGE v1.5(영어)*
  • DeepSeek R1(Unity 카탈로그의 system.ai 사용할 수 없음)*

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
southindia 지원되지 않음 지원되지 않음 지원되지 않음
swedencentral 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭 (미리 보기)
  • 메타 라마 3.3
  • 메타 라마 3.2 3B
  • 메타 라마 3.2 1B
  • 메타 라마 3.1
  • GTE v1.5(영어)
  • BGE v1.5(영어)
  • DeepSeek R1(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
switzerlandnorth 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭 (미리 보기)
  • 메타 라마 3.3
  • 메타 라마 3.2 3B
  • 메타 라마 3.2 1B
  • 메타 라마 3.1
  • GTE v1.5(영어)
  • BGE v1.5(영어)
  • DeepSeek R1(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
switzerlandwest 지원되지 않음 지원되지 않음 지원되지 않음
uaenorth 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭* (미리 보기)
  • 메타 라마 3.3*
  • 메타 라마 3.2 3B*
  • 메타 라마 3.2 1B*
  • 메타 라마 3.1*
  • GTE v1.5(영어)*
  • BGE v1.5(영어)*
  • DeepSeek R1*(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3*
  • 메타 라마 2*
  • DBRX*
  • 미스트랄*
  • Mixtral*
  • MPT*
uksouth 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭* (미리 보기)
  • 메타 라마 3.3*
  • 메타 라마 3.2 3B*
  • 메타 라마 3.2 1B*
  • 메타 라마 3.1*
  • GTE v1.5(영어)*
  • BGE v1.5(영어)*
  • DeepSeek R1*(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3*
  • 메타 라마 2*
  • DBRX*
  • 미스트랄*
  • Mixtral*
  • MPT*
ukwest 지원되지 않음 지원되지 않음 지원되지 않음
westcentralus 지원되지 않음 지원되지 않음 지원되지 않음
westeurope 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭 (미리 보기)
  • 메타 라마 3.3
  • 메타 라마 3.2 3B
  • 메타 라마 3.2 1B
  • 메타 라마 3.1
  • GTE v1.5(영어)
  • BGE v1.5(영어)
  • DeepSeek R1(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
westindia 지원되지 않음 지원되지 않음 지원되지 않음
westus 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭 (미리 보기)
  • 메타 라마 3.3
  • 메타 라마 3.2 3B
  • 메타 라마 3.2 1B
  • 메타 라마 3.1
  • GTE v1.5(영어)
  • BGE v1.5(영어)
  • DeepSeek R1(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
westus2 지원되는 모델은 다음과 같습니다.
 지원되는 모델은 다음과 같습니다.
 지원되는 모델 패밀리는 다음과 같습니다.
  • 메타 라마 4 매버릭 (미리 보기)
  • 메타 라마 3.3
  • 메타 라마 3.2 3B
  • 메타 라마 3.2 1B
  • 메타 라마 3.1
  • GTE v1.5(영어)
  • BGE v1.5(영어)
  • DeepSeek R1(Unity 카탈로그에서 사용할 수 없음)

지원되는 레거시 모델 제품군:
  • 메타 라마 3
  • 메타 라마 2
  • DBRX
  • 미스트랄
  • 믹스트랄
  • MPT (엠피티)
westus3 지원되지 않음 지원되지 않음 지원되지 않음

* 이 모델은 GPU 가용성에 따라 지원되며 지역 간 라우팅을 사용하도록 설정해야 합니다.

Databricks 외부에서 호스트되는 Access 기본 모델

OpenAI 및 Anthropic과 같은 LLM 공급자가 만든 기본 모델은 외부 모델을 사용하여 Databricks에서도 액세스할 수 있습니다. 이러한 모델은 Databricks 외부에서 호스트되며 쿼리할 엔드포인트를 만들 수 있습니다. 이러한 엔드포인트는 조직 내의 다양한 LLM 공급자의 사용 및 관리를 간소화하는 Azure Databricks에서 중앙에서 제어할 수 있습니다.

다음 표에는 지원되는 모델과 해당 엔드포인트 유형의 전체가 아닌 목록이 나와 있습니다. 나열된 모델 연결을 사용하여 지정된 공급자가 새로 릴리스한 모델 형식을 사용할 수 있게 되면 이를 위한 엔드포인트를 구성할 수 있습니다. 고객은 해당 모델 라이선스를 준수할 책임이 있습니다.

메모

LLM의 급속한 개발로 이 목록이 항상 최신 상태라는 보장은 없습니다. 동일한 공급자의 새 모델 버전은 일반적으로 목록에 없는 경우에도 지원됩니다.

모델 공급자 llm/v1/completions (완성 기능) llm/버전1/채팅 llm/v1/embeddings
OpenAI**
  • 지피티(GPT)-3.5-터보-인스트럭트
  • babbage-002
  • davinci-002
  • o1
  • o1-mini
  • o1-mini-2024-09-12
  • gpt-3.5 터보
  • gpt-4
  • gpt-4-turbo
  • gpt-4-turbo-2024-04
  • gpt-4o
  • gpt-4o-2024-05-13
  • GPT-4o-미니
  • 텍스트-임베딩-아다-002
  • 텍스트-임베딩-3-라지
  • 텍스트 임베딩 3 스몰
Azure OpenAI**
  • text-davinci-003
  • gpt-35-터보-지시
  • o1
  • o1-mini
  • gpt-35-turbo
  • gpt-35-turbo-16k
  • gpt-4
  • gpt-4-turbo
  • gpt-4-32k
  • gpt-4o
  • GPT-4o-미니
  • 텍스트-임베딩-아다-002
  • 텍스트-임베딩-3-라지
  • 텍스트 임베딩 3 스몰
인위적
  • claude-1
  • claude-1.3-100k
  • claude-2
  • claude-2.1
  • claude-2.0
  • claude-instant-1.2
  • 클로드-3-5-소네트-최신 버전
  • 클로드-3-5-하이쿠-최신
  • claude-3-5-opus-최신
  • claude-3-5-sonnet-20241022
  • claude-3-5-haiku-20241022
  • 클로드-3-5-소네트-20240620
  • claude-3-haiku-20240307
  • claude-3-opus-20240229
  • claude-3-sonnet-20240229
Cohere**
  • 명령
  • 명령 표시등
  • command-r7b-12-2024
  • 커맨드-R-플러스-08-2024
  • 커맨드-R-08-2024
  • 커맨드-R-플러스
  • 커맨드-R
  • 명령
  • 야간용 명령 조명
  • 명령 표시등
  • 명령-나이트리
  • "임베드-영어-버전2.0"
  • 다국어-임베드-v2.0
  • 임베드-영어-라이트-버전2.0
  • embed-english-v3.0
  • 임베드-잉글리시-라이트-v3.0
  • embed-multilingual-v3.0
  • 아임베드-멀티링구얼-라이트-v3.0
모자이크 AI 모델 서비스 엔드포인트를 제공하는 Databricks 엔드포인트를 제공하는 Databricks 엔드포인트를 제공하는 Databricks
아마존 암반 인류:
  • claude-instant-v1
  • claude-v2

코헤어:
  • 명령어-텍스트-v14
  • 명령-라이트-텍스트-v14

AI21 랩:
  • j2-그란데-인스트럭트
  • j2-jumbo-instruct
  • j2-중간
  • j2-mid-v1
  • j2-ultra
  • j2-ultra-v1
 인류:
  • claude-3-5-sonnet-20241022-v2:0
  • claude-3-5-haiku-20241022-v1:0
  • claude-3-opus-20240229-v1:0
  • claude-3-sonnet-20240229-v1:0
  • claude-3-5-sonnet-20240620-v1:0

코헤어:
  • command-r-plus-v1:0
  • command-r-v1:0

아마존:
  • nova-lite-v1:0
  • nova-micro-v1:0
  • nova-pro-v1:0
 아마존:
  • titan-embed-text-v2:0
  • 타이탄-임베드-텍스트-v1
  • 타이탄-임베드-g1-텍스트-02

코헤어:
  • 임베드-영어-버전3
  • embed-multilingual-v3
AI21 랩†
  • j2-중간
  • j2-라이트
  • j2-ultra
Google Cloud Vertex AI 텍스트-바이슨
  • 채팅 봇
  • gemini-pro
  • gemini-1.0-pro
  • gemini-1.5-pro
  • 제미니-1.5-플래시
  • gemini-2.0-flash
  • 텍스트 임베딩-004
  • text-embedding-005
  • 텍스팀베딩-게코

** 모델 공급자는 미세 조정된 완성 및 채팅 모델을 지원합니다. 미세 조정된 모델을 쿼리하려면 name 구성의 external model 필드를 미세 조정된 모델의 이름으로 채웁다.

† 모델 공급자는 사용자 지정 완성 모델을 지원합니다.

엔드포인트를 제공하는 기본 모델 만들기

AI 애플리케이션에서 기본 모델을 쿼리하고 사용하려면 먼저 엔드포인트를 제공하는 모델을 만들어야 합니다. Model Serving는 엔드포인트를 제공하는 기본 모델을 만들고 업데이트하기 위해 통합 API 및 UI를 사용합니다.

엔드포인트를 제공하는 쿼리 기초 모델

서비스 엔드포인트를 만든 후에는 기본 모델을 쿼리할 수 있습니다. Model Serving는 기본 모델을 쿼리하기 위해 통합 OpenAI 호환 API 및 SDK를 사용합니다. 이 통합 환경은 지원되는 클라우드 및 공급자에서 프로덕션을 위한 기본 모델을 실험하고 사용자 지정하는 방법을 간소화합니다.

기본 모델 사용을 참조하세요.