엔드포인트를 서비스하는 파운데이션 모델 (레거시)

메모

이 페이지는 레거시 엔드포인트 기반 모델 서빙 워크플로우를 설명합니다. Unity Gateway를 통해 모델을 찾고 쿼리하려면 사용 가능한 모델 과 쿼리 모델 서비스를 참조하세요.

Databricks 외부에서 호스트되는 Access 기본 모델

OpenAI 및 Anthropic과 같은 LLM 공급자가 만든 기본 모델은 외부 모델을 사용하여 Databricks에서도 액세스할 수 있습니다. 이러한 모델은 Databricks 외부에서 호스트되며 쿼리할 엔드포인트를 만들 수 있습니다. 이러한 엔드포인트는 조직 내의 다양한 LLM 공급자의 사용 및 관리를 간소화하는 Azure Databricks에서 중앙에서 제어할 수 있습니다.

다음 표에는 지원되는 모델과 해당 엔드포인트 유형의 전체가 아닌 목록이 나와 있습니다. 나열된 모델 연관성을 활용해 해당 공급자와 함께 새로 출시된 모델 유형에 대한 엔드포인트를 구성할 수 있습니다. 고객은 해당 모델 라이선스를 준수할 책임이 있습니다.

메모

LLM의 급속한 개발로 이 목록이 항상 최신 상태라는 보장은 없습니다. 동일한 공급자의 새 모델 버전은 일반적으로 목록에 없는 경우에도 지원됩니다.

모델 제공자	llm/v1/completions (완성 기능)	llm/버전1/채팅	llm/v1/embeddings
OpenAI**	지피티(GPT)-3.5-터보-인스트럭트 babbage-002 davinci-002	o1 o1-mini o1-mini-2024-09-12 gpt-3.5 터보 gpt-4 gpt-4-turbo gpt-4-turbo-2024-04 gpt-4o gpt-4o-2024-05-13 gpt-4o-mini	text-embedding-ada-002 text-embedding-3-large text-embedding-3-small (텍스트 임베딩 소형 버전 3)
Azure OpenAI**	text-davinci-003 gpt-35-turbo-instruct	o1 o1-mini gpt-35-turbo gpt-35-turbo-16k gpt-4 gpt-4-turbo gpt-4-32k gpt-4o gpt-4o-mini	text-embedding-ada-002 text-embedding-3-large text-embedding-3-small (텍스트 임베딩 소형 버전 3)
Anthropic	claude-1 claude-1.3-100k claude-2 claude-2.1 claude-2.0 claude-instant-1.2	클로드-3-5-소네트-최신 버전 클로드-3-5-하이쿠-최신 claude-3-5-opus-최신 claude-3-5-sonnet-20241022 claude-3-5-haiku-20241022 클로드-3-5-소네트-20240620 claude-3-haiku-20240307 claude-3-opus-20240229 claude-3-sonnet-20240229
Cohere**	command 명령 표시등	command-r7b-12-2024 커맨드-R-플러스-08-2024 커맨드-R-08-2024 커맨드-R-플러스 커맨드-R command 야간용 명령 조명 명령 표시등 명령-나이트리	"임베드-영어-버전2.0" 다국어-임베드-v2.0 임베드-영어-라이트-버전2.0 embed-english-v3.0 임베드-잉글리시-라이트-v3.0 embed-multilingual-v3.0 아임베드-멀티링구얼-라이트-v3.0
모델 서빙	엔드포인트를 제공하는 Databricks	엔드포인트를 제공하는 Databricks	엔드포인트를 제공하는 Databricks
아마존 암반	인류: claude-instant-v1 claude-v2 코헤어: 명령어-텍스트-v14 명령-라이트-텍스트-v14 AI21 랩: j2-그란데-인스트럭트 j2-jumbo-instruct j2-중간 j2-mid-v1 j2-ultra j2-ultra-v1	인류: claude-3-5-sonnet-20241022-v2:0 claude-3-5-haiku-20241022-v1:0 claude-3-opus-20240229-v1:0 claude-3-sonnet-20240229-v1:0 claude-3-5-sonnet-20240620-v1:0 코헤어: command-r-plus-v1:0 command-r-v1:0 아마존: nova-lite-v1:0 nova-micro-v1:0 nova-pro-v1:0	아마존: titan-embed-text-v2:0 타이탄-임베드-텍스트-v1 타이탄-임베드-g1-텍스트-02 코헤어: 임베드-영어-버전3 embed-multilingual-v3
AI21 랩†	j2-중간 j2-라이트 j2-ultra
구글 클라우드 버텍스 AI	텍스트-바이슨	채팅 봇 gemini-pro gemini-1.0-pro gemini-1.5-pro 제미니-1.5-플래시 gemini-2.0-flash	텍스트 임베딩-004 text-embedding-005 텍스팀베딩-게코

** 모델 공급자는 미세 조정된 완성 및 채팅 모델을 지원합니다. 미세 조정된 모델을 쿼리하려면 name 구성의 external model 필드를 미세 조정된 모델의 이름으로 채웁다.

† 모델 공급자는 사용자 지정 완성 모델을 지원합니다.

엔드포인트를 제공하는 기본 모델 만들기

AI 애플리케이션에서 기본 모델을 쿼리하고 사용하려면 먼저 엔드포인트를 제공하는 모델을 만들어야 합니다. Model Serving는 엔드포인트를 제공하는 기본 모델을 만들고 업데이트하기 위해 통합 API 및 UI를 사용합니다.

• 파운데이션 모델 API 프로비전된 처리량을 사용하여 사용할 수 있는 기본 모델의 미세 조정된 변형을 제공하는 엔드포인트를 만들려면 REST API를 사용하여 프로비전된 처리량 엔드포인트 만들기를 참조하세요.
• 외부 모델 제품을 사용하여 사용할 수 있는 기본 모델에 액세스하는 서비스 엔드포인트를 만들려면 엔드포인트를 제공하는 외부 모델 만들기를 참조하세요.

엔드포인트를 제공하는 쿼리 기초 모델

서비스 엔드포인트를 만든 후에는 기본 모델을 쿼리할 수 있습니다. Model Serving는 기본 모델을 쿼리하기 위해 통합 OpenAI 호환 API 및 SDK를 사용합니다. 이 통합 환경은 지원되는 클라우드 및 공급자에서 프로덕션을 위한 기본 모델을 실험하고 사용자 지정하는 방법을 간소화합니다.

기본 모델 사용을 참조하세요.