이 문서에서는 Databricks Foundation 모델 API에서 지원하는 최신 오픈 모델에 대해 설명합니다.
비고
이러한 모델의 지역 가용성 및 지원되는 기능 영역에 대한 Mosaic AI 모델 제공 에 대해 지원되는 기본 모델을 참조하세요.
Databricks 작업 영역에서 사용할 수 있는 토큰당 종량제 엔드포인트를 사용하여 이러한 모델에 쿼리 요청을 보낼 수 있습니다. 사용할 모델 엔드포인트의 이름은 기본 모델 및 토큰당 종량제 지원 모델 테이블을 참조하세요.
토큰당 종량제 모드에서 모델을 지원하는 것 외에도 Foundation Model API는 프로비전된 처리량 모드를 제공합니다. Databricks는 프로덕션 워크로드에 프로비전된 처리량을 권장합니다. 이 모드는 토큰당 종량제 모드에서 지원되는 미세 조정된 모델 및 사용자 지정 미리 학습된 모델을 포함하여 모델 아키텍처 제품군의 모든 모델(예: DBRX 모델)을 지원합니다. 지원되는 아키텍처 목록은 프로비전된 처리량 Foundation Model API 를 참조하세요.
AI Playground를 사용하여 지원되는 이러한 모델과 상호 작용할 수 있습니다.
메타 라마 4 매버릭
중요하다
Llama 4 커뮤니티 라이선스 및 허용 가능한 사용 정책에 대한 적용 가능한 모델 개발자 라이선스 및 약관을 참조하세요.
라마 4 매버릭은 메타가 빌드하고 학습한 최첨단 대형 언어 모델입니다. 컴퓨팅 효율성을 위해 전문가 아키텍처를 혼합하여 사용하는 첫 번째 라마 모델 제품군입니다. Llama 4 Maverick는 여러 언어를 지원하며 정확한 이미지 및 텍스트 이해 사용 사례에 최적화되어 있습니다. 현재, 라마 4 매버릭의 Databricks 지원은 텍스트 이해 사용 사례로 제한됩니다. 라마 4 매버릭에 대해 자세히 알아보세요.
다른 큰 언어 모델과 마찬가지로, Llama 4 출력은 일부 사실을 생략하고 때때로 거짓 정보를 생성할 수 있습니다. Databricks는 정확도가 특히 중요한 시나리오에서 RAG(검색 보강 생성)를 사용하는 것이 좋습니다.
메타 라마 3.3 70B 지시
중요하다
2024년 12월 11일부터 Meta-Llama-3.3-70B-Instruct가 Meta-Llama-3.1-70B-Instruct에 대한 지원을 대체하여, 토큰당 종량제를 기반으로 하는 Foundation Model API 엔드포인트에서 사용됩니다.
LLama 3.3 커뮤니티 라이선스 및 허용 가능한 사용 정책에 대한 적용 가능한 모델 개발자 라이선스 및 약관을 참조하세요.
Meta-Llama-3.3-70B-Instruct는 Meta에서 빌드하고 학습한 128,000개의 토큰 컨텍스트를 가진 최첨단 대규모 언어 모델입니다. 이 모델은 여러 언어를 지원하며 대화 사용 사례에 최적화되어 있습니다. 메타 라마 3.3에 대해 자세히 알아보세요.
다른 큰 언어 모델과 마찬가지로, Llama-3의 출력은 일부 사실을 생략하고 때때로 거짓 정보를 생성할 수 있습니다. Databricks는 정확도가 특히 중요한 시나리오에서 RAG(검색 보강 생성)를 사용하는 것이 좋습니다.
메타 라마 3.1 405B 지시
중요하다
파운데이션 모델 API와 함께 이 모델을 사용하는 방법은 공개 미리 보기로 제공됩니다. 이 모델을 사용할 때 엔드포인트 오류 또는 안정화 오류가 발생하는 경우 Databricks 계정 팀에 문의하세요.
Llama 3.1 커뮤니티 라이선스 및 허용 가능한 사용 정책에 대한 적용 가능한 모델 개발자 라이선스 및 약관을 참조하세요.
Meta-Llama-3.1-405B-Instruct는 메타에서 빌드 및 학습한 가장 큰 공개적으로 사용 가능한 최신 대형 언어 모델이며 AzureML 모델 카탈로그를 사용하여 Azure Machine Learning에서 배포합니다. 이 모델을 사용하면 고객이 고급 다단계 추론 및 고품질 가상 데이터 생성
Meta-Llama-3.1-70B-Instruct와 마찬가지로 이 모델은 10개 언어에서 128,000개의 토큰 및 지원 컨텍스트를 가지고 있습니다. 이는 유용성과 안전을 위한 인간의 선호도에 부합하며 대화 사용 사례에 최적화되어 있습니다. Meta Llama 3.1 모델에 대해 자세히 알아봅니다.
다른 큰 언어 모델과 마찬가지로, Llama-3.1의 출력은 일부 사실을 생략하고 때때로 거짓 정보를 생성할 수 있습니다. Databricks는 정확도가 특히 중요한 시나리오에서 RAG(검색 보강 생성)를 사용하는 것이 좋습니다.
Meta Llama 3.1 8B 지시
중요하다
LLama 3.1 커뮤니티 라이선스 및 허용 가능한 사용 정책에 대한 적용 가능한 모델 개발자 라이선스 및 약관을 참조하세요.
Meta-Llama-3.1-8B-Instruct는 메타가 빌드하고 학습한 128,000개의 토큰 컨텍스트를 가진 최첨단 대규모 언어 모델입니다. 이 모델은 여러 언어를 지원하며 대화 사용 사례에 최적화되어 있습니다. 메타 라마 3.1에 대해 자세히 알아보세요.
다른 큰 언어 모델과 마찬가지로, Llama-3의 출력은 일부 사실을 생략하고 때때로 거짓 정보를 생성할 수 있습니다. Databricks는 정확도가 특히 중요한 시나리오에서 RAG(검색 보강 생성)를 사용하는 것이 좋습니다.
인류 클로드 소네트 4
중요하다
고객은 Anthropic의 허용 가능한 사용 정책 약관 준수를 보장할 책임이 있습니다. Databricks Master Cloud Services 계약도 참조하세요.
클로드 소넷 4는 인류가 빌드하고 학습한 최신 하이브리드 추론 모델입니다. 이 모델은 작업의 복잡성에 따라 심층 추론을 위해 거의 즉각적인 응답과 확장된 사고의 두 가지 모드를 제공합니다. Claude Sonnet 4는 코드 개발, 대규모 콘텐츠 분석 및 에이전트 애플리케이션 개발과 같은 다양한 작업에 최적화되어 있습니다.
다른 큰 언어 모델과 마찬가지로 Claude Sonnet 4 출력은 일부 사실을 생략하고 때때로 거짓 정보를 생성할 수 있습니다. Databricks는 정확도가 특히 중요한 시나리오에서 RAG(검색 보강 생성)를 사용하는 것이 좋습니다.
이 엔드포인트는 Databricks 보안 경계 내에서 AWS의 Databricks Inc.에 의해 호스팅됩니다.
앤트로픽 클로드 오푸스 4
중요하다
고객은 Anthropic의 허용 가능한 사용 정책 약관 준수를 보장할 책임이 있습니다. Databricks Master Cloud Services 계약도 참조하세요.
클로드 오푸스 4는 인류가 제작하고 학습한 최신 하이브리드 추론 모델입니다. 이 모델은 작업의 복잡성에 따라 심층 추론을 위해 거의 즉각적인 응답과 확장된 사고의 두 가지 모드를 제공합니다. Claude Opus 4는 컨텍스트 보존을 사용하여 고급 코드 생성, 에이전트 오케스트레이션, 소스 간 연구, 콘텐츠 만들기 및 요약과 같은 다양한 작업에 최적화되어 있습니다.
다른 큰 언어 모델과 마찬가지로 Claude Opus 4 출력은 일부 사실을 생략하고 때때로 거짓 정보를 생성할 수 있습니다. Databricks는 정확도가 특히 중요한 시나리오에서 RAG(검색 보강 생성)를 사용하는 것이 좋습니다.
이 엔드포인트는 Databricks 보안 경계 내에서 AWS의 Databricks Inc.에 의해 호스팅됩니다.
앤트로픽 클로드 3.7 소네트
중요하다
고객은 Anthropic의 허용 가능한 사용 정책 약관 준수를 보장할 책임이 있습니다. Databricks Master Cloud Services 계약도 참조하세요.
Claude 3.7 Sonnet은 인류가 빌드하고 학습한 최신 하이브리드 추론 모델입니다. 작업의 복잡성에 따라 신속하게 응답하거나 추론을 확장할 수 있는 대규모 언어 모델 및 추론 모델입니다. 확장된 사고 모드에서 Claude 3.7 Sonnet의 추론 단계는 사용자에게 표시됩니다. Claude 3.7 Sonnet은 코드 생성, 수학 추론 및 명령과 같은 다양한 작업에 최적화되어 있습니다.
다른 큰 언어 모델과 마찬가지로 Claude 3.7 출력은 일부 사실을 생략하고 때때로 거짓 정보를 생성할 수 있습니다. Databricks는 정확도가 특히 중요한 시나리오에서 RAG(검색 보강 생성)를 사용하는 것이 좋습니다.
이 엔드포인트는 Databricks 보안 경계 내에서 AWS의 Databricks Inc.에 의해 호스팅됩니다.
GTE Large(En)
중요하다
GTE Large(En)는 Apache 2.0 라이선스, 저작권(c) Apache Software Foundation, All rights reserved에 따라 제공됩니다. 고객은 해당 모델 라이선스를 준수할 책임이 있습니다.
GTE(일반 텍스트 포함) 는 텍스트를 1024차원 포함 벡터와 8192 토큰의 포함 창에 매핑할 수 있는 텍스트 포함 모델입니다. 이러한 벡터는 LLM의 벡터 인덱스 및 검색, 분류, 질문 답변, 클러스터링 또는 의미 체계 검색과 같은 작업에 사용할 수 있습니다. 이 엔드포인트는 영어 버전의 모델을 제공하며 정규화된 포함을 생성하지 않습니다.
임베딩 모델은 검색 증강 생성(RAG) 사용 사례에서 LLM과 함께 사용할 때 특히 효과적입니다. GTE를 사용하여 LLM에서 사용하기 위한 컨텍스트에서 활용할 수 있는 대량 문서의 관련 텍스트 조각을 찾을 수 있습니다.
BGE Large(En)
BAAI BGE(일반 포함) 는 모든 텍스트를 1024차원 포함 벡터 및 512 토큰의 포함 창에 매핑할 수 있는 텍스트 포함 모델입니다. 이러한 벡터는 LLM의 벡터 인덱스 및 검색, 분류, 질문 답변, 클러스터링 또는 의미 체계 검색과 같은 작업에 사용할 수 있습니다. 이 엔드포인트는 영어 버전의 모델을 제공하고 정규화된 포함을 생성합니다.
임베딩 모델은 검색 증강 생성(RAG) 사용 사례에서 LLM과 함께 사용할 때 특히 효과적입니다. BGE를 사용하여 LLM의 컨텍스트에서 사용할 수 있는 큰 문서 청크에서 관련 텍스트 조각을 찾을 수 있습니다.
RAG 애플리케이션에서는 명령 매개 변수를 포함하여 검색 시스템의 성능을 향상시킬 수 있습니다. BGE 작성자는 도메인에 따라 성능 영향이 달라질 수 있지만 쿼리 임베딩에 대해 명령 "Represent this sentence for searching relevant passages:"을 시도해 볼 것을 권장합니다.