생성 AI 모델 유지 관리 정책

이 문서에서는 토큰당 종량제 및 Mosaic AI 모델 학습 제품에 대한 모델 유지 관리 정책을 설명합니다.

가장 최신 모델을 계속 지원하기 위해 Databricks는 지원되는 모델을 업데이트하거나 토큰당 종량제 및 모자이크 AI 모델 학습 제품에 대한 이전 모델을 사용 중지할 수 있습니다.

모델 사용 중지 정책

다음 사용 중지 정책은 기본 모델 API 토큰당 종량제 및 Mosaic AI 모델 학습 제품의 지원되는 채팅 및 완성 모델에만 적용됩니다.

모델이 사용 중지되도록 설정된 경우 Databricks는 다음 단계를 수행하여 고객에게 알립니다.

• 모델 사용 중지가 계획되었음을 나타내는 Databricks 작업 영역의 서비스 페이지에서 모델 카드에 경고 메시지가 표시됩니다.
• 실험 탭의 모자이크 AI 모델 학습 드롭다운 메뉴에 모델이 사용 중지될 예정임을 나타내는 경고 메시지가 표시됩니다.
• 적용 가능한 설명서에는 모델이 사용 중지될 예정이며 모델이 더 이상 지원되지 않는 시작 날짜를 나타내는 알림이 포함되어 있습니다.

고객에게 예정된 모델 사용 중지에 대한 알림을 받은 후 Databricks는 3개월 후에 모델을 사용 중지합니다. 이 기간 동안 고객은 프로비전된 처리량 엔드포인트로 마이그레이션하여 수명 종료 날짜가 지난 모델을 계속 사용할 수 있습니다.

현재 사용 중지된 모델 및 계획된 사용 중지 날짜 목록은 사용 중지된 모델을 참조하세요.

모델 업데이트

Databricks는 최적화를 제공하기 위해 토큰당 종량제 모델에 증분 업데이트를 제공할 수 있습니다. 모델이 업데이트되면 엔드포인트 URL은 동일하게 유지되지만 응답 개체의 모델 ID는 업데이트 날짜를 반영하도록 변경됩니다. 예를 들어 업데이트가 2024년 3월 4일에 배송되는 meta-llama/Meta-Llama-3.1-405B 경우 응답 개체의 모델 이름이 업데이트됩니다 meta-llama/Meta-Llama-3.1-405B-030424. Databricks는 참조할 수 있는 업데이트의 버전 기록을 유지 관리합니다.

사용 중지된 모델

다음 섹션에서는 토큰당 종량제 및 Mosaic AI 모델 학습 제품에 대한 현재 및 예정된 모델 사용 중지를 요약합니다.

모자이크 AI 모델 학습 사용 중지

다음 표에서는 사용 중지된 모델 패밀리, 사용 중지 날짜 및 Mosaic AI 모델 학습 워크로드에 사용할 권장 교체 모델 패밀리를 보여 줍니다. Databricks는 지정된 사용 중지 날짜 이전에 대체 모델을 사용하도록 애플리케이션을 마이그레이션하는 것이 좋습니다.

모델 제품군	사용 중지 날짜	권장되는 대체 모델 패밀리
Meta-Llama-3	2024년 12월 13일	Meta-Llama-3.1
Meta-Llama-2	2024년 12월 13일	Meta-Llama-3.1
코드 라마	2024년 12월 13일	Meta-Llama-3.1

파운데이션 모델 API 토큰당 종량제 사용 중지

다음 표에서는 워크로드를 제공하는 토큰당 종량제 API에 사용할 모델 사용 중지, 사용 중지 날짜 및 권장 대체 모델을 보여 줍니다. Databricks는 지정된 사용 중지 날짜 이전에 대체 모델을 사용하도록 애플리케이션을 마이그레이션하는 것이 좋습니다.

Important

2024년 7월 23일, Meta-Llama-3.1-70B-Instruct는 토큰당 종량제 엔드포인트에서 Meta-Llama-3-70B-Instruct에 대한 지원을 대체했습니다.

모델	사용 중지 날짜	권장되는 대체 모델
Meta-Llama-3-70B-Instruct	2024년 7월 23일	Meta-Llama-3.1-70B-Instruct
Meta-Llama-2-70B-Chat	2024년 10월 30일	Meta-Llama-3.1-70B-Instruct
MPT 7B 지시	2024년 8월 30일	Mixtral-8x7B
MPT 30B 지시	2024년 8월 30일	Mixtral-8x7B

특정 모델 버전에 대한 장기 지원이 필요한 경우 Databricks는 서비스 워크로드에 대해 프로비전된 처리량을 파운데이션 모델 API를 사용하는 것이 좋습니다.