分享方式:


Generative AI 模型維護原則

本文說明基礎模型 API 按令牌付費和馬賽克 AI 模型訓練供應專案的模型維護原則。

為了繼續支援最先進的模型,Databricks 可能會更新支援的模型,或針對基礎模型 API 依令牌付費和馬賽克 AI 模型訓練供應專案淘汰較舊的模型。

模型淘汰原則

下列淘汰原則僅適用於基礎模型 API 中支援的聊天和完成模型,以及馬賽克 AI 模型訓練供應專案。

如果模型設定為淘汰,Databricks 會採取下列步驟來通知客戶:

  • 警告訊息會顯示在 Databricks 工作區 [服務 ] 頁面的模型卡片中,指出模型已規劃淘汰。
  • 在 [實驗] 索引標籤中,馬賽克 AI 模型訓練的下拉功能表中會顯示警告訊息,指出模型已規劃淘汰。
  • 適用的檔包含通知,指出模型已規劃淘汰,且不再支援模型的開始日期。

在客戶收到即將淘汰模型的相關通知之後,Databricks 會在 3 個月內淘汰該模型。 在這段時間內,客戶可以選擇移轉至布建的輸送量端點,以繼續使用超過其生命周期結束日期的模型。

如需目前已淘汰的模型和計劃淘汰日期的清單,請參閱 已淘汰的模型

模型更新

Databricks 可能會將累加式更新寄送至每一令牌付費模型,以提供優化。 更新模型時,端點 URL 會維持不變,但響應物件中的模型標識碼會變更以反映更新的日期。 例如,如果 2024 年 3 月 4 日將更新寄送至 meta-llama/Meta-Llama-3.1-405B ,回應物件中的模型名稱會更新為 meta-llama/Meta-Llama-3.1-405B-030424。 Databricks 會維護您可以參考之更新的版本歷程記錄。

已淘汰的模型

下列各節摘要說明基礎模型 API 的目前和即將淘汰的模型,以及馬賽克 AI 模型訓練供應專案。

馬賽克 AI 模型訓練淘汰

下表顯示已淘汰的模型系列、其淘汰日期,以及建議用於馬賽克 AI 模型訓練工作負載的替代模型系列。 Databricks 建議您在指定的淘汰日期之前,移轉應用程式以使用取代模型。

模型系列 停用日期 建議的更換模型系列
Meta-Llama-3 2024 年 12 月 13 日 Meta-Llama-3.1
Meta-Llama-2 2024 年 12 月 13 日 Meta-Llama-3.1
Code Llama 2024 年 12 月 13 日 Meta-Llama-3.1

基礎模型 API 依令牌付費淘汰

下表顯示模型淘汰、其淘汰日期和建議的取代模型,以用於基礎模型 API 依令牌付費服務工作負載。 Databricks 建議您在指定的淘汰日期之前,移轉應用程式以使用取代模型。

重要

在 2024 年 7 月 23 日,Meta-Llama-3.1-70B-指示取代了基礎模型 API 中 Meta-Llama-3-70B-Instruct 的支援。

Model 停用日期 建議的取代模型
Meta-Llama-3-70B-Instruct 2024年7月23日 Meta-Llama-3.1-70B-Instruct
Meta-Llama-2-70B-Chat 2024 年 10 月 30 日 Meta-Llama-3.1-70B-Instruct
MPT 7B 指示 2024 年 8 月 30 日 Mixtral-8x7B
MPT 30B 指示 2024 年 8 月 30 日 Mixtral-8x7B

如果您需要特定模型版本的長期支援,Databricks 建議針對您的服務工作負載使用基礎模型 API 布建的輸送量