共用方式為

使用基礎模型 API 進行批次推斷

  • 發行項

本文提供使用 基礎模型 API 在布建輸送量端點上執行批次推斷的範例筆記本。 您需要這兩個筆記本，才能使用基礎模型 API 完成批次推斷。

這些範例示範使用 DBRX 指示 模型進行聊天工作的批次推斷。

需求

  • 基礎模型 API 支援區域中的 工作區
  • Databricks Runtime 14.0 ML 或更新版本
  • provisioned-throughput-batch-inference筆記本和chat-batch-inference-api筆記本必須存在於工作區中的相同目錄中

設定輸入數據表、批次推斷

下列筆記本會使用 Python 執行下列工作：

  • 從輸入數據表和輸入數據行讀取數據
  • 建構要求，並將其傳送至基礎模型 API 端點
  • 將輸入數據列與回應數據一起保存至輸出資料表

使用 Python 筆記本的聊天模型批次推斷工作

取得筆記本

下列筆記本會執行與上述筆記本相同的工作，但使用Spark：

  • 從輸入數據表和輸入數據行讀取數據
  • 建構要求，並將其傳送至基礎模型 API 端點
  • 將輸入數據列與回應數據一起保存至輸出資料表

使用 PySpark Pandas UDF 筆記本的聊天模型批次推斷工作

取得筆記本

建立布建的輸送量端點

如果您想要使用 Spark 筆記本而非 Python 筆記本，請務必更新呼叫 Python 筆記本的命令。

  • 建立布建的輸送量服務端點
  • 監視端點直到達到就緒狀態為止
  • chat-batch-inference-api呼叫筆記本，針對備妥的端點同時執行批次推斷工作。 如果您想要使用 Spark，請變更此參考以呼叫 chat-batch-inference-udf 筆記本。
  • 在批次推斷完成之後，刪除布建的輸送量服務端點

在布建的輸送量端點筆記本上執行批次推斷

取得筆記本

其他資源