使用 Foundation Model API 佈建輸送量進行批次推斷
本文提供範例筆記本，其會使用 基礎模型 API 和 ai_query，在布建的輸送量端點上執行批次推斷。
需求
- 基礎模型 API 支援區域中的工作區。
- 下列其中之一：
- 具有計算大小或更大執行 Databricks Runtime 15.4 ML LTS 或更新版本的
i3.2xlarge所有用途計算，且至少有 2 個背景工作角色。 - SQL 倉儲中型和更大。
- 具有計算大小或更大執行 Databricks Runtime 15.4 ML LTS 或更新版本的
執行批次推斷
一般而言，設定批次推斷牽涉到 2 個步驟：
- 建立要用於批次推斷的端點。
- 使用 建構批次要求，並將這些要求傳送至批次推斷端點
ai_query。
範例筆記本涵蓋這些步驟，並示範使用Meta Llama 3.1 70B模型進行批次推斷。