部署模型进行批量推理和预测

本文介绍 Databricks 建议进行批量推理的内容。

有关在 Azure Databricks 上进行实时模型服务，请参阅 Mosaic AI 模型服务部署模型。

用于批处理推理的 AI 函数

重要

此功能目前以公共预览版提供。

AI Functions 是内置函数，可用于对存储在 Databricks 上的数据应用 AI。 可以使用 特定于任务的 AI 函数 或常规用途函数 ai_query运行批处理推理。

下面是使用特定于任务的 AI 函数 ai_translate的批处理推理示例。 如果要对整个表执行批处理推理，则可以从查询中删除该 limit 500 查询。

SELECT
writer_summary,
  ai_translate(writer_summary, "cn") as cn_translation
from user.batch.news_summaries
limit 500
;

或者，可以使用常规用途函数 ai_query 执行批处理推理。

• 查看支持哪些模型类型和关联的模型ai_query。
• 请参阅 部署批处理推理管道。