Important
此功能目前以公共预览版提供。
这些例子在AI运行时无服务器GPU上运行大规模批处理推理。 它们涵盖多种模式，如LLM文本生成和语音转文本，使用Ray Data、vLLM和Transformers等框架。
| Example | Interface | Description |
|---|---|---|
| 使用 Ray Data 和 vLLM 进行 Qwen2.5-32B 批量推理 | Notebook | 在 8 块 H100 GPU 上使用 Qwen2.5-32B-Instruct 的 8 个持久 vLLM 副本运行多语言批量推理，并将结果保存到 Unity Catalog 中。 |
| 使用 Whisper 批量将语音转换为文字 | Notebook | 在无服务器 GPU 上使用 OpenAI Whisper large-v3-turbo 进行批量音频转录，并使用 AI Runtime 中预装的库。 |
| 使用 Qwen2.5-7B-Instruct 和 vLLM 进行批量推理 | CLI | 使用 Ray Data 和 vLLM 在一个配备 8 张 H100 的节点上生成响应，并将结果写入 Unity Catalog 卷，作为 Parquet。 |