バッチ推論

Important

この機能は パブリック プレビュー段階です。

これらの例は、AIランタイムのサーバーレスGPU上で大規模なバッチ推論を実行します。 これらは、Ray Data、vLLM、Transformersなどのフレームワークを用いて、LLMのテキスト生成や音声からテキストへの変換など、さまざまなモダリティをカバーしています。

Example	Interface	Description
Qwen2.5-32BのRay DataおよびvLLMによるバッチ推論	Notebook	8台のH100 GPU上でQwen2.5-32B-Instructの永続的vLLMレプリカを用いて多言語バッチ推論を実行し、その結果をUnity Catalogに保存します。
Whisperによるバッチ音声テキスト変換	Notebook	OpenAI Whisper large-v3-turboをサーバーレスGPU上で、AI Runtimeにプリインストールされたライブラリを使って音声をバッチで書き起こしましょう。
Qwen2.5-7B-InstructとvLLMによるバッチ推論	CLI	Ray DataとvLLMを使ってH100を8基搭載したノードで応答を生成し、その結果をParquetとしてUnityカタログのボリュームに書き込みます。