Batch-slutsatsdragning

Important

Den här funktionen finns som allmänt tillgänglig förhandsversion.

Dessa exempel kör storskalig batchinferens på AI Runtime-serverlösa GPU:er. De täcker en rad olika modaliteter, såsom LLM-textgenerering och tal-till-text, med hjälp av ramverk som Ray Data, vLLM och Transformers.

Example	Interface	Description
Qwen2.5-32B batchinferens med Ray Data och vLLM	Notebook	Kör flerspråkig batchinferens med åtta persistenta vLLM-replikor av Qwen2.5-32B-Instruct på 8 H100-GPU:er och spara resultaten i Unity-katalogen.
Batchvis tal till text med Whisper	Notebook	Transkribera ljud i batcher med OpenAI Whisper large-v3-turbo på serverlösa GPU:er, med bibliotek förinstallerade i AI Runtime.
batchinferens med Qwen2.5-7B-Instruct och vLLM	CLI	Använd Ray Data och vLLM för att generera svar och skriva resultaten på en 8x H100-nod till en Unity Catalog-volym som Parquet.