Dávkové odvozování

Important

Tato funkce je ve verzi Public Preview.

Tyto příklady spouštějí rozsáhlou dávkovou inferenci na AI Runtime serverless GPU. Pokrývají řadu modalit, jako je generování textu LLM a převod řeči na text, využívající frameworky jako Ray Data, vLLM a Transformers.

Example	Interface	Description
Dávková inference modelu Qwen2.5-32B pomocí Ray Data a vLLM	Notebook	Spusť vícejazyčné dávkové inferování s osmi perzistentními replikami vLLM Qwen2.5-32B-Instruct na 8 H100 GPU a ulož výsledky do Unity Catalog.
Dávkový převod řeči na text pomocí Whisper	Notebook	Přepisujte audio dávkově pomocí OpenAI Whisper large-v3-turbo na bezserverových GPU s knihovnami předinstalovanými v AI Runtime.
Dávková inference pomocí Qwen2.5-7B-Instruct a vLLM	CLI	Použijte Ray Data a vLLM k generování odpovědí na uzlu s 8× H100 a výsledky zaznamenejte do volumu Unity Catalog jako Parquet.