Inferencia por lotes

Importante

Esta característica está en versión preliminar pública.

Estos ejemplos ejecutan inferencia por lotes a gran escala en GPUs serverless de IA Runtime. Cubren una variedad de modalidades, como la generación de texto en LLM y la conversión de voz a texto, utilizando frameworks como Ray Data, vLLM y Transformers.

Example	Interface	Description
Inferencia por lotes Qwen2.5-32B con Ray Data y vLLM	Notebook	Ejecuta inferencia por lotes multilingüe con ocho réplicas vLLM persistentes de Qwen2.5-32B-Instruct en 8 GPUs H100 y guarda los resultados en el Catálogo de Unity.
Conversión de voz a texto por lotes con Whisper	Notebook	Transcriba audio por lotes con OpenAI Whisper large-v3-turbo en GPU sin servidor, utilizando bibliotecas preinstaladas en AI Runtime.
Inferencia por lotes con Qwen2.5-7B-Instruct y vLLM	CLI	Utiliza Ray Data y vLLM para generar respuestas en un nodo H100 8x y escribe los resultados en un volumen de Unity Catalog como Parquet.